Inferencia SDXL LoRA: Ejecuta AI Toolkit LoRA en ComfyUI para Resultados Coincidentes con el Entrenamiento
Inferencia SDXL LoRA: resultados coincidentes con el entrenamiento con menos pasos en ComfyUI. Este flujo de trabajo ejecuta Stable Diffusion XL (SDXL) con LoRAs entrenados en AI Toolkit a través del nodo personalizado RC SDXL (RCSDXL) de RunComfy (código abierto en los repositorios de la organización GitHub runcomfy-com). Al envolver un pipeline específico de SDXL (en lugar de un gráfico de muestreo genérico) y estandarizar la carga y el escalado de LoRA (lora_path / lora_scale) con predeterminados correctos de SDXL, tus salidas de ComfyUI permanecen mucho más cercanas a lo que viste en las vistas previas del entrenamiento.
Si entrenaste un SDXL LoRA en AI Toolkit (RunComfy Trainer u otro lugar) y tus resultados de ComfyUI se ven "desviados" en comparación con las vistas previas del entrenamiento, este flujo de trabajo es la forma más rápida de volver a un comportamiento coincidente con el entrenamiento.
Cómo usar el flujo de trabajo de Inferencia SDXL LoRA
Paso 1: Abre el flujo de trabajo
Abre el flujo de trabajo de Inferencia SDXL LoRA de RunComfy
Paso 2: Importa tu LoRA (2 opciones)
- Opción A (resultado de entrenamiento RunComfy): RunComfy → Trainer → LoRA Assets → encuentra tu LoRA → ⋮ → Copiar enlace de LoRA
- Opción B (LoRA de AI Toolkit entrenado fuera de RunComfy): Copia un enlace directo de descarga
.safetensorspara tu LoRA y pega esa URL enlora_path.
Paso 3: Configura RCSDXL para Inferencia SDXL LoRA
En la interfaz de usuario del nodo de Inferencia SDXL LoRA de RCSDXL, establece los parámetros restantes:
prompt: tu texto de solicitud principal (incluye cualquier token de activación que usaste durante el entrenamiento)negative_prompt: opcional; déjalo en blanco si no usaste uno en las vistas previas del entrenamientowidth/height: resolución de salidasample_steps: pasos de muestreo (coincide con la configuración de vista previa del entrenamiento al comparar resultados)guidance_scale: CFG / orientación (coincide con el CFG de vista previa del entrenamiento)seed: utiliza una semilla fija para reproducibilidad; cámbiala para explorar variacioneslora_scale: fuerza/intensidad del LoRA
Si ajustaste el muestreo durante el entrenamiento, abre el YAML de entrenamiento de AI Toolkit y copia los mismos valores aquí, especialmente width, height, sample_steps, guidance_scale y seed. Si entrenaste en RunComfy, también puedes abrir la Config de LoRA en Trainer → LoRA Assets y copiar los valores de vista previa/muestra.
Paso 4: Ejecuta Inferencia SDXL LoRA
- Haz clic en Queue/Run → la salida se guarda automáticamente a través de SaveImage
Por qué la Inferencia SDXL LoRA a menudo se ve diferente en ComfyUI y qué hace el nodo personalizado RCSDXL
La mayoría de los desajustes de SDXL LoRA no son causados por un solo ajuste incorrecto, ocurren porque el pipeline de inferencia cambia. Las vistas previas de entrenamiento de AI Toolkit se generan a través de una implementación de inferencia SDXL específica del modelo, mientras que muchos gráficos de ComfyUI se reconstruyen a partir de componentes genéricos. Incluso con el mismo prompt, pasos, CFG y semilla, un pipeline diferente (y camino de inyección de LoRA) puede producir resultados notablemente diferentes.
El nodo RC SDXL (RCSDXL) envuelve un pipeline de inferencia específico de SDXL para que la Inferencia SDXL LoRA permanezca alineada con el pipeline de vista previa de entrenamiento de AI Toolkit y utilice un comportamiento de inyección de LoRA consistente para SDXL. Implementación de referencia: `src/pipelines/sdxl.py`
Solución de problemas de Inferencia SDXL LoRA
La mayoría de los problemas de "vista previa de entrenamiento vs inferencia de ComfyUI" provienen de desajustes de pipeline, no de un solo parámetro incorrecto. Si tu LoRA fue entrenado con AI Toolkit (SDXL), la manera más confiable de recuperar el comportamiento coincidente con el entrenamiento en ComfyUI es ejecutar la inferencia a través del nodo personalizado RCSDXL de RunComfy, que alinea el muestreo de SDXL + inyección de LoRA a nivel de pipeline.
(1) La inferencia en archivos lora .safetensor modelo sdxl no coincide con las muestras en el entrenamiento
Por qué sucede esto
Incluso cuando se carga el LoRA, los resultados pueden desviarse si tu gráfico de ComfyUI no coincide con el pipeline de vista previa de entrenamiento (diferentes predeterminados de SDXL, diferente camino de inyección de LoRA, diferente manejo del refinador).
Cómo solucionarlo (recomendado)
- Usa RCSDXL y pega tu enlace directo
.safetensorsenlora_path. - Copia los valores de muestreo de tu configuración de entrenamiento de AI Toolkit (o Config de Trainer → LoRA Assets de RunComfy):
width,height,sample_steps,guidance_scale,seed. - Mantén "pilas de velocidad extra" (LCM/Lightning/Turbo) fuera de la comparación a menos que hayas entrenado/muestreado con ellas.
(2) Clave lora sdxl no cargada "lora_te2_text_projection.*"
Por qué sucede esto
Tu LoRA contiene claves de proyección del Codificador de Texto 2 de SDXL que tu camino de carga actual no está aplicando (fácil de alcanzar cuando la inyección/asignación de claves no coincide con la configuración de doble codificador de SDXL).
Cómo solucionarlo (más confiable)
- Usa RCSDXL y carga el LoRA a través de
lora_pathdentro del nodo (inyección a nivel de pipeline). - Mantén
lora_scaleconsistente e incluye los mismos tokens de activación usados durante el entrenamiento. - Si las advertencias persisten, intenta el checkpoint base exacto usado en el entrenamiento (las variantes SDXL desajustadas pueden producir claves faltantes/ignoradas).
(3) No se pueden usar LoRAs con SDXL ya
Por qué sucede esto
Después de actualizar ComfyUI / nodos personalizados, la aplicación de SDXL LoRA puede cambiar (comportamiento del cargador, almacenamiento en caché, comportamiento de memoria), haciendo que los gráficos que funcionaban anteriormente fallen o se desvíen.
Cómo solucionarlo (recomendado)
- Usa RCSDXL para mantener el camino de inferencia de SDXL estable y alineado con el entrenamiento.
- Limpia la caché de modelo/nodo o reinicia la sesión después de las actualizaciones (especialmente si el comportamiento cambia solo después de ajustar configuraciones de LoRA/cargador).
- Para depuración, ejecuta primero un flujo de trabajo mínimo solo con SDXL, luego agrega complejidad de nuevo.
(4) Programación Hook LoRA incorrecto CLIP caché en ejecución posterior después del cambio de valor
Por qué sucede esto
Los flujos de trabajo de programación/hook pueden reutilizar el estado CLIP en caché después de cambios de parámetros, lo que rompe la reproducibilidad y hace que el comportamiento de LoRA parezca inconsistente de una ejecución a otra.
Cómo solucionarlo (recomendado)
- Para la inferencia coincidente con el entrenamiento, prefiere RCSDXL con
lora_path/lora_scalesimples primero (evita capas de programación/hook hasta que la línea base coincida). - Si debes usar nodos de programación/hook, limpia la caché (o reinicia) después de cambiar los parámetros de hook, luego vuelve a ejecutar con la misma semilla.
(5) Error de Ksampler al intentar usar LORA en inpaiting SDXL
Por qué sucede esto
Las pilas de inpainting parchean el modelo durante el muestreo. Algunos nodos personalizados / envoltorios auxiliares pueden entrar en conflicto con el parcheo de LoRA cuando cambias configuraciones a mitad de sesión, provocando errores de KSampler/inpaint worker.
Cómo solucionarlo (recomendado)
- Confirma que el LoRA funciona en RCSDXL en un flujo de trabajo txt2img simple primero (línea base a nivel de pipeline).
- Agrega inpainting de nuevo un componente a la vez. Si el error aparece solo después de las ediciones, reinicia/limpia la caché antes de volver a ejecutar.
- Si el problema solo ocurre con un nodo auxiliar específico, intenta el camino de inpainting estándar o actualiza/desactiva el nodo personalizado en conflicto.
(6) Estoy obteniendo este error clip missing: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']
Por qué sucede esto
Esto generalmente significa que los activos CLIP/codificador de texto cargados no coinciden con el checkpoint SDXL que estás ejecutando (faltan los pesos CLIP de SDXL esperados), lo que también puede hacer que el comportamiento de LoRA parezca "desviado".
Cómo solucionarlo (recomendado)
- Asegúrate de estar usando una configuración de checkpoint SDXL adecuada con codificadores de texto/componentes CLIP de SDXL correctos.
- Luego ejecuta la inferencia de LoRA a través de RCSDXL para que el camino de condicionamiento de SDXL permanezca consistente de principio a fin.
Ejecuta ahora la Inferencia SDXL LoRA
Abre el flujo de trabajo de Inferencia SDXL LoRA de RunComfy, pega tu LoRA en lora_path, y ejecuta RCSDXL para la inferencia de SDXL LoRA coincidente con el entrenamiento en ComfyUI.
