Si entrenas LoRAs con Ostris AI Toolkit, probablemente te ha pasado esto:
- Tus Samples/Previews de entrenamiento en AI Toolkit se ven genial.
- La misma LoRA se ve distinta al hacer inferencia en ComfyUI, Diffusers u otro stack.
En la mayoría de casos, la LoRA no está “rota”: lo que cambia es tu pipeline de inferencia.
Pequeñas diferencias se acumulan rápido: variante exacta del modelo base, semántica de scheduler/pasos, valores por defecto de VAE/CLIP, “snapping” de resolución e incluso cómo se aplica la LoRA (adapter vs merge/fuse y particularidades por familia).
Para que la inferencia tipo AI Toolkit sea más reproducible, auditable y depurable, RunComfy publica como open source la implementación de referencia que usamos para LoRAs de AI Toolkit, construida con Hugging Face Diffusers.
Repo en GitHub: runcomfy-com/ai-toolkit-inference
Para qué sirve este repo open source
Úsalo si quieres:
- Reproducir los Samples/Previews de AI Toolkit fuera de AI Toolkit (con la misma lógica)
- Depurar el “drift” entre preview de entrenamiento e inferencia controlando cada parte del pipeline
- Construir tu propio servicio de inferencia (por ejemplo, detrás de una API) con Diffusers
Si tu objetivo principal es solo “ejecutar mi LoRA y que coincida con los Samples”, quizá no necesites leer el código: RunComfy ofrece el mismo comportamiento de “preview‑matching” como inferencia gestionada (Playground/API) y como workflows de ComfyUI.
Qué hay dentro del repo
El proyecto está pensado para que el comportamiento de preview de AI Toolkit sea auditables y reproducible. Normalmente incluye:
- Pipelines de Diffusers por modelo base (imagen, edición/control, vídeo — según la familia)
- YAML de entrenamiento de AI Toolkit → ajustes de inferencia (el YAML como “contrato”)
- Carga y aplicación de LoRA (adapter vs merge/fuse; particularidades de binding por familia)
- Reglas de snapping de resolución para igualar Samples/Previews
- Opcional: ejemplo de servidor asíncrono (p. ej., FastAPI) para correr inferencia detrás de una API
Cómo se relaciona con RunComfy Trainer Inference
RunComfy sigue la misma idea de “preview‑matching”:
- Fijar la variante exacta del modelo base
- Igualar los defaults de inferencia por familia
- Mantener el mismo comportamiento de pipeline que genera los Samples/Previews
Puedes usar ese pipeline alineado de dos maneras:
- Playground / API (validación rápida + integración)
- ComfyUI (un workflow por modelo base — carga tu LoRA y genera resultados que coinciden con el preview)
Guías:
- Paridad Playground/API: AI Toolkit Inference: Get Results That Match Your Training Samples
- Workflows preview‑match en ComfyUI: AI Toolkit Inference in ComfyUI: Get Results That Match Your Training Samples
- Depurar drift: AI Toolkit Preview vs Inference Mismatch
Ready to start training?