Se você treinou uma LoRA com o Ostris AI Toolkit e esbarrou em coisas como:
- “A LoRA do AI Toolkit fica diferente no ComfyUI”
- “Preview do AI Toolkit vs inferência no ComfyUI: não bate”
- “Por que os samples do treino ficam melhores que no ComfyUI?”
- “LoRA treinada no AI Toolkit não funciona no ComfyUI”
…este guia é para você.
Este guia é especificamente sobre rodar LoRAs treinadas no AI Toolkit dentro do ComfyUI, mantendo os resultados consistentes com os training samples/previews do AI Toolkit.
Procurando inferência sem ComfyUI (Playground / API)?
Veja: AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API)
O motivo real de os samples do AI Toolkit não baterem com o ComfyUI
Seu grafo do ComfyUI não é o mesmo pipeline de inferência que o AI Toolkit usa para renderizar os samples de treino.
E como a diferença é no nível de pipeline, copiar apenas parâmetros visíveis (prompt, seed, steps, CFG/guidance, resolução) normalmente não reproduz o mesmo visual.
O que “pipeline mismatch” costuma significar na prática:
- Semântica diferente de sampler / scheduler
Muitos targets modernos do AI Toolkit dependem de sampling estilo flow‑matching (e de comportamento específico do scheduler). Um sampler “parecido” no ComfyUI muitas vezes não é equivalente.
- Controles escondidos da família que não aparecem como “steps/CFG”
Ex.: patches de sampling / parâmetros de shift em arquiteturas novas.
- Aplicação de LoRA diferente
“Load LoRA” pode significar coisas diferentes dependendo da arquitetura (adapter vs pesos patchados; onde a injeção acontece).
- Mismatch de keys / nomes de módulos
A LoRA “carrega”, mas não se liga aos módulos esperados → efeito fraco ou ausente.
- Drift do modelo base / variante
Diferenças pequenas (dev vs turbo, 4B vs 14B, de‑turbo vs turbo, quantização) podem mudar muito o resultado.
Resumo: se você quer bater com o preview do AI Toolkit, precisa bater com o pipeline completo, não só com as configurações que dá para ver.
O que a RunComfy fez para resolver (para usuários de ComfyUI)
A RunComfy pegou o pipeline usado para os samples de treino do AI Toolkit (“Samples/Preview”) e alinhou a inferência no ComfyUI a ele — por modelo base.
Depois empacotamos essa lógica em:
- nós do ComfyUI (comportamento “preview do AI Toolkit” dentro do grafo)
- workflows Training Preview‑Match (grafos prontos, um por modelo base)
Resultado:
- Um modelo base = um workflow de ComfyUI
- Coloque sua LoRA treinada no AI Toolkit (
.safetensors) - Gere imagens/vídeos com resultados que batem com os samples/previews do AI Toolkit com bem mais confiabilidade do que “tunar um grafo aleatório”
Biblioteca de workflows Training Preview‑Match (um modelo base = um workflow)
Escolha o workflow que corresponde ao modelo base em que você treinou.
A primeira versão suporta os modelos abaixo. Mais workflows serão adicionados até cobrir todos os modelos base do AI Toolkit.
Troubleshooting (AI Toolkit LoRA no ComfyUI)
Os problemas mais comuns “AI Toolkit → ComfyUI” e o jeito mais rápido de resolver.
“Os training samples do AI Toolkit ficam ótimos, mas no ComfyUI a inferência fica pior/diferente.”
Causa: você não está usando no ComfyUI o pipeline de preview do AI Toolkit.
Correção: use o workflow Training Preview‑Match do seu modelo base.
Ir para: Biblioteca Training Preview‑Match
“Eu bati prompt/seed/steps/CFG, mas ainda assim não coincide.”
Causa: igualar parâmetros não basta quando a lógica de sampler/scheduler + pipeline muda.
Correção: pare de tentar “tunar até bater”. Use o workflow preview‑match do modelo base.
Ir para: Biblioteca Training Preview‑Match
“A LoRA carrega no ComfyUI, mas quase não muda nada.”
Causa: normalmente um destes:
- workflow do modelo base errado (arquitetura/variante diferente)
- mismatch de keys/módulos (a LoRA não está sendo aplicada onde você imagina)
- escala/peso da LoRA muito baixo
Correção: use o workflow preview‑match do modelo base e teste em 0.9–1.0.
Ir para: Biblioteca Training Preview‑Match
“Os previews do Flux/FlowMatch ficam incríveis no AI Toolkit, mas no ComfyUI perdem likeness com Euler/DPM.”
Causa: os previews de targets FLUX no AI Toolkit costumam depender de sampling flow‑matching. Trocar o sampler pode mudar estrutura/likeness.
Correção: use o workflow preview‑match de FLUX feito para bater com o pipeline de sampling do AI Toolkit.
Ir para:
“O preview do Z‑Image Turbo bate no AI Toolkit, mas no ComfyUI fica degradado.”
Causa: a inferência Z‑Image é sensível a patches/parâmetros específicos do modelo (fáceis de faltar em grafos custom).
Correção: use o workflow preview‑match de Z‑Image (Turbo vs De‑Turbo importa).
Ir para:
- ComfyUI Workflow: Z‑Image Turbo LoRA Inference (AI Toolkit Preview‑Match)
- ComfyUI Workflow: Z‑Image De‑Turbo LoRA Inference (AI Toolkit Preview‑Match)
Guia relacionado: bater sem ComfyUI (Playground/API)
Se você não precisa do ComfyUI e quer o caminho mais rápido para inferência que bate com o preview (ou quer integrar num app), use:
- AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API) → link
Pronto para começar o treinamento?