Inferência SDXL LoRA: Execute LoRA do AI Toolkit no ComfyUI para Resultados Correspondentes ao Treinamento
Inferência SDXL LoRA: resultados correspondentes ao treinamento com menos etapas no ComfyUI. Este workflow executa o Stable Diffusion XL (SDXL) com LoRAs treinados no AI Toolkit via o nó personalizado RC SDXL (RCSDXL) do RunComfy (código aberto nos repositórios da organização runcomfy-com no GitHub). Envolvendo um pipeline específico do SDXL (em vez de um gráfico de amostrador genérico) e padronizando o carregamento e escalonamento de LoRA (lora_path / lora_scale) com padrões corretos do SDXL, suas saídas no ComfyUI permanecem muito mais próximas do que você viu nas pré-visualizações de treinamento.
Se você treinou um SDXL LoRA no AI Toolkit (RunComfy Trainer ou em outro lugar) e seus resultados no ComfyUI parecem "estranhos" em comparação com as pré-visualizações de treinamento, este workflow é a maneira mais rápida de retornar ao comportamento correspondente ao treinamento.
Como usar o workflow de Inferência SDXL LoRA
Passo 1: Abra o workflow
Abra o workflow de Inferência SDXL LoRA do RunComfy
Passo 2: Importe seu LoRA (2 opções)
- Opção A (resultado de treinamento do RunComfy): RunComfy → Trainer → LoRA Assets → encontre seu LoRA → ⋮ → Copiar Link do LoRA
- Opção B (LoRA do AI Toolkit treinado fora do RunComfy): Copie um link direto para download do arquivo
.safetensorsdo seu LoRA e cole essa URL emlora_path.
Passo 3: Configure o RCSDXL para Inferência SDXL LoRA
Na interface do nó de Inferência SDXL LoRA do RCSDXL, defina os parâmetros restantes:
prompt: seu prompt de texto principal (inclua quaisquer tokens de ativação que você usou durante o treinamento)negative_prompt: opcional; deixe em branco se você não usou nenhum nas pré-visualizações de treinamentowidth/height: resolução de saídasample_steps: etapas de amostragem (corresponda às configurações de pré-visualização de treinamento ao comparar resultados)guidance_scale: CFG / orientação (corresponda ao CFG de pré-visualização de treinamento)seed: use uma semente fixa para reprodutibilidade; altere para explorar variaçõeslora_scale: força/intensidade do LoRA
Se você ajustou a amostragem durante o treinamento, abra o YAML de treinamento do AI Toolkit e copie os mesmos valores aqui—especialmente width, height, sample_steps, guidance_scale e seed. Se você treinou no RunComfy, também pode abrir o Config do LoRA em Trainer → LoRA Assets e copiar os valores de pré-visualização/amostra.
Passo 4: Execute a Inferência SDXL LoRA
- Clique em Queue/Run → a saída é salva automaticamente via SaveImage
Por que a Inferência SDXL LoRA frequentemente parece diferente no ComfyUI & O que o nó personalizado RCSDXL faz
A maioria das discrepâncias SDXL LoRA não é causada por um único controle errado—elas acontecem porque o pipeline de inferência muda. As pré-visualizações de treinamento do AI Toolkit são geradas através de uma implementação de inferência específica do modelo SDXL, enquanto muitos gráficos do ComfyUI são reconstruídos a partir de componentes genéricos. Mesmo com o mesmo prompt, etapas, CFG e semente, um pipeline diferente (e caminho de injeção de LoRA) pode produzir resultados visivelmente diferentes.
O nó RC SDXL (RCSDXL) envolve um pipeline de inferência específico do SDXL para que a Inferência SDXL LoRA permaneça alinhada com o pipeline de pré-visualização de treinamento do AI Toolkit e use um comportamento de injeção de LoRA consistente para o SDXL. Implementação de referência: `src/pipelines/sdxl.py`
Solução de Problemas da Inferência SDXL LoRA
A maioria dos problemas de "pré-visualização de treinamento vs inferência ComfyUI" vem de incompatibilidades de pipeline, não de um único parâmetro errado. Se o seu LoRA foi treinado com AI Toolkit (SDXL), a maneira mais confiável de recuperar o comportamento correspondente ao treinamento no ComfyUI é executar a inferência através do nó personalizado RCSDXL do RunComfy, que alinha a amostragem SDXL + injeção de LoRA no nível do pipeline.
(1) Inferência em arquivos lora .safetensor modelo sdxl não corresponde às amostras no treinamento
Por que isso acontece
Mesmo quando o LoRA é carregado, os resultados ainda podem divergir se o seu gráfico ComfyUI não corresponder ao pipeline de pré-visualização de treinamento (diferentes padrões do SDXL, diferente caminho de injeção de LoRA, diferente tratamento de refinador).
Como corrigir (recomendado)
- Use RCSDXL e cole seu link direto
.safetensorsemlora_path. - Copie os valores de amostragem da sua configuração de treinamento do AI Toolkit (ou Configuração do Trainer → LoRA Assets do RunComfy):
width,height,sample_steps,guidance_scale,seed. - Mantenha "stacks de velocidade extra" (LCM/Lightning/Turbo) fora da comparação, a menos que você tenha treinado/amostrado com eles.
(2) Chave lora SDXL não carregada "lora_te2_text_projection.*"
Por que isso acontece
Seu LoRA contém chaves de projeção do SDXL Text Encoder 2 que o caminho de carregamento atual não está aplicando (fácil de acontecer quando a injeção/mapeamento de chaves não corresponde à configuração de duplo codificador do SDXL).
Como corrigir (mais confiável)
- Use RCSDXL e carregue o LoRA via
lora_pathdentro do nó (injeção ao nível do pipeline). - Mantenha
lora_scaleconsistente e inclua os mesmos tokens de ativação usados durante o treinamento. - Se os avisos persistirem, tente o exato checkpoint base usado no treinamento (variantes SDXL incompatíveis podem produzir chaves ausentes/ignoradas).
(3) Não consigo mais usar LoRAs com SDXL
Por que isso acontece
Após atualizar o ComfyUI / nós personalizados, a aplicação do SDXL LoRA pode mudar (comportamento do carregador, cache, comportamento de memória), fazendo com que gráficos que funcionavam anteriormente falhem ou divirjam.
Como corrigir (recomendado)
- Use RCSDXL para manter o caminho de inferência SDXL estável e alinhado ao treinamento.
- Limpe o cache de modelo/nó ou reinicie a sessão após atualizações (especialmente se o comportamento mudar apenas após você ajustar as configurações do LoRA/carregador).
- Para depuração, execute um workflow SDXL base apenas, depois adicione complexidade de volta.
(4) Agendamento Hook LoRA cache CLIP incorreto em execução subsequente após mudança de valor
Por que isso acontece
Workflows de agendamento/hook podem reutilizar o estado CLIP em cache após mudanças de parâmetro, o que quebra a reprodutibilidade e faz o comportamento do LoRA parecer inconsistente de execução para execução.
Como corrigir (recomendado)
- Para inferência correspondente ao treinamento, prefira RCSDXL com
lora_path/lora_scalesimples primeiro (evite camadas de agendamento/hook até que o baseline corresponda). - Se você precisar usar nós de agendamento/hook, limpe o cache (ou reinicie) após mudar os parâmetros do hook, depois reexecute com a mesma semente.
(5) Erro Ksampler ao tentar usar LORA em inpainting SDXL
Por que isso acontece
Pilhas de inpainting corrigem o modelo durante a amostragem. Alguns nós personalizados / wrappers auxiliares podem entrar em conflito com o patch do LoRA quando você altera configurações no meio da sessão, desencadeando erros do KSampler/inpaint worker.
Como corrigir (recomendado)
- Confirme que o LoRA funciona no RCSDXL em um workflow simples txt2img primeiro (baseline ao nível do pipeline).
- Adicione o inpainting de volta um componente de cada vez. Se o erro aparecer apenas após edições, reinicie/limpe o cache antes de reexecutar.
- Se o problema ocorrer apenas com um nó auxiliar específico, experimente o caminho inpaint padrão ou atualize/desative o nó personalizado conflitante.
(6) Estou recebendo este erro clip ausente: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']
Por que isso acontece
Isso geralmente significa que os ativos CLIP/text-encoder carregados não correspondem ao checkpoint SDXL que você está executando (pesos CLIP SDXL esperados ausentes), o que também pode fazer o comportamento do LoRA parecer "estranho".
Como corrigir (recomendado)
- Certifique-se de que você está usando uma configuração de checkpoint SDXL adequada com os encoders de texto SDXL / componentes CLIP corretos.
- Em seguida, execute a inferência do LoRA via RCSDXL para que o caminho de condicionamento SDXL permaneça consistente de ponta a ponta.
Execute a Inferência SDXL LoRA agora
Abra o workflow SDXL LoRA Inference do RunComfy, cole seu LoRA em lora_path, e execute RCSDXL para inferência SDXL LoRA correspondente ao treinamento no ComfyUI.
