Inferência SDXL LoRA: Execute LoRA do AI Toolkit no ComfyUI para Resultados Correspondentes ao Treinamento#

Inferência SDXL LoRA: resultados correspondentes ao treinamento com menos etapas no ComfyUI. Este workflow executa o Stable Diffusion XL (SDXL) com LoRAs treinados no AI Toolkit via o nó personalizado RC SDXL (RCSDXL) do RunComfy (código aberto nos repositórios da organização runcomfy-com no GitHub). Envolvendo um pipeline específico do SDXL (em vez de um gráfico de amostrador genérico) e padronizando o carregamento e escalonamento de LoRA (lora_path / lora_scale) com padrões corretos do SDXL, suas saídas no ComfyUI permanecem muito mais próximas do que você viu nas pré-visualizações de treinamento.

Se você treinou um SDXL LoRA no AI Toolkit (RunComfy Trainer ou em outro lugar) e seus resultados no ComfyUI parecem "estranhos" em comparação com as pré-visualizações de treinamento, este workflow é a maneira mais rápida de retornar ao comportamento correspondente ao treinamento.

Como usar o workflow de Inferência SDXL LoRA#

Passo 1: Abra o workflow#

Abra o workflow de Inferência SDXL LoRA do RunComfy

Passo 2: Importe seu LoRA (2 opções)#

• Opção A (resultado de treinamento do RunComfy): RunComfy → Trainer → LoRA Assets → encontre seu LoRA → ⋮ → Copiar Link do LoRA
  
• Opção B (LoRA do AI Toolkit treinado fora do RunComfy): Copie um link direto para download do arquivo .safetensors do seu LoRA e cole essa URL em lora_path.
  

Passo 3: Configure o RCSDXL para Inferência SDXL LoRA#

Na interface do nó de Inferência SDXL LoRA do RCSDXL, defina os parâmetros restantes:

• prompt: seu prompt de texto principal (inclua quaisquer tokens de ativação que você usou durante o treinamento)
• negative_prompt: opcional; deixe em branco se você não usou nenhum nas pré-visualizações de treinamento
• width / height: resolução de saída
• sample_steps: etapas de amostragem (corresponda às configurações de pré-visualização de treinamento ao comparar resultados)
• guidance_scale: CFG / orientação (corresponda ao CFG de pré-visualização de treinamento)
• seed: use uma semente fixa para reprodutibilidade; altere para explorar variações
• lora_scale: força/intensidade do LoRA

Se você ajustou a amostragem durante o treinamento, abra o YAML de treinamento do AI Toolkit e copie os mesmos valores aqui—especialmente width, height, sample_steps, guidance_scale e seed. Se você treinou no RunComfy, também pode abrir o Config do LoRA em Trainer → LoRA Assets e copiar os valores de pré-visualização/amostra.

Passo 4: Execute a Inferência SDXL LoRA#

• Clique em Queue/Run → a saída é salva automaticamente via SaveImage

Por que a Inferência SDXL LoRA frequentemente parece diferente no ComfyUI & O que o nó personalizado RCSDXL faz#

A maioria das discrepâncias SDXL LoRA não é causada por um único controle errado—elas acontecem porque o pipeline de inferência muda. As pré-visualizações de treinamento do AI Toolkit são geradas através de uma implementação de inferência específica do modelo SDXL, enquanto muitos gráficos do ComfyUI são reconstruídos a partir de componentes genéricos. Mesmo com o mesmo prompt, etapas, CFG e semente, um pipeline diferente (e caminho de injeção de LoRA) pode produzir resultados visivelmente diferentes.

O nó RC SDXL (RCSDXL) envolve um pipeline de inferência específico do SDXL para que a Inferência SDXL LoRA permaneça alinhada com o pipeline de pré-visualização de treinamento do AI Toolkit e use um comportamento de injeção de LoRA consistente para o SDXL. Implementação de referência: `src/pipelines/sdxl.py`

Solução de Problemas da Inferência SDXL LoRA#

A maioria dos problemas de "pré-visualização de treinamento vs inferência ComfyUI" vem de incompatibilidades de pipeline, não de um único parâmetro errado. Se o seu LoRA foi treinado com AI Toolkit (SDXL), a maneira mais confiável de recuperar o comportamento correspondente ao treinamento no ComfyUI é executar a inferência através do nó personalizado RCSDXL do RunComfy, que alinha a amostragem SDXL + injeção de LoRA no nível do pipeline.

(1) Inferência em arquivos lora .safetensor modelo sdxl não corresponde às amostras no treinamento#

Por que isso acontece

Mesmo quando o LoRA é carregado, os resultados ainda podem divergir se o seu gráfico ComfyUI não corresponder ao pipeline de pré-visualização de treinamento (diferentes padrões do SDXL, diferente caminho de injeção de LoRA, diferente tratamento de refinador).

Como corrigir (recomendado)

• Use RCSDXL e cole seu link direto .safetensors em lora_path.
• Copie os valores de amostragem da sua configuração de treinamento do AI Toolkit (ou Configuração do Trainer → LoRA Assets do RunComfy): width, height, sample_steps, guidance_scale, seed.
• Mantenha "stacks de velocidade extra" (LCM/Lightning/Turbo) fora da comparação, a menos que você tenha treinado/amostrado com eles.

(2) Chave lora SDXL não carregada "lora_te2_text_projection.*"#

Por que isso acontece

Seu LoRA contém chaves de projeção do SDXL Text Encoder 2 que o caminho de carregamento atual não está aplicando (fácil de acontecer quando a injeção/mapeamento de chaves não corresponde à configuração de duplo codificador do SDXL).

Como corrigir (mais confiável)

• Use RCSDXL e carregue o LoRA via lora_path dentro do nó (injeção ao nível do pipeline).
• Mantenha lora_scale consistente e inclua os mesmos tokens de ativação usados durante o treinamento.
• Se os avisos persistirem, tente o exato checkpoint base usado no treinamento (variantes SDXL incompatíveis podem produzir chaves ausentes/ignoradas).

(3) Não consigo mais usar LoRAs com SDXL#

Por que isso acontece

Após atualizar o ComfyUI / nós personalizados, a aplicação do SDXL LoRA pode mudar (comportamento do carregador, cache, comportamento de memória), fazendo com que gráficos que funcionavam anteriormente falhem ou divirjam.

Como corrigir (recomendado)

• Use RCSDXL para manter o caminho de inferência SDXL estável e alinhado ao treinamento.
• Limpe o cache de modelo/nó ou reinicie a sessão após atualizações (especialmente se o comportamento mudar apenas após você ajustar as configurações do LoRA/carregador).
• Para depuração, execute um workflow SDXL base apenas, depois adicione complexidade de volta.

(4) Agendamento Hook LoRA cache CLIP incorreto em execução subsequente após mudança de valor#

Por que isso acontece

Workflows de agendamento/hook podem reutilizar o estado CLIP em cache após mudanças de parâmetro, o que quebra a reprodutibilidade e faz o comportamento do LoRA parecer inconsistente de execução para execução.

Como corrigir (recomendado)

• Para inferência correspondente ao treinamento, prefira RCSDXL com lora_path / lora_scale simples primeiro (evite camadas de agendamento/hook até que o baseline corresponda).
• Se você precisar usar nós de agendamento/hook, limpe o cache (ou reinicie) após mudar os parâmetros do hook, depois reexecute com a mesma semente.

(5) Erro Ksampler ao tentar usar LORA em inpainting SDXL#

Por que isso acontece

Pilhas de inpainting corrigem o modelo durante a amostragem. Alguns nós personalizados / wrappers auxiliares podem entrar em conflito com o patch do LoRA quando você altera configurações no meio da sessão, desencadeando erros do KSampler/inpaint worker.

Como corrigir (recomendado)

• Confirme que o LoRA funciona no RCSDXL em um workflow simples txt2img primeiro (baseline ao nível do pipeline).
• Adicione o inpainting de volta um componente de cada vez. Se o erro aparecer apenas após edições, reinicie/limpe o cache antes de reexecutar.
• Se o problema ocorrer apenas com um nó auxiliar específico, experimente o caminho inpaint padrão ou atualize/desative o nó personalizado conflitante.

(6) Estou recebendo este erro clip ausente: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']#

Por que isso acontece

Isso geralmente significa que os ativos CLIP/text-encoder carregados não correspondem ao checkpoint SDXL que você está executando (pesos CLIP SDXL esperados ausentes), o que também pode fazer o comportamento do LoRA parecer "estranho".

Como corrigir (recomendado)

• Certifique-se de que você está usando uma configuração de checkpoint SDXL adequada com os encoders de texto SDXL / componentes CLIP corretos.
• Em seguida, execute a inferência do LoRA via RCSDXL para que o caminho de condicionamento SDXL permaneça consistente de ponta a ponta.

Execute a Inferência SDXL LoRA agora#

Abra o workflow SDXL LoRA Inference do RunComfy, cole seu LoRA em lora_path, e execute RCSDXL para inferência SDXL LoRA correspondente ao treinamento no ComfyUI.