Inferência de LoRA do SD 1.5: gerações do Stable Diffusion 1.5 correspondentes ao treinamento no ComfyUI

A Inferência de LoRA do SD 1.5 é um fluxo de trabalho pronto para produção no RunComfy para executar um LoRA treinado pelo AI Toolkit no Stable Diffusion 1.5 no ComfyUI com comportamento correspondente ao treinamento. É impulsionada pelo RC SD 1.5 (RCSD15)—um nó personalizado de código aberto construído pelo RunComfy (source) que direciona a inferência através de um pipeline SD1.5 (não um gráfico de amostrador genérico) e injeta seu adaptador usando lora_path e lora_scale.

Por que a Inferência de LoRA do SD 1.5 muitas vezes parece diferente no ComfyUI

As amostras de pré-visualização do AI Toolkit para SD1.5 são produzidas por um pipeline de inferência específico do modelo, incluindo seus padrões de agendador e onde o LoRA é aplicado na pilha. Quando você reconstrói a execução como um gráfico SD padrão do ComfyUI, pequenas diferenças (escolha de amostrador/agendador, fluxo de condicionamento, pontos de patch do carregador do LoRA) podem se acumular—assim, corresponder à solicitação, semente e passos ainda não garante a mesma aparência. Na maioria dos relatórios de “pré-visualização vs inferência”, a causa raiz é um desajuste de pipeline, não um botão ausente.

O que o nó personalizado RCSD15 faz

RCSD15 mantém a Inferência de LoRA do SD 1.5 alinhada executando um pipeline do Stable Diffusion 1.5 dentro do nó e aplicando o LoRA do AI Toolkit de forma consistente via lora_path / lora_scale, com padrões corretos do SD1.5 como um divisor de resolução de 8 pixels e suporte a solicitações negativas. Fonte (RunComfy de código aberto): runcomfy-com repositories

Como usar o fluxo de trabalho de Inferência de LoRA do SD 1.5

Passo 1: Importe seu LoRA (2 opções)

• Opção A (resultado de treinamento do RunComfy): RunComfy → Trainer → LoRA Assets → encontre seu LoRA → ⋮ → Copiar Link do LoRA
  
• Opção B (LoRA do AI Toolkit treinado fora do RunComfy): Copie um link direto de download .safetensors para seu LoRA e cole esse URL em lora_path (não há necessidade de fazer o download em ComfyUI/models/loras)

Passo 2: Configure o nó personalizado RCSD15 para Inferência de LoRA do SD 1.5

Cole seu link do LoRA em lora_path no RC SD 1.5 (RCSD15) (seja o link do LoRA do RunComfy da Opção A, ou um URL direto .safetensors da Opção B).

Depois, configure o restante dos parâmetros do nó (comece espelhando seus valores de pré-visualização/amostra de treinamento para que você possa confirmar o alinhamento antes de ajustar):

• prompt: sua solicitação positiva (mantenha os tokens de gatilho exatamente como usados no treinamento, se houver)
• negative_prompt: opcional; deixe em branco se você não usou negativos durante a amostragem
• width / height: tamanho de saída (deve ser divisível por 8 para SD1.5; 512×512 é uma linha de base comum)
• sample_steps: passos de inferência (25 é um ponto de partida típico para Inferência de LoRA do SD 1.5)
• guidance_scale: força de orientação (corresponda ao valor de pré-visualização primeiro, depois ajuste gradualmente)
• seed: mantenha fixo enquanto compara pré-visualização vs inferência do ComfyUI; randomize após sua linha de base corresponder
• lora_scale: força do LoRA (comece com seu valor de pré-visualização, depois ajuste em pequenos incrementos)

Nota sobre alinhamento de treinamento: se você personalizou a amostragem durante o treinamento, abra seu YAML de treinamento do AI Toolkit e espelhe width, height, sample_steps, guidance_scale, seed, e lora_scale. Se você treinou no RunComfy, abra Trainer → LoRA Assets → Config e copie os valores de pré-visualização/amostra para o RCSD15.

Passo 3: Execute a Inferência de LoRA do SD 1.5

Clique em Queue/Run. O nó SaveImage grava a imagem gerada na sua pasta de saída padrão do ComfyUI.

Solução de Problemas na Inferência de LoRA do SD 1.5

O nó personalizado RC SD 1.5 (RCSD15) do RunComfy é construído para trazê-lo de volta a uma linha de base correspondente ao treinamento executando um pipeline do SD1.5 Diffusers dentro do nó (incluindo uma configuração DDPMScheduler alinhada com a amostragem do AI Toolkit) e injetando seu adaptador via lora_path / lora_scale no nível do pipeline. Use RCSD15 como sua linha de base primeiro, depois ajuste.

（1）Chaves do Lora não carregadas

Por que isso acontece

Em fluxos de trabalho do SD 1.5, esse aviso quase sempre significa que o LoRA contém chaves que não se mapeiam de forma limpa nos módulos que estão sendo atualmente corrigidos. As causas específicas do SD1.5 que aparecem com mais frequência são:

• O LoRA está sendo aplicado contra uma base não‑SD1.5 (por exemplo, SDXL) ou componentes do SD1.5 incompatíveis.
• O LoRA está sendo injetado por uma rota diferente da usada pelo amostrador de pré-visualização do AI Toolkit (então os pontos de patch e padrões diferem).
• Sua pilha local do ComfyUI/nó personalizado está desatualizada em relação ao formato de chave do LoRA que você está carregando.

Como corrigir (abordagem confiável para o usuário do SD1.5)

• Comece a partir de uma linha de base alinhada ao pipeline: execute o LoRA através do RCSD15 e carregue-o apenas via lora_path + lora_scale (evite empilhar nós de carregador de LoRA extras enquanto depura).
• Mantenha toda a pilha SD 1.5: certifique-se de que o ponto de verificação base que você está usando para inferência é Stable Diffusion 1.5 (um LoRA do SD1.5 não se mapeará completamente nos módulos do SDXL).
• Re-teste após a atualização: atualize o ComfyUI e seus nós personalizados, depois tente novamente a mesma execução do RCSD15 (mesma solicitação/semente/passos) para confirmar se o desajuste é relacionado a ferramentas ou ativos.

（2）Minha pré-visualização do AI Toolkit parece boa, mas a saída do ComfyUI deriva mesmo com a mesma solicitação/semente/passos

Por que isso acontece

Para o SD 1.5, “mesma solicitação + mesma semente + mesmos passos” ainda pode derivar se os padrões de agendador/amostrador diferirem. A amostragem do SD1.5 do AI Toolkit está vinculada a uma configuração de pipeline do Diffusers SD1.5, enquanto gráficos SD “padrão” do ComfyUI podem acabar usando comportamento de amostrador/agendador e padrões de condicionamento diferentes—alterando assim o caminho de desnoise.

Como corrigir (alinhamento no nível do pipeline primeiro)

• Compare usando o RCSD15 primeiro: RCSD15 executa um pipeline SD1.5 dentro do nó (Diffusers StableDiffusionPipeline) e alinha o comportamento de amostragem via uma configuração DDPMScheduler, depois aplica seu LoRA via lora_path / lora_scale dentro desse mesmo pipeline.
• Espelhe exatamente seus valores de pré-visualização do AI Toolkit enquanto compara: width, height (SD1.5 espera divisibilidade por /8), sample_steps, guidance_scale, seed, lora_scale.
• Trave variáveis enquanto valida: mantenha seed fixo até que a linha de base corresponda, depois ajuste apenas um parâmetro por vez.

（3）O LoRA carrega, mas o efeito é muito mais fraco (ou muito mais forte) do que as amostras do AI Toolkit

Por que isso acontece

No SD 1.5, a força percebida do LoRA é muito sensível a pipeline + agendador + CFG + resolução. Se o pipeline de inferência não corresponder ao amostrador de pré-visualização, o mesmo lora_scale pode “parecer” notavelmente diferente.

Como corrigir (sequência de ajuste estável do SD1.5)

• Não ajuste antes do alinhamento: valide a linha de base através do RCSD15 primeiro (alinhado ao pipeline), depois ajuste.
• Ajuste lora_scale com uma seed fixa: pequenas mudanças são mais fáceis de julgar quando tudo o mais está travado.
• Mantenha as regras de resolução do SD1.5 consistentes: certifique-se de que width/height são divisíveis por 8 para que você não esteja introduzindo artefatos de redimensionamento não intencionais que alterem o detalhe e a força percebida.

Execute agora a Inferência de LoRA do SD 1.5

Abra o fluxo de trabalho, cole seu LoRA em lora_path, corresponda seus valores de amostragem de pré-visualização, e execute RCSD15 para obter a inferência de LoRA do Stable Diffusion 1.5 correspondente ao treinamento no ComfyUI.