Inferência de LoRA do SD 1.5: gerações do Stable Diffusion 1.5 correspondentes ao treinamento no ComfyUI#

A Inferência de LoRA do SD 1.5 é um fluxo de trabalho pronto para produção no RunComfy para executar um LoRA treinado pelo AI Toolkit no Stable Diffusion 1.5 no ComfyUI com comportamento correspondente ao treinamento. É impulsionada pelo RC SD 1.5 (RCSD15)—um nó personalizado de código aberto construído pelo RunComfy (source) que direciona a inferência através de um pipeline SD1.5 (não um gráfico de amostrador genérico) e injeta seu adaptador usando lora_path e lora_scale.

Por que a Inferência de LoRA do SD 1.5 muitas vezes parece diferente no ComfyUI#

As amostras de pré-visualização do AI Toolkit para SD1.5 são produzidas por um pipeline de inferência específico do modelo, incluindo seus padrões de agendador e onde o LoRA é aplicado na pilha. Quando você reconstrói a execução como um gráfico SD padrão do ComfyUI, pequenas diferenças (escolha de amostrador/agendador, fluxo de condicionamento, pontos de patch do carregador do LoRA) podem se acumular—assim, corresponder à solicitação, semente e passos ainda não garante a mesma aparência. Na maioria dos relatórios de “pré-visualização vs inferência”, a causa raiz é um desajuste de pipeline, não um botão ausente.

O que o nó personalizado RCSD15 faz#

RCSD15 mantém a Inferência de LoRA do SD 1.5 alinhada executando um pipeline do Stable Diffusion 1.5 dentro do nó e aplicando o LoRA do AI Toolkit de forma consistente via lora_path / lora_scale, com padrões corretos do SD1.5 como um divisor de resolução de 8 pixels e suporte a solicitações negativas. Fonte (RunComfy de código aberto): runcomfy-com repositories

Como usar o fluxo de trabalho de Inferência de LoRA do SD 1.5#

Passo 1: Importe seu LoRA (2 opções)#

• Opção A (resultado de treinamento do RunComfy): RunComfy → Trainer → LoRA Assets → encontre seu LoRA → ⋮ → Copiar Link do LoRA
  
• Opção B (LoRA do AI Toolkit treinado fora do RunComfy): Copie um link direto de download .safetensors para seu LoRA e cole esse URL em lora_path (não há necessidade de fazer o download em ComfyUI/models/loras)

Passo 2: Configure o nó personalizado RCSD15 para Inferência de LoRA do SD 1.5#

Cole seu link do LoRA em lora_path no RC SD 1.5 (RCSD15) (seja o link do LoRA do RunComfy da Opção A, ou um URL direto .safetensors da Opção B).

Depois, configure o restante dos parâmetros do nó (comece espelhando seus valores de pré-visualização/amostra de treinamento para que você possa confirmar o alinhamento antes de ajustar):

• prompt: sua solicitação positiva (mantenha os tokens de gatilho exatamente como usados no treinamento, se houver)
• negative_prompt: opcional; deixe em branco se você não usou negativos durante a amostragem
• width / height: tamanho de saída (deve ser divisível por 8 para SD1.5; 512×512 é uma linha de base comum)
• sample_steps: passos de inferência (25 é um ponto de partida típico para Inferência de LoRA do SD 1.5)
• guidance_scale: força de orientação (corresponda ao valor de pré-visualização primeiro, depois ajuste gradualmente)
• seed: mantenha fixo enquanto compara pré-visualização vs inferência do ComfyUI; randomize após sua linha de base corresponder
• lora_scale: força do LoRA (comece com seu valor de pré-visualização, depois ajuste em pequenos incrementos)

Nota sobre alinhamento de treinamento: se você personalizou a amostragem durante o treinamento, abra seu YAML de treinamento do AI Toolkit e espelhe width, height, sample_steps, guidance_scale, seed, e lora_scale. Se você treinou no RunComfy, abra Trainer → LoRA Assets → Config e copie os valores de pré-visualização/amostra para o RCSD15.

Passo 3: Execute a Inferência de LoRA do SD 1.5#

Clique em Queue/Run. O nó SaveImage grava a imagem gerada na sua pasta de saída padrão do ComfyUI.

Solução de Problemas na Inferência de LoRA do SD 1.5#

O nó personalizado RC SD 1.5 (RCSD15) do RunComfy é construído para trazê-lo de volta a uma linha de base correspondente ao treinamento executando um pipeline do SD1.5 Diffusers dentro do nó (incluindo uma configuração DDPMScheduler alinhada com a amostragem do AI Toolkit) e injetando seu adaptador via lora_path / lora_scale no nível do pipeline. Use RCSD15 como sua linha de base primeiro, depois ajuste.

（1）Chaves do Lora não carregadas#

Por que isso acontece

Em fluxos de trabalho do SD 1.5, esse aviso quase sempre significa que o LoRA contém chaves que não se mapeiam de forma limpa nos módulos que estão sendo atualmente corrigidos. As causas específicas do SD1.5 que aparecem com mais frequência são:

• O LoRA está sendo aplicado contra uma base não‑SD1.5 (por exemplo, SDXL) ou componentes do SD1.5 incompatíveis.
• O LoRA está sendo injetado por uma rota diferente da usada pelo amostrador de pré-visualização do AI Toolkit (então os pontos de patch e padrões diferem).
• Sua pilha local do ComfyUI/nó personalizado está desatualizada em relação ao formato de chave do LoRA que você está carregando.

Como corrigir (abordagem confiável para o usuário do SD1.5)

• Comece a partir de uma linha de base alinhada ao pipeline: execute o LoRA através do RCSD15 e carregue-o apenas via lora_path + lora_scale (evite empilhar nós de carregador de LoRA extras enquanto depura).
• Mantenha toda a pilha SD 1.5: certifique-se de que o ponto de verificação base que você está usando para inferência é Stable Diffusion 1.5 (um LoRA do SD1.5 não se mapeará completamente nos módulos do SDXL).
• Re-teste após a atualização: atualize o ComfyUI e seus nós personalizados, depois tente novamente a mesma execução do RCSD15 (mesma solicitação/semente/passos) para confirmar se o desajuste é relacionado a ferramentas ou ativos.

（2）Minha pré-visualização do AI Toolkit parece boa, mas a saída do ComfyUI deriva mesmo com a mesma solicitação/semente/passos#

Por que isso acontece

Para o SD 1.5, “mesma solicitação + mesma semente + mesmos passos” ainda pode derivar se os padrões de agendador/amostrador diferirem. A amostragem do SD1.5 do AI Toolkit está vinculada a uma configuração de pipeline do Diffusers SD1.5, enquanto gráficos SD “padrão” do ComfyUI podem acabar usando comportamento de amostrador/agendador e padrões de condicionamento diferentes—alterando assim o caminho de desnoise.

Como corrigir (alinhamento no nível do pipeline primeiro)

• Compare usando o RCSD15 primeiro: RCSD15 executa um pipeline SD1.5 dentro do nó (Diffusers StableDiffusionPipeline) e alinha o comportamento de amostragem via uma configuração DDPMScheduler, depois aplica seu LoRA via lora_path / lora_scale dentro desse mesmo pipeline.
• Espelhe exatamente seus valores de pré-visualização do AI Toolkit enquanto compara: width, height (SD1.5 espera divisibilidade por /8), sample_steps, guidance_scale, seed, lora_scale.
• Trave variáveis enquanto valida: mantenha seed fixo até que a linha de base corresponda, depois ajuste apenas um parâmetro por vez.

（3）O LoRA carrega, mas o efeito é muito mais fraco (ou muito mais forte) do que as amostras do AI Toolkit#

Por que isso acontece

No SD 1.5, a força percebida do LoRA é muito sensível a pipeline + agendador + CFG + resolução. Se o pipeline de inferência não corresponder ao amostrador de pré-visualização, o mesmo lora_scale pode “parecer” notavelmente diferente.

Como corrigir (sequência de ajuste estável do SD1.5)

• Não ajuste antes do alinhamento: valide a linha de base através do RCSD15 primeiro (alinhado ao pipeline), depois ajuste.
• Ajuste lora_scale com uma seed fixa: pequenas mudanças são mais fáceis de julgar quando tudo o mais está travado.
• Mantenha as regras de resolução do SD1.5 consistentes: certifique-se de que width/height são divisíveis por 8 para que você não esteja introduzindo artefatos de redimensionamento não intencionais que alterem o detalhe e a força percebida.

Execute agora a Inferência de LoRA do SD 1.5#

Abra o fluxo de trabalho, cole seu LoRA em lora_path, corresponda seus valores de amostragem de pré-visualização, e execute RCSD15 para obter a inferência de LoRA do Stable Diffusion 1.5 correspondente ao treinamento no ComfyUI.