FLUX.1 Dev LoRA Inferenza: Allinea le anteprime di addestramento dell'AI Toolkit in ComfyUI#

FLUX.1 Dev LoRA Inferenza: generazione a passi minimi allineata all'addestramento in ComfyUI FLUX.1 Dev LoRA Inferenza è un workflow pronto all'uso di RunComfy per applicare FLUX.1 Dev LoRA addestrati con AI Toolkit in ComfyUI con risultati che rimangono vicini alle tue anteprime di addestramento. È costruito attorno a RC FLUX.1 Dev (RCFluxDev)—un nodo personalizzato open-source costruito da RunComfy che instrada la generazione attraverso una pipeline di inferenza specifica di FLUX.1 Dev (invece di un grafico campionatore generico) mentre inietta il tuo adattatore attraverso lora_path e lora_scale. Puoi esplorare i lavori correlati nei repository dell'organizzazione runcomfy-com GitHub.

Usa questo workflow quando i campioni dell'AI Toolkit sembrano "giusti", ma passando a un grafico ComfyUI tipico lo stesso LoRA + prompt derivano in stile, forza o composizione.

Perché FLUX.1 Dev LoRA Inferenza spesso appare diversa in ComfyUI#

Le anteprime dell'AI Toolkit sono generate da una pipeline di inferenza specifica del modello. Molti grafici di ComfyUI ricostruiscono FLUX da componenti generici, quindi "abbinare i numeri" (prompt/passi/guida/seed) può comunque produrre valori predefiniti diversi e un comportamento applicativo LoRA diverso. Questo divario "anteprima di addestramento vs inferenza ComfyUI" è solitamente a livello di pipeline, non un singolo parametro errato.

Cosa fa il nodo personalizzato RCFluxDev#

RCFluxDev incapsula la pipeline di inferenza FLUX.1 Dev utilizzata per il campionamento in stile AI Toolkit e applica il tuo LoRA all'interno di quella pipeline in modo che il comportamento dell'adattatore rimanga coerente per questa famiglia di modelli. Fonte della pipeline: `src/pipelines/flux_dev.py`

Come utilizzare il workflow FLUX.1 Dev LoRA Inferenza#

Passo 1: Importa il tuo LoRA (2 modi)#

• Opzione 1 (risultato di addestramento RunComfy): RunComfy → Trainer → LoRA Assets → trova il tuo LoRA → ⋮ → Copia il link LoRA
  
• Opzione 2 (AI Toolkit LoRA addestrato fuori da RunComfy):

Copia un link diretto di download .safetensors per il tuo LoRA e incolla quell'URL in lora_path.

Passo 2: Configura il nodo personalizzato RCFluxDev per FLUX.1 Dev LoRA Inferenza#

1. Nel workflow, seleziona RC FLUX.1 Dev (RCFluxDev) e incolla il tuo URL LoRA (o percorso del file) in lora_path.

Importante (richiesto per la prima esecuzione): per eseguire questo nodo personalizzato devi (1) avere accesso a Hugging Face al repo FLUX.1 Dev che stai utilizzando, e (2) incollare il tuo token Hugging Face in hf_token:

• Sulla pagina del modello Hugging Face, accedi e clicca Richiedi accesso / Accetta (una volta per repo).
• Crea un Token di Accesso Utente Hugging Face con permesso Lettura su huggingface.co/settings/tokens.
• Incolla il token in hf_token su RCFluxDev, quindi riesegui il workflow.

Guida passo-passo: FLUX Hugging Face Token - Setup & Troubleshooting

1. Quindi configura il resto delle impostazioni per FLUX.1 Dev LoRA Inferenza (tutte nell'interfaccia utente del nodo):

Suggerimento per l'allineamento dell'addestramento: quando cerchi una corrispondenza 1:1, non "regolare a sensazione"—rifletti i valori di campionamento dall'YAML di addestramento AI Toolkit che hai utilizzato per le anteprime (specialmente width, height, sample_steps, guidance_scale, seed). Se hai addestrato su RunComfy, apri Trainer → LoRA Assets → Config e riutilizza le impostazioni di anteprima.

• prompt: il tuo testo prompt (includi i token di attivazione che hai usato durante l'addestramento, se presenti)
• negative_prompt: opzionale; lascialo vuoto se non hai campionato con negativi
• width / height: risoluzione in output (abbina le anteprime di addestramento quando confronti)
• sample_steps: numero di passi di inferenza
• guidance_scale: valore di guida utilizzato dalla pipeline FLUX.1 Dev
• seed: imposta un seed fisso per riprodurre; cambialo per esplorare variazioni
• lora_scale: forza del LoRA (inizia vicino al tuo valore di anteprima, quindi regola)
• hf_token: il tuo token di accesso Hugging Face (richiesto per i repo FLUX riservati)

Passo 3: Esegui FLUX.1 Dev LoRA Inferenza#

• Clicca Queue/Run → SaveImage salva automaticamente i risultati nella cartella di output di ComfyUI

Risoluzione dei problemi FLUX.1 Dev LoRA Inferenza#

La maggior parte dei problemi "anteprima vs ComfyUI" di FLUX.1 Dev sono causati da incongruenze di pipeline (come viene caricato il modello, come viene costruito il conditioning e dove/come viene iniettato l'adattatore), non solo un singolo parametro errato.

Per i FLUX.1 Dev LoRA addestrati con l'AI Toolkit, il modo più affidabile per recuperare un comportamento allineato all'addestramento in ComfyUI è eseguire la generazione attraverso RC FLUX.1 Dev (RCFluxDev), che mantiene l'inferenza allineata a livello di pipeline e applica il tuo adattatore in modo coerente tramite lora_path / lora_scale. Se stai risolvendo un problema persistente, inizia dal workflow di riferimento minimo e aggiungi complessità solo dopo aver confermato che la base funziona.

（1）Alto utilizzo di vram lora dopo l'aggiornamento#

Perché accade

Con FLUX.1 Dev, alcune configurazioni vedono un grande aumento di VRAM quando si applicano certi LoRA (inclusi LoRA addestrati con AI Toolkit). Questo di solito si verifica quando i LoRA sono iniettati attraverso percorsi di caricamento generici o quando il grafico causa copie extra del modello / comportamento di ricarica.

Come risolvere (raccomandato)

• Esegui l'inferenza attraverso RCFluxDev e carica il tuo adattatore solo tramite lora_path nel nodo (evita di mescolare più nodi di caricamento LoRA per lo stesso modello).
• Mantieni il confronto equo: abbina i valori di campionamento dell'anteprima di addestramento (width, height, sample_steps, guidance_scale, seed) prima di giudicare "non sembra giusto".
• Se continui a incontrare OOM: riduci prima width/height (questo è di solito il fattore più grande per FLUX), quindi riduci batch/nodi extra e riavvia la sessione per cancellare eventuali cache obsolete. Inoltre, puoi lanciare una macchina GPU più potente su RunComfy per eseguire.

（2）VAEDecode Dato groups=1, peso di dimensioni [4, 4, 1, 1], input previsto[1, 16, 144, 112] per avere 4 canali, ma ne ha ottenuti 16 invece#

Perché accade

I latenti FLUX e i latenti "classici SD" non sono intercambiabili. Questo errore è il sintomo usuale della decodifica di latenti FLUX con un non-FLUX VAE (un VAE che si aspetta latenti a 4 canali, mentre i latenti FLUX possono essere a 16 canali).

Come risolvere

• Non decodificare i latenti FLUX con un percorso VAE SD/SDXL.
• Usa il workflow RCFluxDev in modo che il percorso di decodifica FLUX corretto sia utilizzato end-to-end (caricamento del modello → campionamento → decodifica), invece di mescolare nodi VAE generici da altre pipeline.
• Se stai ricostruendo grafici manualmente, verifica di utilizzare i corretti asset di autoencoder FLUX e non un VAE SD/SDXL rimasto.

（3）Il modello flux non funziona, flux1-dev-fp8.safetensors#

Perché accade

Questo di solito accade quando un UNet FLUX .safetensors è caricato usando il tipo di caricatore sbagliato (per esempio, trattandolo come un "checkpoint" che ComfyUI dovrebbe rilevare automaticamente come SD/SDXL).

Come risolvere

• Usa il workflow FLUX.1 Dev (RCFluxDev) e lascia che il workflow/nodo gestisca il caricamento del modello; passa solo il tuo LoRA tramite lora_path.
• Non caricare UNet FLUX usando caricatori di checkpoint SD/SDXL.
• Se il file è stato scaricato da un link, ricontrolla che sia un .safetensors completo e valido (download parziali possono scatenare errori di rilevamento confusi).

Esegui ora FLUX.1 Dev LoRA Inferenza#

Apri il workflow FLUX.1 Dev LoRA Inferenza su RunComfy, imposta lora_path, e genera con RCFluxDev per mantenere i risultati di ComfyUI allineati con le tue anteprime di addestramento AI Toolkit.