Inferenza SDXL LoRA: Esegui AI Toolkit LoRA in ComfyUI per Risultati Corrispondenti all'Addestramento
Inferenza SDXL LoRA: risultati corrispondenti all'addestramento con meno passaggi in ComfyUI. Questo workflow esegue Stable Diffusion XL (SDXL) con LoRA addestrati in AI Toolkit tramite il nodo personalizzato RC SDXL (RCSDXL) di RunComfy (open-source nei repository dell'organizzazione GitHub runcomfy-com). Avvolgendo un pipeline specifico per SDXL (invece di un grafo di campionamento generico) e standardizzando il caricamento e la scala di LoRA (lora_path / lora_scale) con predefiniti corretti per SDXL, le tue uscite ComfyUI rimangono molto più vicine a quelle viste nelle anteprime di addestramento.
Se hai addestrato un SDXL LoRA in AI Toolkit (RunComfy Trainer o altrove) e i tuoi risultati in ComfyUI sembrano "sbagliati" rispetto alle anteprime di addestramento, questo workflow è il modo più rapido per tornare a un comportamento corrispondente all'addestramento.
Come utilizzare il workflow di Inferenza SDXL LoRA
Passo 1: Apri il workflow
Apri il workflow di Inferenza SDXL LoRA di RunComfy
Passo 2: Importa il tuo LoRA (2 opzioni)
- Opzione A (risultato dell'addestramento RunComfy): RunComfy → Trainer → LoRA Assets → trova il tuo LoRA → ⋮ → Copia Link LoRA
- Opzione B (LoRA AI Toolkit addestrato al di fuori di RunComfy): Copia un link di download diretto
.safetensorsper il tuo LoRA e incolla quell'URL inlora_path.
Passo 3: Configura RCSDXL per l'Inferenza SDXL LoRA
Nell'interfaccia utente del nodo Inferenza SDXL LoRA di RCSDXL, imposta i restanti parametri:
prompt: il tuo prompt di testo principale (includi eventuali token di attivazione utilizzati durante l'addestramento)negative_prompt: opzionale; lascia vuoto se non ne hai usato uno nelle anteprime di addestramentowidth/height: risoluzione dell'outputsample_steps: passaggi di campionamento (corrispondi alle impostazioni delle anteprime di addestramento quando confronti i risultati)guidance_scale: CFG / guida (corrispondi al CFG delle anteprime di addestramento)seed: usa un seed fisso per la riproducibilità; cambialo per esplorare variazionilora_scale: forza/intensità del LoRA
Se hai modificato il campionamento durante l'addestramento, apri il YAML di addestramento di AI Toolkit e copia gli stessi valori qui—specialmente width, height, sample_steps, guidance_scale, e seed. Se hai addestrato su RunComfy, puoi anche aprire la Config del LoRA in Trainer → LoRA Assets e copiare i valori di anteprima/campionamento.
Passo 4: Esegui l'Inferenza SDXL LoRA
- Clicca Queue/Run → l'output viene salvato automaticamente tramite SaveImage
Perché l'Inferenza SDXL LoRA spesso appare diversa in ComfyUI e cosa fa il nodo personalizzato RCSDXL
La maggior parte dei disallineamenti SDXL LoRA non è causata da un singolo parametro errato—si verificano perché il pipeline di inferenza cambia. Le anteprime di addestramento AI Toolkit sono generate tramite un'implementazione di inferenza SDXL specifica per il modello, mentre molti grafi ComfyUI sono ricostruiti da componenti generici. Anche con lo stesso prompt, passaggi, CFG e seed, un diverso pipeline (e percorso di iniezione LoRA) può produrre risultati notevolmente diversi.
Il nodo RC SDXL (RCSDXL) avvolge un pipeline di inferenza specifico per SDXL in modo che l'Inferenza SDXL LoRA rimanga allineata al pipeline di anteprima di addestramento di AI Toolkit e utilizzi un comportamento di iniezione LoRA coerente per SDXL. Implementazione di riferimento: `src/pipelines/sdxl.py`
Risoluzione dei problemi di Inferenza SDXL LoRA
La maggior parte dei problemi "anteprima di addestramento vs inferenza ComfyUI" deriva da disallineamenti del pipeline, non da un singolo parametro errato. Se il tuo LoRA è stato addestrato con AI Toolkit (SDXL), il modo più affidabile per recuperare il comportamento corrispondente all'addestramento in ComfyUI è eseguire l'inferenza tramite il nodo personalizzato RCSDXL di RunComfy, che allinea il campionamento SDXL + l'iniezione LoRA a livello di pipeline.
(1) Inferenza su file lora .safetensor modello sdxl non corrisponde ai campioni in addestramento
Perché succede
Anche quando il LoRA viene caricato, i risultati possono ancora divergere se il tuo grafo ComfyUI non corrisponde al pipeline di anteprima di addestramento (predefiniti SDXL diversi, percorso di iniezione LoRA diverso, gestione del raffinatore diversa).
Come risolvere (consigliato)
- Usa RCSDXL e incolla il tuo link diretto
.safetensorsinlora_path. - Copia i valori di campionamento dalla tua configurazione di addestramento AI Toolkit (o Config Trainer → LoRA Assets di RunComfy):
width,height,sample_steps,guidance_scale,seed. - Mantieni "extra speed stacks" (LCM/Lightning/Turbo) fuori dal confronto a meno che tu non abbia addestrato/campionamento con essi.
(2) Chiave lora SDXL non caricata "lora_te2_text_projection.*"
Perché succede
Il tuo LoRA contiene chiavi di proiezione del Codificatore di Testo 2 di SDXL che il tuo percorso di caricamento attuale non sta applicando (facile da colpire quando l'iniezione/la mappatura delle chiavi non corrisponde alla configurazione a doppio codificatore di SDXL).
Come risolvere (più affidabile)
- Usa RCSDXL e carica il LoRA tramite
lora_pathall'interno del nodo (iniezione a livello di pipeline). - Mantieni
lora_scalecoerente, e includi gli stessi token di attivazione utilizzati durante l'addestramento. - Se gli avvisi persistono, prova il checkpoint di base esatto utilizzato nell'addestramento (varianti SDXL disallineate possono produrre chiavi mancanti/ignorate).
(3) Non posso più usare i LoRA con SDXL
Perché succede
Dopo aver aggiornato ComfyUI / nodi personalizzati, l'applicazione SDXL LoRA può cambiare (comportamento del caricatore, caching, comportamento della memoria), facendo fallire o divergere grafi precedentemente funzionanti.
Come risolvere (consigliato)
- Usa RCSDXL per mantenere stabile il percorso di inferenza SDXL e allineato all'addestramento.
- Svuota la cache del modello/nodo o riavvia la sessione dopo gli aggiornamenti (soprattutto se il comportamento cambia solo dopo aver modificato le impostazioni del LoRA/caricatore).
- Per il debug, esegui prima un workflow SDXL base-minimo, quindi aggiungi complessità.
(4) Scheduling Hook LoRA cache CLIP errata in esecuzione successiva dopo la modifica del valore
Perché succede
I workflow di hook/scheduling possono riutilizzare lo stato CLIP memorizzato nella cache dopo le modifiche ai parametri, il che rompe la riproducibilità e fa apparire il comportamento del LoRA incoerente da esecuzione a esecuzione.
Come risolvere (consigliato)
- Per l'inferenza corrispondente all'addestramento, preferisci RCSDXL con semplice
lora_path/lora_scaleprima (evita strati di hook/scheduling finché la linea di base non corrisponde). - Se devi usare nodi di hook/scheduling, svuota la cache (o riavvia) dopo aver cambiato i parametri di hook, quindi riesegui con lo stesso seed.
(5) Errore Ksampler mentre si tenta di usare LORA nel inpainting SDXL
Perché succede
Gli stack di inpainting patchano il modello durante il campionamento. Alcuni nodi personalizzati / wrapper di aiuto possono entrare in conflitto con il patching di LoRA quando cambi le impostazioni a metà sessione, innescando errori del lavoratore KSampler/inpaint.
Come risolvere (consigliato)
- Conferma che il LoRA funzioni in RCSDXL in un workflow txt2img semplice (linea di base a livello di pipeline).
- Aggiungi l'inpainting un componente alla volta. Se l'errore appare solo dopo le modifiche, riavvia/svuota la cache prima di rieseguire.
- Se il problema si verifica solo con un nodo di aiuto specifico, prova il percorso di inpaint vaniglia o aggiorna/disabilita il nodo personalizzato in conflitto.
(6) Ricevo questo errore clip mancante: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']
Perché succede
Questo di solito significa che le risorse CLIP/codificatore di testo caricate non corrispondono al checkpoint SDXL che stai eseguendo (mancano i pesi CLIP SDXL previsti), il che può anche far apparire il comportamento del LoRA "sbagliato".
Come risolvere (consigliato)
- Assicurati di utilizzare un setup di checkpoint SDXL corretto con componenti CLIP/codificatori di testo SDXL corretti.
- Quindi esegui l'inferenza LoRA tramite RCSDXL in modo che il percorso di condizionamento SDXL rimanga coerente dall'inizio alla fine.
Esegui ora l'Inferenza SDXL LoRA
Apri il workflow di Inferenza SDXL LoRA di RunComfy, incolla il tuo LoRA in lora_path, ed esegui RCSDXL per l'inferenza SDXL LoRA corrispondente all'addestramento in ComfyUI.