Addestramento FLUX LoRA

FLUX LoRA ha guadagnato un'immensa popolarità nella comunità AI, in particolare tra coloro che cercano di ottimizzare i modelli AI con i propri dataset. Questo approccio ti permette di adattare senza sforzo i modelli FLUX preesistenti ai tuoi dataset unici, rendendolo altamente personalizzabile ed efficiente per una vasta gamma di sforzi creativi. Se sei già familiare con ComfyUI, utilizzare il workflow ComfyUI FLUX LoRA Training per addestrare il tuo modello FLUX LoRA sarà un gioco da ragazzi. Il workflow e i nodi correlati sono stati creati da Kijai, quindi un grande grazie a lui per il suo contributo! Dai un'occhiata al per ulteriori informazioni.

ComfyUI FLUX LoRA Training Tutorial

Il workflow ComfyUI FLUX LoRA Training è un processo potente progettato per l'addestramento dei modelli FLUX LoRA. L'addestramento con ComfyUI offre diversi vantaggi, in particolare per gli utenti già familiari con la sua interfaccia. Con FLUX LoRA Training, puoi utilizzare gli stessi modelli impiegati per l'inferenza, garantendo che non ci siano problemi di compatibilità quando si lavora all'interno dello stesso ambiente Python. Inoltre, puoi costruire workflow per confrontare diverse impostazioni, migliorando il tuo processo di addestramento. Questo tutorial ti guiderà attraverso i passaggi per configurare e utilizzare FLUX LoRA Training in ComfyUI.

Coprirà:

1. Preparazione del tuo Dataset per FLUX LoRA Training
2. Il Processo di FLUX LoRA Training
3. Esecuzione di FLUX LoRA Training
4. Come e Dove Usare i Modelli FLUX e FLUX LoRA

1. Preparazione del tuo Dataset per FLUX LoRA Training

Quando prepari i tuoi dati di addestramento per FLUX LoRA Training, è essenziale avere immagini di alta qualità per il tuo soggetto target.

In questo esempio, stiamo addestrando un modello FLUX LoRA per generare immagini di un influencer specifico. Per questo, avrai bisogno di un set di immagini di alta qualità dell'influencer in varie pose e ambientazioni. Un modo conveniente per raccogliere queste immagini è utilizzare il , che facilita la generazione di una collezione di immagini che mostrano lo stesso personaggio in diverse pose mantenendo la loro apparenza coerente. Per il nostro dataset di addestramento, abbiamo selezionato cinque immagini di alta qualità dell'influencer in varie pose e ambientazioni, assicurando che il dataset sia abbastanza robusto per FLUX LoRA Training per apprendere i dettagli intricati necessari per produrre output coerenti e accurati.

Processo per Ottenere Dati di Addestramento

Esempio di Dati di Addestramento

Puoi anche raccogliere il tuo dataset in base alle tue esigenze specifiche——FLUX LoRA Training è flessibile e funziona con vari tipi di dati.

2. Il Processo di FLUX LoRA Training

Il workflow FLUX LoRA Training consiste in diversi nodi chiave che lavorano insieme per addestrare e validare il tuo modello. Ecco una panoramica dettagliata dei nodi principali, suddivisi in tre parti: Dataset, Impostazioni e Inizializzazione, e Addestramento.

2.1. Imposta Dataset per FLUX LoRA Training

La sezione Dataset consiste in due nodi essenziali che ti aiutano a configurare e personalizzare i tuoi dati di addestramento: TrainDatasetGeneralConfig e TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Il nodo TrainDatasetGeneralConfig è dove definisci le impostazioni generali per il tuo dataset di addestramento in FLUX LoRA Training. Questo nodo ti dà il controllo su vari aspetti dell'augmentazione dei dati e della pre-elaborazione. Ad esempio, puoi scegliere di abilitare o disabilitare l'augmentazione del colore, che può aiutare a migliorare la capacità del modello di generalizzare attraverso diverse variazioni di colore. Allo stesso modo, puoi attivare l'augmentazione del flip per capovolgere casualmente le immagini orizzontalmente, fornendo campioni di addestramento più diversificati. Inoltre, hai l'opzione di mescolare le didascalie associate a ciascuna immagine, introducendo casualità e riducendo l'overfitting. Il tasso di dropout delle didascalie ti consente di eliminare casualmente le didascalie durante l'addestramento, il che può aiutare il modello a diventare più robusto a didascalie mancanti o incomplete.

2.1.2. TrainDatasetAdd

Il nodo TrainDatasetAdd è dove specifichi i dettagli di ciascun dataset individuale da includere nel tuo FLUX LoRA Training.

Directory di input: Percorso del Dataset di Addestramento

Per sfruttare al massimo questo nodo, è importante organizzare correttamente i tuoi dati di addestramento. Utilizzando il file browser di RunComfy, posiziona i dati di addestramento nella directory /home/user/ComfyUI/input/{file-name}, dove {file-name} è un nome significativo che assegni al tuo dataset.

Una volta posizionati i tuoi dati di addestramento nella directory appropriata, devi fornire il percorso a quella directory nel parametro image_dir del nodo TrainDatasetAdd. Questo indica al nodo dove trovare le tue immagini di addestramento.

Token di Classe

Se il tuo dataset beneficia dell'uso di token di classe specifici o parole di attivazione, puoi inserirli nel parametro class_tokens. I token di classe sono parole o frasi speciali che vengono anteposte a ciascuna didascalia e aiutano a guidare il processo di generazione del modello. Ad esempio, se stai addestrando su un dataset di varie specie animali, puoi utilizzare token di classe come "dog", "cat" o "bird" per indicare l'animale desiderato nelle immagini generate. Quando in seguito utilizzi questi token di classe nei tuoi prompt, puoi controllare quali aspetti specifici vuoi che il modello generi.

Imposta la risoluzione (larghezza e altezza), dimensione del batch

Oltre ai parametri image_dir e class_tokens, il nodo TrainDatasetAdd fornisce diverse altre opzioni per ottimizzare il tuo dataset. Puoi impostare la risoluzione (larghezza e altezza) delle immagini, specificare la dimensione del batch per l'addestramento e determinare il numero di volte che il dataset deve essere ripetuto per epoca.

Dataset multipli

Una delle caratteristiche potenti di FLUX LoRA Training è la capacità di combinare più dataset senza problemi. Nel workflow FLUX LoRA Training, ci sono tre nodi TrainDatasetAdd collegati in sequenza. Ogni nodo rappresenta un dataset distinto con le sue impostazioni uniche. Collegando questi nodi insieme, puoi creare un set di addestramento ricco e diversificato che incorpora immagini e didascalie da varie fonti.

Per illustrare questo, consideriamo uno scenario in cui hai tre dataset separati: uno per i gatti, uno per i cani e un altro per gli orsi. Puoi configurare tre nodi TrainDatasetAdd, ciascuno dedicato a uno di questi dataset. Nel primo nodo, specificheresti il percorso al dataset "cats" nel parametro image_dir, imposteresti il class token su "cat" e regoleresti altri parametri come risoluzione e dimensione del batch per soddisfare le tue esigenze. Allo stesso modo, configureresti il secondo e terzo nodo per i dataset "dogs" e "bears", rispettivamente.

Questo approccio consente al processo di FLUX LoRA Training di sfruttare una gamma diversificata di immagini, migliorando la capacità del modello di generalizzare attraverso diverse categorie.

Esempio

Nel nostro esempio, utilizziamo solo un dataset per addestrare il modello, quindi abilitiamo un nodo TrainDatasetAdd e bypassiamo gli altri due. Ecco come puoi configurarlo:

2.2. Impostazioni e Inizializzazione

La sezione Impostazioni e Inizializzazione è dove configuri i componenti e i parametri chiave per FLUX LoRA Training. Questa sezione include diversi nodi essenziali che lavorano insieme per impostare il tuo ambiente di addestramento.

2.2.1. FluxTrainModelSelect

Per prima cosa, hai il nodo FluxTrainModelSelect, che è responsabile della selezione dei modelli FLUX che verranno utilizzati durante FLUX LoRA Training. Questo nodo ti consente di specificare i percorsi per quattro modelli critici: il transformer, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training) e T5 (Text-to-Text Transfer Transformer). Questi modelli formano la spina dorsale del processo di addestramento FLUX, e tutti sono stati configurati sulla piattaforma RunComfy.

2.2.2. OptimizerConfig

Il nodo OptimizerConfig è cruciale per configurare l'ottimizzatore all'interno di FLUX LoRA Training, che determina come i parametri del modello vengono aggiornati durante l'addestramento. Puoi scegliere il tipo di ottimizzatore (es. AdamW, CAME), impostare la norma massima del gradiente per il clipping dei gradienti per prevenire i gradienti esplosivi, e selezionare il scheduler del tasso di apprendimento (es. constant, cosine annealing). Inoltre, puoi ottimizzare i parametri specifici dell'ottimizzatore come i passi di warmup e la potenza del scheduler, e fornire ulteriori argomenti per una maggiore personalizzazione.

Se preferisci l'ottimizzatore Adafactor, noto per la sua efficienza di memoria e capacità di gestire modelli di grandi dimensioni, puoi utilizzare il nodo OptimizerConfigAdafactor invece.

2.2.3. InitFluxLoRATraining

Il nodo InitFluxLoRATraining è il fulcro centrale dove tutti i componenti essenziali convergono per avviare il processo di FLUX LoRA Training.

Directory di output: Percorso FLUX LoRA

Una delle cose chiave che dovrai specificare nel nodo InitFluxLoRATraining è la directory di output, dove verrà salvato il tuo modello addestrato. Sulla piattaforma RunComfy, puoi scegliere /home/user/ComfyUI/output/{file_name} come posizione per il tuo output. Una volta completato l'addestramento, sarai in grado di visualizzarlo nel file browser.

Dimensioni della rete e tassi di apprendimento

Successivamente, vorrai impostare le dimensioni della rete e i tassi di apprendimento. Le dimensioni della rete determinano la dimensione e la complessità della tua rete LoRA, mentre i tassi di apprendimento controllano quanto rapidamente il tuo modello apprende e si adatta.

Passi massimi di addestramento

Un altro parametro importante da considerare è il max_train_steps. Determina quanto tempo vuoi che duri il processo di addestramento, o in altre parole, quanti passi vuoi che il tuo modello compia prima che sia completamente cotto. Puoi regolare questo valore in base alle tue esigenze specifiche e alla dimensione del tuo dataset. Si tratta di trovare quel punto dolce in cui il tuo modello ha imparato abbastanza per produrre output deliziosi!

2.3.4. FluxTrainValidationSettings

Infine, il nodo FluxTrainValidationSettings ti consente di configurare le impostazioni di validazione per valutare le prestazioni del tuo modello durante il processo di FLUX LoRA Training. Puoi impostare il numero di passi di validazione, la dimensione dell'immagine, la scala di guida e il seme per la riproducibilità. Inoltre, puoi scegliere il metodo di campionamento dei timestep e regolare i parametri di scala e shift del sigmoid per controllare la pianificazione dei timestep e migliorare la qualità delle immagini generate.

3. Addestramento

La sezione Addestramento di FLUX LoRA Training è dove avviene la magia. È divisa in quattro parti: Train_01, Train_02, Train_03 e Train_04. Ciascuna di queste parti rappresenta una fase diversa nel processo di FLUX LoRA Training, consentendoti di affinare e migliorare gradualmente il tuo modello.

3.1. Train_01

Iniziamo con Train_01. Questo è dove avviene il ciclo di addestramento iniziale. La stella di questa sezione è il nodo FluxTrainLoop, che è responsabile dell'esecuzione del ciclo di addestramento per un numero specificato di passi. In questo esempio, lo abbiamo impostato su 250 passi, ma puoi regolare questo in base alle tue esigenze. Una volta completato il ciclo di addestramento, il modello addestrato viene passato al nodo FluxTrainSave, che salva il modello a intervalli regolari. Questo garantisce che tu abbia checkpoint del tuo modello in diverse fasi dell'addestramento, che possono essere utili per monitorare i progressi e recuperare da eventuali interruzioni inaspettate.

Ma ljson l'addestramento non riguarda solo il salvataggio del modello. Dobbiamo anche convalidare le sue prestazioni per vedere quanto bene sta facendo. È qui che entra in gioco il nodo FluxTrainValidate. Prende il modello addestrato e lo mette alla prova utilizzando un dataset di validazione. Questo dataset è separato dai dati di addestramento e aiuta a valutare quanto bene il modello generalizza agli esempi non visti. Il nodo FluxTrainValidate genera immagini campione basate sui dati di validazione, fornendo una rappresentazione visiva dell'output del modello in questa fase.

Per tenere d'occhio i progressi dell'addestramento, abbiamo il nodo VisualizeLoss. Questo pratico nodo visualizza la perdita di addestramento nel tempo, permettendoti di vedere quanto bene il modello sta apprendendo e se sta convergendo verso una buona soluzione. È come avere un personal trainer che tiene traccia dei tuoi progressi e ti aiuta a rimanere in pista.

3.2. Train_02, Train_03, Train_04

In Train_02, continuando da Train_01 nel FLUX LoRA Training, l'output viene ulteriormente addestrato per un numero di passi specificato aggiuntivo (es. 250 passi). Train_03 e Train_04 seguono un modello simile, estendendo l'addestramento con connessioni aggiornate per una progressione fluida. Ogni fase produce un modello FLUX LoRA, permettendoti di testare e confrontare le prestazioni.

Esempio

Nel nostro esempio, abbiamo scelto di utilizzare solo Train_01 e Train_02, ciascuno eseguendo 250 passi. Abbiamo bypassato Train_03 e Train_04 per ora. Ma sentiti libero di sperimentare e regolare il numero di sezioni di addestramento e passi in base alle tue esigenze e risorse specifiche.

4. Come e Dove Usare i Modelli FLUX e FLUX LoRA

Una volta che hai il modello FLUX LoRA, puoi incorporarlo nel . Sostituisci il modello LoRA esistente con il tuo modello addestrato, quindi testa i risultati per valutarne le prestazioni.

Esempio

Nel nostro esempio, utilizziamo il workflow FLUX LoRA per generare più immagini di influencer applicando il modello FLUX LoRA e osservandone le prestazioni.

Licenza

Visualizza i file di licenza:

Il modello FLUX.1 [dev] è concesso in licenza da Black Forest Labs. Inc. sotto la FLUX.1 [dev] Licenza Non-Commerciale. Copyright Black Forest Labs. Inc.

IN NESSUN CASO BLACK FOREST LABS, INC. SARÀ RESPONSABILE PER QUALSIASI RECLAMO, DANNI O ALTRA RESPONSABILITÀ, SIA IN UN'AZIONE DI CONTRATTO, TORTO O ALTRO, DERIVANTE DA, FUORI O IN CONNESSIONE CON L'USO DI QUESTO MODELLO.