Formation FLUX LoRA

FLUX LoRA a gagné une immense popularité dans la communauté IA, en particulier parmi ceux qui cherchent à affiner les modèles IA avec leurs propres jeux de données. Cette approche vous permet d'adapter sans effort des modèles FLUX préexistants à vos jeux de données uniques, rendant ainsi la personnalisation très efficace pour une large gamme d'initiatives créatives. Si vous êtes déjà familier avec ComfyUI, utiliser le flux de travail ComfyUI FLUX LoRA Training pour former votre modèle FLUX LoRA sera un jeu d'enfant. Le flux de travail et les nœuds associés ont été créés par Kijai, alors un grand merci à lui pour sa contribution ! Consultez le pour plus d'informations.

Tutoriel de Formation ComfyUI FLUX LoRA

Le flux de travail ComfyUI FLUX LoRA Training est un processus puissant conçu pour former des modèles FLUX LoRA. La formation avec ComfyUI offre plusieurs avantages, en particulier pour les utilisateurs déjà familiers avec son interface. Avec FLUX LoRA Training, vous pouvez utiliser les mêmes modèles employés pour l'inférence, garantissant qu'il n'y a pas de problèmes de compatibilité lors du travail dans le même environnement Python. De plus, vous pouvez construire des flux de travail pour comparer différents paramètres, améliorant ainsi votre processus de formation. Ce tutoriel vous guidera à travers les étapes pour configurer et utiliser FLUX LoRA Training dans ComfyUI.

Nous couvrirons :

1. Préparation de votre jeu de données pour la formation FLUX LoRA
2. Le processus de formation FLUX LoRA
3. Exécution de la formation FLUX LoRA
4. Comment et où utiliser les modèles FLUX et FLUX LoRA

1. Préparation de votre jeu de données pour la formation FLUX LoRA

Lors de la préparation de vos données d'entraînement pour la formation FLUX LoRA, il est essentiel d'avoir des images de haute qualité pour votre sujet cible.

Dans cet exemple, nous formons un modèle FLUX LoRA pour générer des images d'un influenceur spécifique. Pour cela, vous aurez besoin d'un ensemble d'images de haute qualité de l'influenceur dans diverses poses et environnements. Une manière pratique de rassembler ces images est d'utiliser le , qui facilite la génération d'une collection d'images montrant le même personnage dans différentes poses tout en gardant leur apparence cohérente. Pour notre jeu de données d'entraînement, nous avons sélectionné cinq images de haute qualité de l'influenceur dans diverses poses et environnements, garantissant que le jeu de données est suffisamment robuste pour que FLUX LoRA Training apprenne les détails complexes nécessaires pour produire des sorties cohérentes et précises.

Processus pour obtenir des données d'entraînement

Exemple de données d'entraînement

Vous pouvez également collecter votre propre jeu de données en fonction de vos besoins spécifiques——FLUX LoRA Training est flexible et fonctionne avec divers types de données.

2. Le processus de formation FLUX LoRA

Le flux de travail FLUX LoRA Training se compose de plusieurs nœuds clés qui travaillent ensemble pour former et valider votre modèle. Voici un aperçu détaillé des principaux nœuds, séparés en trois parties : Jeu de données, Paramètres et Initialisation, et Formation.

2.1. Configurer les jeux de données pour la formation FLUX LoRA

La section Jeu de données se compose de deux nœuds essentiels qui vous aident à configurer et à personnaliser vos données d'entraînement : TrainDatasetGeneralConfig et TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

Le nœud TrainDatasetGeneralConfig est l'endroit où vous définissez les paramètres globaux de votre jeu de données d'entraînement dans FLUX LoRA Training. Ce nœud vous donne le contrôle sur divers aspects de l'augmentation et du prétraitement des données. Par exemple, vous pouvez choisir d'activer ou de désactiver l'augmentation des couleurs, ce qui peut aider à améliorer la capacité du modèle à généraliser à travers différentes variations de couleur. De même, vous pouvez basculer l'augmentation de retournement pour retourner aléatoirement les images horizontalement, fournissant des échantillons d'entraînement plus diversifiés. De plus, vous avez la possibilité de mélanger les légendes associées à chaque image, introduisant de l'aléatoire et réduisant le surajustement. Le taux d'abandon des légendes vous permet de supprimer aléatoirement des légendes pendant l'entraînement, ce qui peut aider le modèle à devenir plus robuste face à des légendes manquantes ou incomplètes.

2.1.2. TrainDatasetAdd

Le nœud TrainDatasetAdd est l'endroit où vous spécifiez les détails de chaque jeu de données individuel à inclure dans votre formation FLUX LoRA.

Répertoire d'entrée : Chemin du jeu de données d'entraînement

Pour tirer le meilleur parti de ce nœud, il est important d'organiser correctement vos données d'entraînement. Lors de l'utilisation du navigateur de fichiers de RunComfy, placez les données d'entraînement dans le répertoire /home/user/ComfyUI/input/{file-name}, où {file-name} est un nom significatif que vous attribuez à votre jeu de données.

Une fois que vous avez placé vos données d'entraînement dans le répertoire approprié, vous devez fournir le chemin vers ce répertoire dans le paramètre image_dir du nœud TrainDatasetAdd. Cela indique au nœud où trouver vos images d'entraînement.

Jeton de classe

Si votre jeu de données bénéficie de l'utilisation de jetons de classe ou de mots déclencheurs spécifiques, vous pouvez les entrer dans le paramètre class_tokens. Les jetons de classe sont des mots ou des phrases spéciaux qui sont préfixés à chaque légende et aident à guider le processus de génération du modèle. Par exemple, si vous entraînez un jeu de données de différentes espèces animales, vous pourriez utiliser des jetons de classe comme "chien", "chat" ou "oiseau" pour indiquer l'animal souhaité dans les images générées. Lorsque vous utilisez ensuite ces jetons de classe dans vos invites, vous pouvez contrôler quels aspects spécifiques vous souhaitez que le modèle génère.

Définir la résolution (largeur et hauteur), taille du lot

En plus des paramètres image_dir et class_tokens, le nœud TrainDatasetAdd fournit plusieurs autres options pour affiner votre jeu de données. Vous pouvez définir la résolution (largeur et hauteur) des images, spécifier la taille du lot pour l'entraînement et déterminer le nombre de fois que le jeu de données doit être répété par époque.

Jeux de données multiples

L'une des fonctionnalités puissantes de FLUX LoRA Training est la capacité de combiner plusieurs jeux de données de manière transparente. Dans le flux de travail FLUX LoRA Training, il y a trois nœuds TrainDatasetAdd connectés en séquence. Chaque nœud représente un jeu de données distinct avec ses propres paramètres uniques. En reliant ces nœuds ensemble, vous pouvez créer un ensemble d'entraînement riche et diversifié qui intègre des images et des légendes de diverses sources.

Pour illustrer cela, considérons un scénario où vous avez trois jeux de données séparés : un pour les chats, un pour les chiens et un autre pour les ours. Vous pouvez configurer trois nœuds TrainDatasetAdd, chacun dédié à l'un de ces jeux de données. Dans le premier nœud, vous spécifieriez le chemin vers le jeu de données "chats" dans le paramètre image_dir, définiriez le jeton de classe sur "chat," et ajusteriez d'autres paramètres comme la résolution et la taille du lot pour répondre à vos besoins. De même, vous configureriez les deuxième et troisième nœuds pour les jeux de données "chiens" et "ours", respectivement.

Cette approche permet au processus de formation FLUX LoRA de tirer parti d'une gamme diversifiée d'images, améliorant la capacité du modèle à généraliser à travers différentes catégories.

Exemple

Dans notre exemple, nous utilisons un seul jeu de données pour former le modèle, nous activons donc un nœud TrainDatasetAdd et contournons les deux autres. Voici comment vous pouvez le configurer :

2.2. Paramètres et Initialisation

La section Paramètres et Initialisation est l'endroit où vous configurez les composants clés et les paramètres pour FLUX LoRA Training. Cette section comprend plusieurs nœuds essentiels qui travaillent ensemble pour configurer votre environnement de formation.

2.2.1. FluxTrainModelSelect

Tout d'abord, vous avez le nœud FluxTrainModelSelect, qui est responsable de la sélection des modèles FLUX qui seront utilisés pendant FLUX LoRA Training. Ce nœud vous permet de spécifier les chemins vers quatre modèles critiques : le transformateur, VAE (Auto-encodeur Variationnel), CLIP_L (Pré-formation Contraste Langue-Image), et T5 (Transformateur de Transfert Texte-à-Texte). Ces modèles forment l'épine dorsale du processus de formation FLUX, et tous ont été configurés sur la plateforme RunComfy.

2.2.2. OptimizerConfig

Le nœud OptimizerConfig est crucial pour configurer l'optimiseur au sein de FLUX LoRA Training, qui détermine comment les paramètres du modèle sont mis à jour pendant la formation. Vous pouvez choisir le type d'optimiseur (par exemple, AdamW, CAME), définir la norme maximale du gradient pour le découpage du gradient afin de prévenir les gradients explosifs, et sélectionner le planificateur de taux d'apprentissage (par exemple, constant, atténuation cosinus). De plus, vous pouvez affiner les paramètres spécifiques à l'optimiseur comme les étapes de préchauffage et la puissance du planificateur, et fournir des arguments supplémentaires pour une personnalisation plus poussée.

Si vous préférez l'optimiseur Adafactor, connu pour son efficacité en mémoire et sa capacité à gérer de grands modèles, vous pouvez utiliser le nœud OptimizerConfigAdafactor à la place.

2.2.3. InitFluxLoRATraining

Le nœud InitFluxLoRATraining est le centre où tous les composants essentiels convergent pour lancer le processus de formation FLUX LoRA.

Répertoire de sortie : Chemin de FLUX LoRA

L'une des choses clés que vous devrez spécifier dans le nœud InitFluxLoRATraining est le répertoire de sortie, où votre modèle formé sera enregistré. Sur la plateforme RunComfy, vous pouvez choisir /home/user/ComfyUI/output/{file_name} comme emplacement pour votre sortie. Une fois la formation terminée, vous pourrez le visualiser dans le navigateur de fichiers.

Dimensions du réseau et taux d'apprentissage

Ensuite, vous voudrez définir les dimensions du réseau et les taux d'apprentissage. Les dimensions du réseau déterminent la taille et la complexité de votre réseau LoRA, tandis que les taux d'apprentissage contrôlent la rapidité avec laquelle votre modèle apprend et s'adapte.

Étapes de formation maximales

Un autre paramètre important à considérer est le max_train_steps. Il détermine combien de temps vous souhaitez que le processus de formation dure, ou en d'autres termes, combien d'étapes vous voulez que votre modèle prenne avant qu'il ne soit entièrement cuit. Vous pouvez ajuster cette valeur en fonction de vos besoins spécifiques et de la taille de votre jeu de données. Il s'agit de trouver ce juste milieu où votre modèle a suffisamment appris pour produire des sorties savoureuses !

2.3.4. FluxTrainValidationSettings

Enfin, le nœud FluxTrainValidationSettings vous permet de configurer les paramètres de validation pour évaluer les performances de votre modèle pendant le processus de formation FLUX LoRA. Vous pouvez définir le nombre d'étapes de validation, la taille de l'image, l'échelle de guidage et la graine pour la reproductibilité. De plus, vous pouvez choisir la méthode d'échantillonnage des étapes et ajuster les paramètres de l'échelle et du décalage sigmoïde pour contrôler la planification des étapes et améliorer la qualité des images générées.

3. Former

La section Former de FLUX LoRA Training est l'endroit où la magie opère. Elle est divisée en quatre parties : Train_01, Train_02, Train_03 et Train_04. Chacune de ces parties représente une étape différente dans le processus de formation FLUX LoRA, vous permettant de raffiner et d'améliorer progressivement votre modèle.

3.1. Train_01

Commençons par Train_01. C'est là que la boucle de formation initiale a lieu. La vedette de cette section est le nœud FluxTrainLoop, qui est responsable de l'exécution de la boucle de formation pour un nombre spécifié d'étapes. Dans cet exemple, nous l'avons réglé à 250 étapes, mais vous pouvez ajuster cela en fonction de vos besoins. Une fois la boucle de formation terminée, le modèle formé est transmis au nœud FluxTrainSave, qui enregistre le modèle à intervalles réguliers. Cela garantit que vous avez des points de contrôle de votre modèle à différentes étapes de la formation, ce qui peut être utile pour suivre les progrès et récupérer après toute interruption inattendue.

Mais la formation ne se limite pas à enregistrer le modèle. Nous devons également valider ses performances pour voir à quel point il se débrouille. C'est là qu'intervient le nœud FluxTrainValidate. Il prend le modèle formé et lejson met à l'épreuve à l'aide d'un jeu de données de validation. Ce jeu de données est distinct des données d'entraînement et aide à évaluer dans quelle mesure le modèle se généralise à des exemples non vus. Le nœud FluxTrainValidate génère des images d'échantillon basées sur les données de validation, vous donnant une représentation visuelle de la sortie du modèle à ce stade.

Pour garder un œil sur les progrès de la formation, nous avons le nœud VisualizeLoss. Ce nœud pratique visualise la perte de formation au fil du temps, vous permettant de voir à quel point le modèle apprend bien et s'il converge vers une bonne solution. C'est comme avoir un entraîneur personnel qui suit vos progrès et vous aide à rester sur la bonne voie.

3.2. Train_02, Train_03, Train_04

Dans Train_02, en continuant à partir de Train_01 dans la formation FLUX LoRA, la sortie est encore formée pour un nombre supplémentaire d'étapes spécifié (par exemple, 250 étapes). Train_03 et Train_04 suivent un schéma similaire, prolongeant la formation avec des connexions mises à jour pour une progression en douceur. Chaque étape produit un modèle FLUX LoRA, vous permettant de tester et de comparer les performances.

Exemple

Dans notre exemple, nous avons choisi d'utiliser uniquement Train_01 et Train_02, chacun fonctionnant pendant 250 étapes. Nous avons contourné Train_03 et Train_04 pour l'instant. Mais n'hésitez pas à expérimenter et à ajuster le nombre de sections de formation et d'étapes en fonction de vos besoins et ressources spécifiques.

4. Comment et où utiliser les modèles FLUX et FLUX LoRA

Une fois que vous avez le modèle FLUX LoRA, vous pouvez l'incorporer dans le . Remplacez le modèle LoRA existant par votre modèle formé, puis testez les résultats pour évaluer ses performances.

Exemple

Dans notre exemple, nous utilisons le flux de travail FLUX LoRA pour générer plus d'images d'influenceurs en appliquant le modèle FLUX LoRA et en observant ses performances.

Licence

Consultez les fichiers de licence :

Le modèle FLUX.1 [dev] est sous licence de Black Forest Labs. Inc. sous la FLUX.1 [dev] Non-Commercial License. Copyright Black Forest Labs. Inc.

EN AUCUN CAS BLACK FOREST LABS, INC. NE SERA RESPONSABLE DE TOUTE RÉCLAMATION, DOMMAGE OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION DE CONTRAT, DE TORT OU AUTREMENT, DÉCOULANT DE, HORS OU EN RELATION AVEC L'UTILISATION DE CE MODÈLE.