FLUX est un nouveau modèle de génération d'images développé par Black Forest Labs. Ce modèle FLUX NF4 est créé par lllyasviel, veuillez visiter ce lien pour plus d'informations.
À propos de FLUX
Les modèles FLUX sont préchargés sur RunComfy, nommés flux/flux-schnell et flux/flux-dev.
- Lors du lancement d'une machine RunComfy de taille moyenne : Sélectionnez le point de contrôle
flux-schnell, fp8et clipt5_xxl_fp8pour éviter les problèmes de mémoire insuffisante. - Lors du lancement d'une machine RunComfy de grande taille ou plus : Optez pour un grand point de contrôle
flux-dev, defaultet un clip élevét5_xxl_fp16.
Pour plus de détails, visitez : ComfyUI FLUX | A New Art Image Generation
Introduction à FLUX NF4
FLUX NF4 est un point de contrôle de modèle spécialisé conçu pour l'optimisation des performances dans les workflows de Stable Diffusion. Développé par l'auteur lllyasviel, ce modèle utilise la quantification NF4 (Normal Float 4-bit) pour améliorer considérablement la vitesse d'inférence et réduire l'utilisation de la mémoire par rapport aux modèles traditionnels FP8 (Float 8-bit). FLUX NF4 fait partie d'une série de modèles visant à améliorer l'efficacité, en particulier sur les architectures GPU plus récentes comme les séries NVIDIA RTX 3000 et 4000. Le modèle inclut des fonctionnalités avancées telles que "Distilled CFG Guidance", qui affine le processus de génération d'images avec des invites plus précises. Sur un GPU haut de gamme comme le RTX 4090, le modèle FLUX régulier prend environ 50 secondes pour générer une image, tandis que FLUX NF4 ne prend que 13-14 secondes. Cela rend FLUX NF4 accessible à un plus grand nombre d'utilisateurs qui ne disposent peut-être pas de matériel de pointe.
Comment utiliser ComfyUI FLUX NF4
1. Chargement du modèle : CheckpointLoaderNF4
Ce nœud charge le modèle FLUX (flux/flux1-dev-bnb-nf4-v2.safetensors). Le modèle est responsable de guider l'ensemble du processus de génération d'images en fournissant le cadre sous-jacent qui contrôle le comportement et les caractéristiques des images générées.
2. Génération de bruit aléatoire : RandomNoise
Ce nœud génère un motif de bruit aléatoire, qui sert d'entrée initiale pour la génération d'images. Le bruit agit comme point de départ qui sera transformé en un résultat final.
3. Échantillonnage du modèle Flux : ModelSamplingFlux
Le nœud ModelSamplingFlux ajuste le comportement d'échantillonnage du modèle en fonction de la résolution et d'autres paramètres. Il optimise la sortie du modèle, garantissant que la qualité de l'image est maintenue au fur et à mesure que les transformations sont appliquées. Si vous préférez ne pas ajuster le comportement d'échantillonnage, ce nœud peut être contourné.
4. Définition des dimensions de l'image : PrimitiveNode (Largeur et Hauteur)
Ces nœuds définissent les dimensions de l'image (largeur et hauteur), généralement fixées à 1024x1024. Les dimensions spécifiées influencent la résolution et le niveau de détail de l'image générée.
5. Conditionnement avec CLIP Text : CLIPTextEncode (Positif et Négatif)
Les nœuds CLIPTextEncode encodent les invites de texte en données de conditionnement qui guident le processus de génération d'images. Les invites positives améliorent les caractéristiques souhaitées, tandis que les invites négatives suppriment les indésirables, vous donnant le contrôle sur le contenu et le style du résultat.
6. Application de la guidance Flux : FluxGuidance
Le nœud FluxGuidance applique une échelle de guidance (par exemple, 3.5) aux données de conditionnement. Cette échelle ajuste l'influence des invites textuelles sur le résultat final, permettant de peaufiner la sortie générée.
7. Planification avec BasicScheduler : BasicScheduler
Ce nœud gère la planification du processus de génération d'images, contrôlant la transition du bruit à l'image finale. Les paramètres de planification affectent la rapidité et la fluidité de l'évolution de l'image pendant la génération.
8. Échantillonnage personnalisé : SamplerCustomAdvanced
Ce nœud d'échantillonnage avancé affine l'image en appliquant des transformations supplémentaires à l'image latente. Il intègre le bruit, le guide, l'échantillonneur, les sigmas et les données d'image latente pour produire une sortie de haute qualité.
9. Décodage du VAE : VAEDecode
Le nœud VAEDecode décode l'image latente en une image visuelle réelle en utilisant un VAE (Variational Autoencoder). Cette étape est cruciale pour traduire l'espace latent abstrait en une image visible et interprétable.
10. Mise à l'échelle de l'image : UpscaleModelLoader et UltimateSDUpscale
Le UpscaleModelLoader charge un modèle de mise à l'échelle (par exemple, 4x-UltraSharp.pth), et le nœud UltimateSDUpscale applique ce modèle pour améliorer la résolution de l'image. Cette étape garantit que l'image finale est nette et détaillée, même à des résolutions plus élevées.
Licence
Voir les fichiers de licence :
flux/model_licenses/LICENSE-FLUX1-dev
flux/model_licenses/LICENSE-FLUX1-schnell
Le modèle FLUX.1 [dev] est licencié par Black Forest Labs. Inc. sous la licence FLUX.1 [dev] Non-Commercial License. Droits d'auteur Black Forest Labs. Inc.
EN AUCUN CAS BLACK FOREST LABS, INC. NE SERA RESPONSABLE DE TOUTE RÉCLAMATION, DOMMAGE OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS UNE ACTION CONTRACTUELLE, DÉLICTUELLE OU AUTRE, DÉCOULANT DE, HORS DE OU EN CONNEXION AVEC L'UTILISATION DE CE MODÈLE.
