ComfyUI FLUX: Guide för Installation, Arbetsflöden som FLUX-ControlNet, FLUX-LoRA och FLUX-IPAdapter... och Online-åtkomst

Hej, AI-entusiaster! 👋 Välkommen till vår introduktionsguide om att använda FLUX inom ComfyUI. FLUX är en banbrytande modell utvecklad av Black Forest Labs. 🌟 I denna handledning kommer vi att dyka in i grunderna för ComfyUI FLUX och visa hur denna kraftfulla modell kan förbättra din kreativa process och hjälpa dig att tänja på gränserna för AI-genererad konst. 🚀

Vi kommer att täcka:

1. Introduktion till FLUX

2. Olika versioner av FLUX

3. FLUX hårdvarukrav

• 3.1. FLUX.1 [Pro] Hårdvarukrav
• 3.2. FLUX.1 [Dev] Hårdvarukrav
• 3.3. FLUX.1 [Schnell] Hårdvarukrav

4. Hur man installerar FLUX i ComfyUI

• 4.1. Installera eller uppdatera ComfyUI
• 4.2. Ladda ner ComfyUI FLUX Text Encoders och CLIP Models
• 4.3. Ladda ner FLUX.1 VAE Model
• 4.4. Ladda ner FLUX.1 UNET Model

5. ComfyUI FLUX Arbetsflöde | Nedladdning, Online-åtkomst och Guide

• 5.1. ComfyUI Arbetsflöde: FLUX Txt2Img
• 5.2. ComfyUI Arbetsflöde: FLUX Img2Img
• 5.3. ComfyUI Arbetsflöde: FLUX LoRA
• 5.4. ComfyUI Arbetsflöde: FLUX ControlNet
• 5.5. ComfyUI Arbetsflöde: FLUX Inpainting
• 5.6. ComfyUI Arbetsflöde: FLUX NF4 & Upscale
• 5.7. ComfyUI Arbetsflöde: FLUX IPAdapter
• 5.8. ComfyUI Arbetsflöde: Flux LoRA Trainer
• 5.9. ComfyUI Arbetsflöde: Flux Latent Upscale

1. Introduktion till FLUX

FLUX.1, den banbrytande AI-modellen från Black Forest Labs, revolutionerar sättet vi skapar bilder från textbeskrivningar. Med sin oöverträffade förmåga att generera otroligt detaljerade och komplexa bilder som noggrant matchar inmatningspromptarna, skiljer sig FLUX.1 från konkurrenterna. Hemligheten bakom FLUX.1:s framgång ligger i dess unika hybridarkitektur, som kombinerar olika typer av transformerblock och drivs av imponerande 12 miljarder parametrar. Detta gör att FLUX.1 kan producera visuellt fängslande bilder som exakt representerar textbeskrivningarna med enastående precision.

En av de mest spännande aspekterna av FLUX.1 är dess mångsidighet i att generera bilder i olika stilar, från fotorealistiska till konstnärliga. FLUX.1 har till och med den anmärkningsvärda förmågan att sömlöst integrera text i de genererade bilderna, en bedrift som många andra modeller kämpar med att uppnå. Dessutom är FLUX.1 känd för sin exceptionella förmåga att följa promptar, hanterar enkelt både enkla och komplexa beskrivningar. Detta har lett till att FLUX.1 ofta jämförs med andra välkända modeller som Stable Diffusion och Midjourney, där FLUX.1 ofta framstår som det föredragna valet på grund av sin användarvänlighet och toppresultat.

De imponerande möjligheterna hos FLUX.1 gör den till ett ovärderligt verktyg för en rad olika tillämpningar, från att skapa fantastiskt visuellt innehåll och inspirera innovativa designer till att underlätta vetenskaplig visualisering. FLUX.1:s förmåga att generera mycket detaljerade och exakta bilder från textbeskrivningar öppnar upp en värld av möjligheter för kreativa yrkesverksamma, forskare och entusiaster. När fältet för AI-genererad bild blir alltmer avancerat, står FLUX.1 i framkanten och sätter en ny standard för kvalitet, mångsidighet och användarvänlighet.

Black Forest Labs, det banbrytande AI-företaget bakom den revolutionerande FLUX.1, grundades av Robin Rombach, en känd figur inom AI-industrin som tidigare var en kärnmedlem i Stability AI. Om du är ivrig att lära dig mer om Black Forest Labs och deras banbrytande arbete med FLUX.1, se till att besöka deras officiella webbplats på https://blackforestlabs.ai/.

2. Olika versioner av FLUX

FLUX.1 finns i tre olika versioner, var och en utformad för att tillgodose specifika användarbehov:

1. FLUX.1 [pro]: Detta är den bästa versionen som erbjuder den bästa kvaliteten och prestandan, perfekt för professionellt bruk och högklassiga projekt.
2. FLUX.1 [dev]: Optimerad för icke-kommersiellt bruk, denna version bibehåller högkvalitativ output medan den är mer effektiv, vilket gör den utmärkt för utvecklare och entusiaster.
3. FLUX.1 [schnell]: Denna version handlar om hastighet och att vara lättviktig, vilket gör den perfekt för lokal utveckling och personliga projekt. Den är också öppen källkod och tillgänglig under Apache 2.0-licensen, så den är tillgänglig för ett brett spektrum av användare.

Namn	HuggingFace repo	Licens	md5sum
FLUX.1 [pro]	Endast tillgänglig i vår API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. FLUX Hårdvarukrav

3.1. FLUX.1 [Pro] Hårdvarukrav

• Rekommenderad GPU: NVIDIA RTX 4090 eller motsvarande med 24 GB eller mer VRAM. Modellen är optimerad för högpresterande GPU:er för att hantera dess komplexa operationer.
• RAM: 32 GB eller mer systemminne.
• Diskutrymme: Cirka 30 GB.
• Beräkningskrav: Hög precision krävs; använd FP16 (halvprecision) för att undvika minnesfel. För bästa resultat rekommenderas att använda fp16 Clip-modellvarianten för maximal kvalitet.
• Andra krav: En snabb SSD rekommenderas för snabbare laddningstider och övergripande prestanda.

3.2. FLUX.1 [Dev] Hårdvarukrav

• Rekommenderad GPU: NVIDIA RTX 3080/3090 eller motsvarande med minst 16 GB VRAM. Denna version är lite mer förlåtande på hårdvaran jämfört med Pro-modellen men kräver fortfarande betydande GPU-kraft.
• RAM: 16 GB eller mer systemminne.
• Diskutrymme: Cirka 25 GB.
• Beräkningskrav: Liknande Pro, använd FP16-modeller, men med en viss tolerans för lägre precision. Kan använda fp16 eller fp8 Clip-modeller beroende på GPU-kapacitet.
• Andra krav: En snabb SSD rekommenderas för optimal prestanda.

3.3. FLUX.1 [Schnell] Hårdvarukrav

• Rekommenderad GPU: NVIDIA RTX 3060/4060 eller motsvarande med 12 GB VRAM. Denna version är optimerad för snabbare inferens och lägre hårdvarukrav.
• RAM: 8 GB eller mer systemminne.
• Diskutrymme: Cirka 15 GB.
• Beräkningskrav: Denna version är mindre krävande och tillåter fp8-beräkningar om minnet tar slut. Den är utformad för att vara snabb och effektiv, med fokus på hastighet snarare än ultrahög kvalitet.
• Andra krav: SSD är användbart men inte lika kritiskt som i Pro- och Dev-versionerna.

4. Hur man installerar FLUX i ComfyUI

4.1. Installera eller uppdatera ComfyUI

För att effektivt använda FLUX.1 inom ComfyUI-miljön är det viktigt att se till att du har den senaste versionen av ComfyUI installerad. Denna version stöder de nödvändiga funktionerna och integrationerna som krävs för FLUX.1-modeller.

4.2. Ladda ner ComfyUI FLUX Text Encoders och CLIP Models

För optimal prestanda och noggrann text-till-bild-generering med FLUX.1, måste du ladda ner specifika textkodare och CLIP-modeller. Följande modeller är nödvändiga, beroende på ditt systems hårdvara:

Modellfilnamn	Storlek	Notering	Länk
t5xxl_fp16.safetensors	9.79 GB	För bättre resultat, om du har hög VRAM och RAM (mer än 32GB RAM).	Ladda ner
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	För lägre minnesanvändning (8-12GB)	Ladda ner
clip_l.safetensors	246 MB		Ladda ner

Steg för att ladda ner och installera:

1. Ladda ner clip_l.safetensors-modellen.
2. Beroende på ditt systems VRAM och RAM, ladda ner antingen t5xxl_fp8_e4m3fn.safetensors (för lägre VRAM) eller t5xxl_fp16.safetensors (för högre VRAM och RAM).
3. Placera de nedladdade modellerna i katalogen ComfyUI/models/clip/. Obs: Om du tidigare har använt SD 3 Medium kan du redan ha dessa modeller.

4.3. Ladda ner FLUX.1 VAE Model

Variational Autoencoder (VAE)-modellen är avgörande för att förbättra bildgenereringskvaliteten i FLUX.1. Följande VAE-modell finns tillgänglig för nedladdning:

Filnamn	Storlek	Länk
ae.safetensors	335 MB	Ladda ner (öppnas i en ny flik)

Steg för att ladda ner och installera:

1. Ladda ner ae.safetensors-modellen.
2. Placera den nedladdade filen i katalogen ComfyUI/models/vae.
3. För enkel identifiering rekommenderas att byta namn på filen till flux_ae.safetensors.

4.4. Ladda ner FLUX.1 UNET Model

UNET-modellen är ryggraden för bildsyntes i FLUX.1. Beroende på ditt systems specifikationer kan du välja mellan olika varianter:

Filnamn	Storlek	Länk	Notering
flux1-dev.safetensors	23.8GB	Ladda ner	Om du har hög VRAM och RAM.
flux1-schnell.safetensors	23.8GB	Ladda ner	För lägre minnesanvändning

Steg för att ladda ner och installera:

1. Ladda ner den lämpliga UNET-modellen baserat på ditt systems minneskonfiguration.
2. Placera den nedladdade modelfilen i katalogen ComfyUI/models/unet/.

5. ComfyUI FLUX Arbetsflöde | Nedladdning, Online-åtkomst och Guide

Vi kommer kontinuerligt att uppdatera ComfyUI FLUX Arbetsflöde för att ge dig de senaste och mest omfattande arbetsflödena för att generera fantastiska bilder med ComfyUI FLUX.

5.1. ComfyUI Arbetsflöde: FLUX Txt2Img

5.1.1. ComfyUI FLUX Txt2Img : Ladda ner

5.1.2. ComfyUI FLUX Txt2Img Online-version: ComfyUI FLUX Txt2Img

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX Txt2Img-upplevelsen utan ansträngning.

5.1.3. ComfyUI FLUX Txt2Img Förklaring:

ComfyUI FLUX Txt2Img-arbetsflödet börjar med att ladda de väsentliga komponenterna, inklusive FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) och FLUX VAE (VAELoader). Dessa utgör grunden för ComfyUI FLUX bildgenereringsprocess.

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laddar CLIP-modellen för textkodning.
  • Inbäddningsmodell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Inbäddningsmodell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategin för CLIP-modellen är flux
• VAELoader: Laddar Variational Autoencoder (VAE)-modellen för att avkoda latenta representationer.
  • VAE-modell: flux/ae.sft

Textprompten, som beskriver det önskade resultatet, kodas med CLIPTextEncode. Denna nod tar textprompten som indata och ger den kodade textkonditioneringen, som vägleder ComfyUI FLUX under genereringen.

För att initiera ComfyUI FLUX-genereringsprocessen skapas en tom latent representation med hjälp av EmptyLatentImage. Detta fungerar som startpunkt för ComfyUI FLUX att bygga vidare på.

BasicGuider spelar en avgörande roll i att vägleda ComfyUI FLUX-genereringsprocessen. Den tar den kodade textkonditioneringen och den laddade FLUX UNET som indata, och säkerställer att det genererade resultatet överensstämmer med den angivna textbeskrivningen.

KSamplerSelect låter dig välja provtagningsmetod för ComfyUI FLUX-generering, medan RandomNoise genererar slumpmässigt brus som indata för ComfyUI FLUX. BasicScheduler schemalägger brusnivåerna (sigmas) för varje steg i genereringsprocessen, och kontrollerar detaljnivån och klarheten i slutresultatet.

SamplerCustomAdvanced sammanför alla komponenter i ComfyUI FLUX Txt2Img-arbetsflödet. Den tar slumpmässigt brus, vägledare, vald provtagare, schemalagda sigmas och tom latent representation som indata. Genom en avancerad provtagningsprocess genererar den en latent representation som representerar textprompten.

Slutligen avkodar VAEDecode den genererade latenta representationen till slutresultatet med hjälp av den laddade FLUX VAE. SaveImage låter dig spara det genererade resultatet till en angiven plats, och bevarar den fantastiska skapelsen som möjliggjorts av ComfyUI FLUX Txt2Img-arbetsflödet.

5.2. ComfyUI Arbetsflöde: FLUX Img2Img

5.2.1. ComfyUI FLUX Img2Img: Ladda ner

5.2.2. ComfyUI FLUX Img2Img Online-version: ComfyUI FLUX Img2Img

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX Img2Img-upplevelsen utan ansträngning.

5.2.3. ComfyUI FLUX Img2Img Förklaring:

ComfyUI FLUX Img2Img-arbetsflödet bygger på kraften i ComfyUI FLUX för att generera resultat baserat på både textpromptar och inmatade representationer. Det börjar med att ladda de nödvändiga komponenterna, inklusive CLIP-modellen (DualCLIPLoader), UNET-modellen (UNETLoader) och VAE-modellen (VAELoader).

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laddar CLIP-modellen för textkodning.
  • Inbäddningsmodell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Inbäddningsmodell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategin för CLIP-modellen är flux
• VAELoader: Laddar Variational Autoencoder (VAE)-modellen för att avkoda latenta representationer.
  • VAE-modell: flux/ae.sft

Inmatningsrepresentationen, som fungerar som startpunkt för ComfyUI FLUX Img2Img-processen, laddas med LoadImage. ImageScale skalar sedan inmatningsrepresentationen till önskad storlek, vilket säkerställer kompatibilitet med ComfyUI FLUX.

Den skalade inmatningsrepresentationen kodas med VAEEncode och omvandlas till en latent representation. Denna latenta representation fångar de väsentliga funktionerna och detaljerna i inmatningen och ger en grund för ComfyUI FLUX att arbeta med.

Textprompten, som beskriver de önskade modifieringarna eller förbättringarna av inmatningen, kodas med CLIPTextEncode. FluxGuidance tillämpar sedan vägledning till konditioneringen baserat på den angivna vägledningsskalan, vilket påverkar styrkan av textpromptens inverkan på slutresultatet.

ModelSamplingFlux ställer in provtagningsparametrarna för ComfyUI FLUX, inklusive tidsstegsresampling, fyllnadsförhållande och utgångsdimensioner. Dessa parametrar kontrollerar detaljrikedomen och upplösningen i det genererade resultatet.

KSamplerSelect låter dig välja provtagningsmetod för ComfyUI FLUX-generering, medan BasicGuider vägleder genereringsprocessen baserat på den kodade textkonditioneringen och den laddade FLUX UNET.

Slumpmässigt brus genereras med RandomNoise, och BasicScheduler schemalägger brusnivåerna (sigmas) för varje steg i genereringsprocessen. Dessa komponenter introducerar kontrollerade variationer och finjusterar detaljerna i slutresultatet.

SamplerCustomAdvanced sammanför det slumpmässiga bruset, vägledaren, den valda provtagaren, de schemalagda sigmas och den latenta representationen av inmatningen. Genom en avancerad provtagningsprocess genererar den en latent representation som inkorporerar de specifika modifieringarna av textprompten samtidigt som de väsentliga funktionerna i inmatningen bevaras.

Slutligen avkodar VAEDecode den avbrusade latenta representationen till slutresultatet med hjälp av den laddade FLUX VAE. PreviewImage visar en förhandsvisning av det genererade resultatet och visar de fantastiska resultaten som uppnåtts av ComfyUI FLUX Img2Img-arbetsflödet.

5.3. ComfyUI Arbetsflöde: FLUX LoRA

5.3.1. ComfyUI FLUX LoRA: Ladda ner

5.3.2. ComfyUI FLUX LoRA Online-version: ComfyUI FLUX LoRA

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX LoRA-upplevelsen utan ansträngning.

5.3.3. ComfyUI FLUX LoRA Förklaring:

ComfyUI FLUX LoRA-arbetsflödet utnyttjar kraften i Low-Rank Adaptation (LoRA) för att förbättra prestandan hos ComfyUI FLUX. Det börjar med att ladda de nödvändiga komponenterna, inklusive UNET-modellen (UNETLoader), CLIP-modellen (DualCLIPLoader), VAE-modellen (VAELoader) och LoRA-modellen (LoraLoaderModelOnly).

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: flux/flux1-dev.sft
• DualCLIPLoader: Laddar CLIP-modellen för textkodning.
  • Inbäddningsmodell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Inbäddningsmodell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategin för CLIP-modellen är flux
• VAELoader: Laddar Variational Autoencoder (VAE)-modellen för att avkoda latenta representationer.
  • VAE-modell: flux/ae.sft
• LoraLoaderModelOnly: Laddar LoRA (Low-Rank Adaptation)-modellen för att förbättra UNET-modellen.
  • LoaderModel: flux/realism_lora.safetensors

Textprompten, som beskriver det önskade resultatet, specificeras med String Literal. CLIPTextEncode kodar sedan textprompten och genererar den kodade textkonditioneringen som vägleder ComfyUI FLUX-genereringsprocessen.

FluxGuidance tillämpar vägledning till den kodade textkonditioneringen och påverkar styrkan och riktningen för ComfyUI FLUX:s följsamhet till textprompten.

En tom latent representation, som fungerar som startpunkt för generering, skapas med EmptyLatentImage. Bredden och höjden på det genererade resultatet specificeras med Int Literal och säkerställer de önskade dimensionerna på slutresultatet.

ModelSamplingFlux ställer in provtagningsparametrarna för ComfyUI FLUX, inklusive fyllnadsförhållande och tidsstegsresampling. Dessa parametrar kontrollerar upplösningen och detaljrikedomen i det genererade resultatet.

KSamplerSelect låter dig välja provtagningsmetod för ComfyUI FLUX-generering, medan BasicGuider vägleder genereringsprocessen baserat på den kodade textkonditioneringen och den laddade FLUX UNET förstärkt med FLUX LoRA.

Slumpmässigt brus genereras med RandomNoise, och BasicScheduler schemalägger brusnivåerna (sigmas) för varje steg i genereringsprocessen. Dessa komponenter introducerar kontrollerade variationer och finjusterar detaljerna i slutresultatet.

SamplerCustomAdvanced sammanför det slumpmässiga bruset, vägledaren, den valda provtagaren, de schemalagda sigmas och den tomma latenta representationen. Genom en avancerad provtagningsprocess genererar den en latent representation som representerar textprompten och utnytt ar kraften i FLUX och FLUX LoRA-förbättringen.

Slutligen avkodar VAEDecode den genererade latenta representationen till slutresultatet med hjälp av den laddade FLUX VAE. SaveImage låter dig spara det genererade resultatet till en angiven plats, och bevarar den fantastiska skapelsen som möjliggjorts av ComfyUI FLUX LoRA-arbetsflödet.

5.4. ComfyUI Arbetsflöde: FLUX ControlNet

5.4.1. ComfyUI FLUX ControlNet: Ladda ner

5.4.2. ComfyUI FLUX ControlNet Online-version: ComfyUI FLUX ControlNet

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX ControlNet-upplevelsen utan ansträngning.

5.4.3. ComfyUI FLUX ControlNet Förklaring:

ComfyUI FLUX ControlNet-arbetsflödet demonstrerar integrationen av ControlNet med ComfyUI FLUX för förbättrad outputgenerering. Arbetsflödet visar två exempel: djupbaserad konditionering och Canny edge-baserad konditionering.

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: flux/flux1-dev.sft
• DualCLIPLoader: Laddar CLIP-modellen för textkodning.
  • Inbäddningsmodell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Inbäddningsmodell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategin för CLIP-modellen är flux
• VAELoader: Laddar Variational Autoencoder (VAE)-modellen för att avkoda latenta representationer.
  • VAE-modell: flux/ae.sft

I det djupbaserade arbetsflödet genomgår inmatningsrepresentationen förbehandling med MiDaS-DepthMapPreprocessor, vilket genererar en djupkarta. Djupkartan passerar sedan genom ApplyFluxControlNet (Depth) tillsammans med den laddade FLUX ControlNet för djupkonditionering. Den resulterande FLUX ControlNet-konditionen fungerar som indata till XlabsSampler (Depth), tillsammans med den laddade FLUX UNET, den kodade textkonditioneringen, den negativa textkonditioneringen och den tomma latenta representationen. XlabsSampler genererar en latent representation baserat på dessa indata, som sedan avkodas till slutresultatet med VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Förbehandlar inmatningsbilden för djupestimering med MiDaS.
• LoadFluxControlNet: Laddar ControlNet-modellen.
  • Path: flux-depth-controlnet.safetensors

På liknande sätt, i det Canny edge-baserade arbetsflödet, genomgår inmatningsrepresentationen förbehandling med CannyEdgePreprocessor för att generera Canny edges. Canny edge-representationen passerar genom ApplyFluxControlNet (Canny) tillsammans med den laddade FLUX ControlNet för Canny edge-konditionering. Den resulterande FLUX ControlNet-konditionen fungerar som indata till XlabsSampler (Canny), tillsammans med den laddade FLUX UNET, den kodade textkonditioneringen, den negativa textkonditioneringen och den tomma latenta representationen. XlabsSampler genererar en latent representation baserat på dessa indata, som sedan avkodas till slutresultatet med VAEDecode.

• CannyEdgePreprocessor (Canny): Förbehandlar inmatningsbilden för Canny edge-detektering.
• LoadFluxControlNet: Laddar ControlNet-modellen.
  • Path: flux-canny-controlnet.safetensors

ComfyUI FLUX ControlNet-arbetsflödet inkorporerar noder för att ladda de nödvändiga komponenterna (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), koda textpromptar (CLIPTextEncodeFlux), skapa tomma latenta representationer (EmptyLatentImage) och förhandsgranska de genererade och förbehandlade resultaten (PreviewImage).

Genom att utnyttja kraften i FLUX ControlNet möjliggör ComfyUI FLUX ControlNet-arbetsflödet generering av resultat som överensstämmer med specifik konditionering, såsom djupkartor eller Canny edges. Denna ytterligare nivå av kontroll och vägledning förbättrar flexibiliteten och precisionen i genereringsprocessen, vilket möjliggör skapandet av fantastiska och kontextuellt relevanta resultat med ComfyUI FLUX.

5.5. ComfyUI Arbetsflöde: FLUX Inpainting

5.5.1. ComfyUI FLUX Inpainting: Ladda ner

5.5.2. ComfyUI FLUX Inpainting Online-version: ComfyUI FLUX Inpainting

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX Inpainting-upplevelsen utan ansträngning.

5.5.3. ComfyUI FLUX Inpainting Förklaring:

ComfyUI FLUX Inpainting-arbetsflödet demonstrerar förmågan hos ComfyUI FLUX att utföra inpainting, vilket innebär att fylla i saknade eller maskerade regioner i ett resultat baserat på den omgivande kontexten och angivna textpromptar. Arbetsflödet börjar med att ladda de nödvändiga komponenterna, inklusive UNET-modellen (UNETLoader), VAE-modellen (VAELoader) och CLIP-modellen (DualCLIPLoader).

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Laddar CLIP-modellen för textkodning.
  • Inbäddningsmodell 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Inbäddningsmodell 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Gruppering: Grupperingsstrategin för CLIP-modellen är flux
• VAELoader: Laddar Variational Autoencoder (VAE)-modellen för att avkoda latenta representationer.
  • VAE-modell: flux/ae.sft

De positiva och negativa textpromptarna, som beskriver det önskade innehållet och stilen för den inpaintade regionen, kodas med CLIPTextEncodes. Den positiva textkonditioneringen styrs ytterligare med FluxGuidance för att påverka ComfyUI FLUX inpainting-processen.

Inmatningsrepresentationen och masken laddas och ändras i storlek med LoadAndResizeImage, vilket säkerställer kompatibilitet med ComfyUI FLUX:s krav. ImpactGaussianBlurMask tillämpar Gaussisk oskärpa på masken, vilket skapar en smidigare övergång mellan den inpaintade regionen och den ursprungliga representationen.

InpaintModelConditioning förbereder konditioneringen för FLUX inpainting genom att kombinera den styrda positiva textkonditioneringen, den kodade negativa textkonditioneringen, den laddade FLUX VAE, den laddade och ändrade inmatningsrepresentationen och den oskarpa masken. Denna konditionering fungerar som grund för ComfyUI FLUX inpainting-processen.

Slumpmässigt brus genereras med RandomNoise, och provtagningsmetoden väljs med KSamplerSelect. BasicScheduler schemalägger brusnivåerna (sigmas) för ComfyUI FLUX inpainting-processen och kontrollerar detaljnivån och klarheten i den inpaintade regionen.

BasicGuider vägleder ComfyUI FLUX inpainting-processen baserat på den förberedda konditioneringen och den laddade FLUX UNET. SamplerCustomAdvanced utför den avancerade provtagningsprocessen och tar det genererade slumpmässiga bruset, vägledaren, den valda provtagaren, de schemalagda sigmas och den latenta representationen av inmatningen som indata. Den ger den inpaintade latenta representationen.

Slutligen avkodar VAEDecode den inpaintade latenta representationen till slutresultatet och smälter sömlöst samman den inpaintade regionen med den ursprungliga representationen. PreviewImage visar slutresultatet och visar de imponerande inpainting-förmågorna hos FLUX.

Genom att utnyttja kraften i FLUX och det noggrant utformade inpainting-arbetsflödet möjliggör FLUX Inpainting skapandet av visuellt sammanhängande och kontextuellt relevanta inpaintade resultat. Oavsett om det handlar om att återställa saknade delar, ta bort oönskade objekt eller modifiera specifika regioner, erbjuder ComfyUI FLUX inpainting-arbetsflödet ett kraftfullt verktyg för redigering och manipulation.

5.6. ComfyUI Arbetsflöde: FLUX NF4

5.6.1. ComfyUI FLUX NF4: Ladda ner

5.6.2. ComfyUI FLUX NF4 Online-version: ComfyUI FLUX NF4

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX NF4-upplevelsen utan ansträngning.

5.6.3. ComfyUI FLUX NF4 Förklaring:

ComfyUI FLUX NF4-arbetsflödet visar integrationen av ComfyUI FLUX med NF4 (Normalizing Flow 4)-arkitekturen för högkvalitativ outputgenerering. Arbetsflödet börjar med att ladda de nödvändiga komponenterna med CheckpointLoaderNF4, vilket inkluderar FLUX UNET, FLUX CLIP och FLUX VAE.

• UNETLoader: Laddar UNET-modellen för bildgenerering.
  • Kontrollpunkt: TBD

PrimitiveNode (height) och PrimitiveNode (width) noder specificerar den önskade höjden och bredden på det genererade resultatet. ModelSamplingFlux noden ställer in provtagningsparametrarna för ComfyUI FLUX baserat på den laddade FLUX UNET och den specificerade höjden och bredden.

EmptySD3LatentImage noden skapar en tom latent representation som startpunkt för generering. BasicScheduler noden schemalägger brusnivåerna (sigmas) för ComfyUI FLUX genereringsprocess.

RandomNoise noden genererar slumpmässigt brus för ComfyUI FLUX genereringsprocess. BasicGuider noden vägleder genereringsprocessen baserat på den konditionerade ComfyUI FLUX.

KSamplerSelect noden väljer provtagningsmetod för ComfyUI FLUX-generering. SamplerCustomAdvanced noden utför den avancerade provtagningsprocessen och tar det genererade slumpmässiga bruset, vägledaren, den valda provtagaren, de schemalagda sigmas och den tomma latenta representationen som indata. Den ger den genererade latenta representationen.

VAEDecode noden avkodar den genererade latenta representationen till slutresultatet med hjälp av den laddade FLUX VAE. SaveImage noden sparar det genererade resultatet till en angiven plats.

För uppskalning används UltimateSDUpscale noden. Den tar det genererade resultatet, den laddade FLUX, positiv och negativ konditionering för uppskalning, den laddade FLUX VAE, och den laddade FLUX uppskalningen som indata. CLIPTextEncode (Upscale Positive Prompt) noden kodar den positiva textprompten för uppskalning. UpscaleModelLoader noden laddar FLUX uppskalningen. UltimateSDUpscale noden utför uppskalningsprocessen och ger den uppskalade representationen. Slutligen sparar SaveImage (Upscaled) noden det uppskalade resultatet till en angiven plats.

Genom att utnyttja kraften i ComfyUI FLUX och NF4-arkitekturen möjliggör ComfyUI FLUX NF4-arbetsflödet generering av högkvalitativa resultat med förbättrad trohet och realism. Den sömlösa integrationen av ComfyUI FLUX med NF4-arkitekturen erbjuder ett kraftfullt verktyg för att skapa fantastiska och fängslande resultat.

5.7. ComfyUI Arbetsflöde: FLUX IPAdapter

5.7.1. ComfyUI FLUX IPAdapter: Ladda ner

5.7.2. ComfyUI FLUX IPAdapter Online-version: ComfyUI FLUX IPAdapter

På RunComfy Platform förladdar vår onlineversion alla nödvändiga lägen och noder för dig. Plus, vi erbjuder högpresterande GPU-maskiner, vilket säkerställer att du kan njuta av ComfyUI FLUX IPAdapter-upplevelsen utan ansträngning.

5.7.3. ComfyUI FLUX IPAdapter Förklaring:

ComfyUI FLUX IPAdapter-arbetsflödet börjar med att ladda de nödvändiga modellerna, inklusive UNET-modellen (UNETLoader), CLIP-modellen (DualCLIPLoader) och VAE-modellen (VAELoader).

De positiva och negativa textpromptarna kodas med CLIPTextEncodeFlux. Den positiva textkonditioneringen används för att vägleda ComfyUI FLUX genereringsprocess.

Inmatningsbilden laddas med LoadImage. LoadFluxIPAdapter laddar IP-Adapter för FLUX-modellen, som sedan appliceras på den laddade UNET-modellen med ApplyFluxIPAdapter. ImageScale skalar inmatningsbilden till önskad storlek innan IP-Adapter appliceras.

• LoadFluxIPAdapter: Laddar IP-Adapter för FLUX-modellen.
  • IP Adapter Model: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage skapar en tom latent representation som startpunkt för ComfyUI FLUX generering.

XlabsSampler utför provtagningsprocessen och tar FLUX UNET med applicerad IP-Adapter, den kodade positiva och negativa textkonditioneringen och den tomma latenta representationen som indata. Den genererar en latent representation.

VAEDecode avkodar den genererade latenta representationen till slutresultatet med hjälp av den laddade FLUX VAE. PreviewImage noden visar en förhandsvisning av slutresultatet.

ComfyUI FLUX IPAdapter-arbetsflödet utnyttjar kraften i ComfyUI FLUX och IP-Adapter för att generera högkvalitativa resultat som överensstämmer med de angivna textpromptarna. Genom att applicera IP-Adapter på FLUX UNET möjliggör arbetsflödet generering av resultat som fångar de önskade egenskaperna och stilen som specificeras i textkonditioneringen.

5.8. ComfyUI Arbetsflöde: Flux LoRA Trainer

5.8.1. ComfyUI FLUX LoRA Trainer: Ladda ner

5.8.2. ComfyUI Flux LoRA Trainer Förklaring:

ComfyUI FLUX LoRA Trainer-arbetsflödet består av flera steg för att träna en LoRA med hjälp av FLUX-arkitekturen i ComfyUI.

ComfyUI FLUX Urval och Konfiguration: FluxTrainModelSelect noden används för att välja komponenterna för träning, inklusive UNET, VAE, CLIP och CLIP textkodare. OptimizerConfig noden konfigurerar optimeringsinställningarna för ComfyUI FLUX-träning, såsom optimeringstyp, inlärningshastighet och viktminskning. TrainDatasetGeneralConfig och TrainDatasetAdd noderna används för att konfigurera träningsdatasetet, inklusive upplösning, augmentationsinställningar och batchstorlekar.

ComfyUI FLUX Träningsinitiering: InitFluxLoRATraining noden initierar LoRA-träningsprocessen med de valda komponenterna, datasetkonfigurationen och optimeringsinställningarna. FluxTrainValidationSettings noden konfigurerar valideringsinställningarna för träning, såsom antal valideringsprover, upplösning och batchstorlek.

ComfyUI FLUX Träningsloop: FluxTrainLoop noden utför träningsloopen för LoRA, itererar för ett specificerat antal steg. Efter varje träningsloop validerar FluxTrainValidate noden den tränade LoRA med hjälp av valideringsinställningarna och genererar valideringsresultat. PreviewImage noden visar en förhandsvisning av valideringsresultaten. FluxTrainSave noden sparar den tränade LoRA vid specificerade intervaller.

ComfyUI FLUX Förlustvisualisering: VisualizeLoss noden visualiserar träningsförlusten under träningens gång. SaveImage noden sparar förlustdiagrammet för vidare analys.

ComfyUI FLUX Valideringsutgångsbearbetning: AddLabel och SomethingToString noderna används för att lägga till etiketter till valideringsresultaten, vilket indikerar träningsstegen. ImageBatchMulti och ImageConcatFromBatch noderna kombinerar och sammanfogar valideringsresultaten till ett enda resultat för enklare visualisering.

ComfyUI FLUX Träningsslutförande: FluxTrainEnd noden avslutar LoRA-träningsprocessen och sparar den tränade LoRA. UploadToHuggingFace noden kan användas för att ladda upp den tränade LoRA till Hugging Face för delning och vidare användning med ComfyUI FLUX.

5.9. ComfyUI Arbetsflöde: Flux Latent Upscaler

5.9.1. ComfyUI Flux Latent Upscaler: Ladda ner

5.9.2. ComfyUI Flux Latent Upscaler Förklaring:

ComfyUI Flux Latent Upscale-arbetsflödet börjar med att ladda de nödvändiga komponenterna, inklusive CLIP (DualCLIPLoader), UNET (UNETLoader) och VAE (VAELoader). Textprompten kodas med CLIPTextEncode noden, och vägledning tillämpas med FluxGuidance noden.

SDXLEmptyLatentSizePicker+ noden specificerar storleken på den tomma latenta representationen, som fungerar som startpunkt för uppskalningsprocessen i FLUX. Den latenta representationen bearbetas sedan genom en serie av uppskalnings- och beskärningssteg med LatentUpscale och LatentCrop noderna.

Uppskalningsprocessen styrs av den kodade textkonditioneringen och använder SamplerCustomAdvanced noden med den valda provtagningsmetoden (KSamplerSelect) och de schemalagda brusnivåerna (BasicScheduler). ModelSamplingFlux noden ställer in provtagningsparametrarna.

Den uppskalade latenta representationen kompositeras sedan med den ursprungliga latenta representationen med LatentCompositeMasked noden och en mask genererad av SolidMask och FeatherMask noderna. Brus injiceras i den uppskalade latenta representationen med InjectLatentNoise+ noden.

Slutligen avkodas den uppskalade latenta representationen till slutresultatet med VAEDecode noden, och smart skärpning tillämpas med ImageSmartSharpen+ noden. PreviewImage noden visar en förhandsvisning av slutresultatet som genererats av ComfyUI FLUX.

ComfyUI FLUX Latent Upscaler-arbetsflödet inkluderar också olika matematiska operationer med SimpleMath+, SimpleMathFloat+, SimpleMathInt+ och SimpleMathPercent+ noderna för att beräkna dimensioner, förhållanden och andra parametrar för uppskalningsprocessen.