ComfyUI FLUX: Przewodnik po instalacji, przepływach pracy takich jak FLUX-ControlNet, FLUX-LoRA i FLUX-IPAdapter... oraz dostęp online

Witajcie, entuzjaści AI! 👋 Witamy w naszym wprowadzającym przewodniku po używaniu FLUX w ComfyUI. FLUX to nowoczesny model opracowany przez Black Forest Labs. 🌟 W tym tutorialu zagłębimy się w podstawy ComfyUI FLUX, pokazując, jak ten potężny model może ulepszyć twój proces twórczy i pomóc ci przesuwać granice sztuki generowanej przez AI. 🚀

Omówimy:

1. Wprowadzenie do FLUX

2. Różne wersje FLUX

3. Wymagania sprzętowe FLUX

• 3.1. Wymagania sprzętowe FLUX.1 [Pro]
• 3.2. Wymagania sprzętowe FLUX.1 [Dev]
• 3.3. Wymagania sprzętowe FLUX.1 [Schnell]

4. Jak zainstalować FLUX w ComfyUI

• 4.1. Instalacja lub aktualizacja ComfyUI
• 4.2. Pobieranie ComfyUI FLUX Text Encoders i CLIP Models
• 4.3. Pobieranie FLUX.1 VAE Model
• 4.4. Pobieranie FLUX.1 UNET Model

5. Przepływ pracy ComfyUI FLUX | Pobieranie, dostęp online i przewodnik

• 5.1. Przepływ pracy ComfyUI: FLUX Txt2Img
• 5.2. Przepływ pracy ComfyUI: FLUX Img2Img
• 5.3. Przepływ pracy ComfyUI: FLUX LoRA
• 5.4. Przepływ pracy ComfyUI: FLUX ControlNet
• 5.5. Przepływ pracy ComfyUI: FLUX Inpainting
• 5.6. Przepływ pracy ComfyUI: FLUX NF4 & Upscale
• 5.7. Przepływ pracy ComfyUI: FLUX IPAdapter
• 5.8. Przepływ pracy ComfyUI: Flux LoRA Trainer
• 5.9. Przepływ pracy ComfyUI: Flux Latent Upscale

1. Wprowadzenie do FLUX

FLUX.1, nowoczesny model AI opracowany przez Black Forest Labs, rewolucjonizuje sposób tworzenia obrazów na podstawie opisów tekstowych. Dzięki niespotykanej zdolności do generowania oszałamiająco szczegółowych i skomplikowanych obrazów, które dokładnie odpowiadają wprowadzonym poleceniom, FLUX.1 wyróżnia się na tle konkurencji. Sekret sukcesu FLUX.1 tkwi w jego unikalnej hybrydowej architekturze, która łączy różne typy bloków transformatorów i jest napędzana imponującym 12 miliardami parametrów. To umożliwia FLUX.1 tworzenie wizualnie przyciągających obrazy, które z niezwykłą precyzją reprezentują opisy tekstowe.

Jednym z najbardziej ekscytujących aspektów FLUX.1 jest jego wszechstronność w generowaniu obrazów w różnych stylach, od fotorealistycznych po artystyczne. FLUX.1 ma także niezwykłą zdolność do płynnego włączania tekstu w generowane obrazy, co jest wyczynem, z którym wiele innych modeli ma trudności. Ponadto FLUX.1 jest znany z wyjątkowej zgodności z poleceniami, bezproblemowo radząc sobie zarówno z prostymi, jak i skomplikowanymi opisami. To sprawiło, że FLUX.1 jest często porównywany do innych znanych modeli, takich jak Stable Diffusion i Midjourney, a FLUX.1 często wyłania się jako preferowany wybór ze względu na swoją przyjazność dla użytkownika i najwyższej jakości wyniki.

Imponujące możliwości FLUX.1 czynią go nieocenionym narzędziem do szerokiego zakresu zastosowań, od tworzenia oszałamiających treści wizualnych i inspirowania innowacyjnych projektów po ułatwianie wizualizacji naukowej. Zdolność FLUX.1 do generowania bardzo szczegółowych i dokładnych obrazów na podstawie opisów tekstowych otwiera świat możliwości dla profesjonalistów kreatywnych, badaczy i entuzjastów. W miarę jak dziedzina obrazowania generowanego przez AI nadal się rozwija, FLUX.1 stoi na czele, ustanawiając nowy standard jakości, wszechstronności i łatwości użycia.

Black Forest Labs, pionierska firma AI stojąca za przełomowym FLUX.1, została założona przez Robina Rombacha, znaną postać w branży AI, który wcześniej był członkiem zespołu Stability AI. Jeśli chcesz dowiedzieć się więcej o Black Forest Labs i ich rewolucyjnej pracy z FLUX.1, koniecznie odwiedź ich oficjalną stronę internetową pod adresem https://blackforestlabs.ai/.

2. Różne wersje FLUX

FLUX.1 występuje w trzech różnych wersjach, z których każda jest zaprojektowana, aby zaspokoić specyficzne potrzeby użytkowników:

1. FLUX.1 [pro]: Jest to wersja najwyższej klasy, oferująca najlepszą jakość i wydajność, idealna do użytku profesjonalnego i zaawansowanych projektów.
2. FLUX.1 [dev]: Optymalizowana do użytku niekomercyjnego, ta wersja utrzymuje wysoką jakość wyjściową, jednocześnie będąc bardziej efektywną, co czyni ją świetną dla deweloperów i entuzjastów.
3. FLUX.1 [schnell]: Ta wersja skupia się na szybkości i lekkości, co czyni ją idealną do lokalnego rozwoju i projektów osobistych. Jest również open-source i dostępna na licencji Apache 2.0, więc jest dostępna dla szerokiego grona użytkowników.

Name	HuggingFace repo	License	md5sum
FLUX.1 [pro]	Only available in our API.
FLUX.1 [dev]	https://huggingface.co/black-forest-labs/FLUX.1-dev	FLUX.1-dev Non-Commercial License	a6bd8c16dfc23db6aee2f63a2eba78c0
FLUX.1 [schnell]	https://huggingface.co/black-forest-labs/FLUX.1-schnell	apache-2.0	a9e1e277b9b16add186f38e3f5a34044

3. Wymagania sprzętowe FLUX

3.1. FLUX.1 [Pro] Wymagania sprzętowe

• Zalecana GPU: NVIDIA RTX 4090 lub odpowiednik z 24 GB lub większą ilością VRAM. Model jest zoptymalizowany dla wysokiej klasy GPU do obsługi złożonych operacji.
• RAM: 32 GB lub więcej pamięci systemowej.
• Miejsce na dysku: Około 30 GB.
• Wymagania obliczeniowe: Wymagana jest wysoka precyzja; używaj FP16 (pół-precyzji), aby uniknąć błędów związanych z brakiem pamięci. Dla najlepszych wyników zaleca się użycie wariantu modelu Clip fp16 dla maksymalnej jakości.
• Inne wymagania: Zalecany szybki SSD dla szybszego ładowania i ogólnej wydajności.

3.2. FLUX.1 [Dev] Wymagania sprzętowe

• Zalecana GPU: NVIDIA RTX 3080/3090 lub odpowiednik z co najmniej 16 GB VRAM. Ta wersja jest nieco bardziej tolerancyjna dla sprzętu w porównaniu do modelu Pro, ale nadal wymaga znacznej mocy GPU.
• RAM: 16 GB lub więcej pamięci systemowej.
• Miejsce na dysku: Około 25 GB.
• Wymagania obliczeniowe: Podobne do Pro, używaj modeli FP16, ale z lekką tolerancją dla obliczeń o niższej precyzji. Można używać modeli Clip fp16 lub fp8 w zależności od możliwości GPU.
• Inne wymagania: Zalecany szybki SSD dla optymalnej wydajności.

3.3. FLUX.1 [Schnell] Wymagania sprzętowe

• Zalecana GPU: NVIDIA RTX 3060/4060 lub odpowiednik z 12 GB VRAM. Ta wersja jest zoptymalizowana pod kątem szybszego wnioskowania i niższych wymagań sprzętowych.
• RAM: 8 GB lub więcej pamięci systemowej.
• Miejsce na dysku: Około 15 GB.
• Wymagania obliczeniowe: Ta wersja jest mniej wymagająca i pozwala na obliczenia fp8 w przypadku braku pamięci. Jest zaprojektowana z myślą o szybkości i efektywności, z naciskiem na szybkość, a nie na ultra-wysoką jakość.
• Inne wymagania: SSD jest przydatny, ale nie tak krytyczny jak w wersjach Pro i Dev.

4. Jak zainstalować FLUX w ComfyUI

4.1. Instalacja lub aktualizacja ComfyUI

Aby skutecznie korzystać z FLUX.1 w środowisku ComfyUI, kluczowe jest upewnienie się, że masz zainstalowaną najnowszą wersję ComfyUI. Ta wersja obsługuje niezbędne funkcje i integracje wymagane przez modele FLUX.1.

4.2. Pobieranie ComfyUI FLUX Text Encoders i CLIP Models

Dla optymalnej wydajności i dokładnego generowania tekstu na obraz za pomocą FLUX.1, będziesz musiał pobrać określone enkodery tekstu i modele CLIP. Następujące modele są niezbędne, w zależności od sprzętu twojego systemu:

Model File Name	Size	Note	Link
t5xxl_fp16.safetensors	9.79 GB	For better results, if you have high VRAM and RAM(more than 32GB RAM).	Download
t5xxl_fp8_e4m3fn.safetensors	4.89 GB	For lower memory usage (8-12GB)	Download
clip_l.safetensors	246 MB		Download

Steps to Download and Install:

1. Pobierz model clip_l.safetensors.
2. W zależności od VRAM i RAM twojego systemu, pobierz t5xxl_fp8_e4m3fn.safetensors (dla niższ ego zużycia pamięci) lub t5xxl_fp16.safetensors (dla wyższego VRAM i RAM).
3. Umieść pobrane modele w katalogu ComfyUI/models/clip/. Uwaga: Jeśli wcześniej używałeś SD 3 Medium, możesz już mieć te modele.

4.3. Pobieranie FLUX.1 VAE Model

Model Variational Autoencoder (VAE) jest kluczowy dla poprawy jakości generowania obrazów w FLUX.1. Dostępny jest następujący model VAE do pobrania:

File Name	Size	Link
ae.safetensors	335 MB	Download(opens in a new tab)

Steps to Download and Install:

1. Pobierz plik modelu ae.safetensors.
2. Umieść pobrany plik w katalogu ComfyUI/models/vae.
3. Dla łatwej identyfikacji zaleca się zmianę nazwy pliku na flux_ae.safetensors.

4.4. Pobieranie FLUX.1 UNET Model

Model UNET jest kręgosłupem do syntezy obrazów w FLUX.1. W zależności od specyfikacji twojego systemu, możesz wybrać różne warianty:

File Name	Size	Link	Note
flux1-dev.safetensors	23.8GB	Download	If you have high VRAM and RAM.
flux1-schnell.safetensors	23.8GB	Download	For lower memory usage

Steps to Download and Install:

1. Pobierz odpowiedni model UNET w zależności od konfiguracji pamięci twojego systemu.
2. Umieść pobrany plik modelu w katalogu ComfyUI/models/unet/.

5. Przepływ pracy ComfyUI FLUX | Pobieranie, dostęp online i przewodnik

Będziemy na bieżąco aktualizować przepływ pracy ComfyUI FLUX, aby dostarczać ci najnowsze i najbardziej kompleksowe przepływy pracy do generowania oszałamiających obrazów za pomocą ComfyUI FLUX.

5.1. Przepływ pracy ComfyUI: FLUX Txt2Img

5.1.1. Przepływ pracy ComfyUI FLUX Txt2Img : Download

5.1.2. ComfyUI FLUX Txt2Img Online Version: ComfyUI FLUX Txt2Img

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX Txt2Img bezproblemowo.

5.1.3. Wyjaśnienie ComfyUI FLUX Txt2Img:

Przepływ pracy ComfyUI FLUX Txt2Img rozpoczyna się od załadowania niezbędnych komponentów, w tym FLUX UNET (UNETLoader), FLUX CLIP (DualCLIPLoader) i FLUX VAE (VAELoader). Te elementy stanowią fundament procesu generowania obrazów ComfyUI FLUX.

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Ładuje model CLIP do kodowania tekstu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategia grupowania dla modelu CLIP to flux
• VAELoader: Ładuje model Variational Autoencoder (VAE) do dekodowania reprezentacji latentnych.
  • VAE model: flux/ae.sft

Polecenie tekstowe, które opisuje pożądane wyjście, jest kodowane za pomocą CLIPTextEncode. Ten węzeł przyjmuje polecenie tekstowe jako wejście i generuje zakodowane warunki tekstowe, które kierują ComfyUI FLUX podczas generowania.

Aby zainicjować proces generowania ComfyUI FLUX, tworzona jest pusta reprezentacja latentna za pomocą EmptyLatentImage. Służy ona jako punkt wyjścia dla ComfyUI FLUX do budowania.

BasicGuider odgrywa kluczową rolę w kierowaniu procesem generowania ComfyUI FLUX. Przyjmuje on zakodowane warunki tekstowe i załadowany FLUX UNET jako wejścia, zapewniając, że wygenerowane wyjście odpowiada dostarczonemu opisowi tekstowemu.

KSamplerSelect pozwala ci wybrać metodę próbkowania dla generowania ComfyUI FLUX, podczas gdy RandomNoise generuje losowy szum jako wejście dla ComfyUI FLUX. BasicScheduler planuje poziomy szumu (sigma) dla każdego kroku w procesie generowania, kontrolując poziom szczegółowości i klarowności w końcowym wyjściu.

SamplerCustomAdvanced łączy wszystkie komponenty przepływu pracy ComfyUI FLUX Txt2Img. Przyjmuje on losowy szum, przewodnik, wybrany próbnik, zaplanowane sigma i pustą reprezentację latentną jako wejścia. Poprzez zaawansowany proces próbkowania generuje reprezentację latentną, która odpowiada poleceniu tekstowemu.

Na koniec VAEDecode dekoduje wygenerowaną reprezentację latentną do końcowego wyjścia za pomocą załadowanego FLUX VAE. SaveImage pozwala ci zapisać wygenerowane wyjście w określonej lokalizacji, zachowując oszałamiające dzieło stworzone dzięki przepływowi pracy ComfyUI FLUX Txt2Img.

5.2. Przepływ pracy ComfyUI: FLUX Img2Img

5.2.1. Przepływ pracy ComfyUI FLUX Img2Img: Download

5.2.2. ComfyUI FLUX Img2Img Online Version: ComfyUI FLUX Img2Img

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX Img2Img bezproblemowo.

5.2.3. Wyjaśnienie ComfyUI FLUX Img2Img:

Przepływ pracy ComfyUI FLUX Img2Img buduje na mocy ComfyUI FLUX, aby generować wyjścia na podstawie zarówno poleceń tekstowych, jak i reprezentacji wejściowych. Zaczyna się od załadowania niezbędnych komponentów, w tym modelu CLIP (DualCLIPLoader), modelu UNET (UNETLoader) i modelu VAE (VAELoader).

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Ładuje model CLIP do kodowania tekstu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategia grupowania dla modelu CLIP to flux
• VAELoader: Ładuje model Variational Autoencoder (VAE) do dekodowania reprezentacji latentnych.
  • VAE model: flux/ae.sft

Reprezentacja wejściowa, która służy jako punkt wyjścia dla procesu ComfyUI FLUX Img2Img, jest ładowana za pomocą LoadImage. ImageScale skaluje reprezentację wejściową do pożądanego rozmiaru, zapewniając kompatybilność z ComfyUI FLUX.

Przeskalowana reprezentacja wejściowa jest kodowana za pomocą VAEEncode, przekształcając ją w reprezentację latentną. Ta reprezentacja latentna uchwytuje istotne cechy i szczegóły wejścia, zapewniając fundament, na którym ComfyUI FLUX może pracować.

Polecenie tekstowe, opisujące pożądane modyfikacje lub ulepszenia wejścia, jest kodowane za pomocą CLIPTextEncode. FluxGuidance następnie stosuje przewodnictwo do warunkowania na podstawie określonej skali przewodnictwa, wpływając na siłę wpływu polecenia tekstowego na końcowe wyjście.

ModelSamplingFlux ustawia parametry próbkowania dla ComfyUI FLUX, w tym resampling kroków czasowych, stosunek wypełnienia i wymiary wyjściowe. Te parametry kontrolują szczegółowość i rozdzielczość generowanego wyjścia.

KSamplerSelect pozwala ci wybrać metodę próbkowania dla generowania ComfyUI FLUX, podczas gdy BasicGuider kieruje procesem generowania na podstawie zakodowanych warunków tekstowych i załadowanego FLUX UNET.

Losowy szum jest generowany za pomocą RandomNoise, a BasicScheduler planuje poziomy szumu (sigma) dla każdego kroku w procesie generowania. Te komponenty wprowadzają kontrolowane wariacje i dopracowują szczegóły w końcowym wyjściu.

SamplerCustomAdvanced łączy losowy szum, przewodnik, wybrany próbnik, zaplanowane sigma i reprezentację latentną wejścia. Poprzez zaawansowany proces próbkowania generuje reprezentację latentną, która włącza modyfikacje określone przez polecenie tekstowe, jednocześnie zachowując istotne cechy wejścia.

Na koniec VAEDecode dekoduje wygenerowaną reprezentację latentną do końcowego wyjścia za pomocą załadowanego FLUX VAE. PreviewImage wyświetla podgląd wygenerowanego wyjścia, pokazując oszałamiające wyniki osiągnięte dzięki przepływowi pracy ComfyUI FLUX Img2Img.

5.3. Przepływ pracy ComfyUI: FLUX LoRA

5.3.1. Przepływ pracy ComfyUI FLUX LoRA: Download

5.3.2. ComfyUI FLUX LoRA Online Version: ComfyUI FLUX LoRA

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX LoRA bezproblemowo.

5.3.3. Wyjaśnienie ComfyUI FLUX LoRA:

Przepływ pracy ComfyUI FLUX LoRA wykorzystuje moc Low-Rank Adaptation (LoRA), aby zwiększyć wydajność ComfyUI FLUX. Zaczyna się od załadowania niezbędnych komponentów, w tym modelu UNET (UNETLoader), modelu CLIP (DualCLIPLoader), modelu VAE (VAELoader) i modelu LoRA (LoraLoaderModelOnly).

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Ładuje model CLIP do kodowania tekstu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategia grupowania dla modelu CLIP to flux
• VAELoader: Ładuje model Variational Autoencoder (VAE) do dekodowania reprezentacji latentnych.
  • VAE model: flux/ae.sft
• LoraLoaderModelOnly: Ładuje model LoRA (Low-Rank Adaptation) do ulepszania modelu UNET.
  • LoaderModel: flux/realism_lora.safetensors

Polecenie tekstowe, które opisuje pożądane wyjście, jest określane za pomocą String Literal. CLIPTextEncode następnie koduje polecenie tekstowe, generując zakodowane warunki tekstowe, które kierują procesem generowania ComfyUI FLUX.

FluxGuidance stosuje przewodnictwo do zakodowanych warunków tekstowych, wpływając na siłę i kierunek zgodności ComfyUI FLUX z poleceniem tekstowym.

Pusta reprezentacja latentna, służąca jako punkt wyjścia do generowania, jest tworzona za pomocą EmptyLatentImage. Szerokość i wysokość wygenerowanego wyjścia są określane za pomocą Int Literal, zapewniając pożądane wymiary końcowego wyniku.

ModelSamplingFlux ustawia parametry próbkowania dla ComfyUI FLUX, w tym stosunek wypełnienia i resampling kroków czasowych. Te parametry kontrolują rozdzielczość i szczegółowość wygenerowanego wyjścia.

KSamplerSelect pozwala ci wybrać metodę próbkowania dla generowania ComfyUI FLUX, podczas gdy BasicGuider kieruje procesem generowania na podstawie zakodowanych warunków tekstowych i załadowanego FLUX UNET ulepszonego o FLUX LoRA.

Losowy szum jest generowany za pomocą RandomNoise, a BasicScheduler planuje poziomy szumu (sigma) dla każdego kroku w procesie generowania. Te komponenty wprowadzają kontrolowane wariacje i dopracowują szczegóły w końcowym wyjściu.

SamplerCustomAdvanced łączy losowy szum, przewodnik, wybrany próbnik, zaplanowane sigma i pustą reprezentację latentną. Poprzez zaawansowany proces próbkowania generuje reprezentację latentną, która odpowiada poleceniu tekstowemu, wykorzystując moc FLUX i ulepszenie FLUX LoRA.

Na koniec VAEDecode dekoduje wygenerowaną reprezentację latentną do końcowego wyjścia za pomocą załadowanego FLUX VAE. SaveImage pozwala ci zapisać wygenerowane wyjście w określonej lokalizacji, zachowując oszałamiające dzieło stworzone dzięki przepływowi pracy ComfyUI FLUX LoRA.

5.4. Przepływ pracy ComfyUI: FLUX ControlNet

5.4.1. Przepływ pracy ComfyUI FLUX ControlNet: Download

5.4.2. ComfyUI FLUX ControlNet Online Version: ComfyUI FLUX ControlNet

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX ControlNet bezproblemowo.

5.4.3. Wyjaśnienie ComfyUI FLUX ControlNet:

Przepływ pracy ComfyUI FLUX ControlNet demonstruje integrację ControlNet z ComfyUI FLUX w celu ulepszenia generowania wyjść. Przepływ pracy pokazuje dwa przykłady: kondycjonowanie na podstawie głębokości i kondycjonowanie na podstawie krawędzi Canny.

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: flux/flux1-dev.sft
• DualCLIPLoader: Ładuje model CLIP do kodowania tekstu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategia grupowania dla modelu CLIP to flux
• VAELoader: Ładuje model Variational Autoencoder (VAE) do dekodowania reprezentacji latentnych.
  • VAE model: flux/ae.sft

W przepływie pracy opartym na głębokości, reprezentacja wejściowa przechodzi wstępne przetwarzanie za pomocą MiDaS-DepthMapPreprocessor, generując mapę głębokości. Mapa głębokości jest następnie przekazywana przez ApplyFluxControlNet (Depth) wraz z załadowanym FLUX ControlNet do kondycjonowania na podstawie głębokości. Wynikowy warunek FLUX ControlNet służy jako wejście do XlabsSampler (Depth), wraz z załadowanym FLUX UNET, zakodowanymi warunkami tekstowymi, negatywnymi warunkami tekstowymi i pustą reprezentacją latentną. XlabsSampler generuje reprezentację latentną na podstawie tych wejść, która jest następnie dekodowana do końcowego wyjścia za pomocą VAEDecode.

• MiDaS-DepthMapPreprocessor (Depth): Wstępnie przetwarza obraz wejściowy do estymacji głębokości za pomocą MiDaS.
• LoadFluxControlNet: Ładuje model ControlNet.
  • Path: flux-depth-controlnet.safetensors

Podobnie, w przepływie pracy opartym na krawędziach Canny, reprezentacja wejściowa przechodzi wstępne przetwarzanie za pomocą CannyEdgePreprocessor w celu wygenerowania krawędzi Canny. Reprezentacja krawędzi Canny jest przekazywana przez ApplyFluxControlNet (Canny) wraz z załadowanym FLUX ControlNet do kondycjonowania na podstawie krawędzi Canny. Wynikowy warunek FLUX ControlNet służy jako wejście do XlabsSampler (Canny), wraz z załadowanym FLUX UNET, zakodowanymi warunkami tekstowymi, negatywnymi warunkami tekstowymi i pustą reprezentacją latentną. XlabsSampler generuje reprezentację latentną na podstawie tych wejść, która jest następnie dekodowana do końcowego wyjścia za pomocą VAEDecode.

• CannyEdgePreprocessor (Canny): Wstępnie przetwarza obraz wejściowy do detekcji krawędzi Canny.
• LoadFluxControlNet: Ładuje model ControlNet.
  • Path: flux-canny-controlnet.safetensors

Przepływ pracy ComfyUI FLUX ControlNet zawiera węzły do ładowania niezbędnych komponentów (DualCLIPLoader, UNETLoader, VAELoader, LoadFluxControlNet), kodowania poleceń tekstowych (CLIPTextEncodeFlux), tworzenia pustych reprezentacji latentnych (EmptyLatentImage) oraz podglądu generowanych i wstępnie przetworzonych wyjść (PreviewImage).

Wykorzystując moc FLUX ControlNet, przepływ pracy ComfyUI FLUX ControlNet umożliwia generowanie wyjść, które odpowiadają specyficznym warunkom, takim jak mapy głębokości lub krawędzie Canny. Ten dodatkowy poziom kontroli i przewodnictwa zwiększa elastyczność i precyzję procesu generowania, umożliwiając tworzenie oszałamiających i kontekstowo odpowiednich wyjść za pomocą ComfyUI FLUX.

5.5. Przepływ pracy ComfyUI: FLUX Inpainting

5.5.1. Przepływ pracy ComfyUI FLUX Inpainting: Download

5.5.2. ComfyUI FLUX Inpainting Online Version: ComfyUI FLUX Inpainting

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX Inpainting bezproblemowo.

5.5.3. Wyjaśnienie ComfyUI FLUX Inpainting:

Przepływ pracy ComfyUI FLUX Inpainting demonstruje zdolność ComfyUI FLUX do wykonywania inpaintingu, który polega na wypełnianiu brakujących lub zamaskowanych obszarów wyjścia na podstawie otaczającego kontekstu i dostarczonych poleceń tekstowych. Przepływ pracy zaczyna się od załadowania niezbędnych komponentów, w tym modelu UNET (UNETLoader), modelu VAE (VAELoader) i modelu CLIP (DualCLIPLoader).

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: flux/flux1-schnell.sft; flux/flux1-dev.sft
• DualCLIPLoader: Ładuje model CLIP do kodowania tekstu.
  • Embedding Model 1: sd3m/t5xxl_fp8_e4m3fn.safetensors; sd3m/t5xxl_fp16.safetensors
  • Embedding Model 2: sd3m/clip_g.safetensors; sd3m/clip_l.safetensors
  • Grouping: Strategia grupowania dla modelu CLIP to flux
• VAELoader: Ładuje model Variational Autoencoder (VAE) do dekodowania reprezentacji latentnych.
  • VAE model: flux/ae.sft

Pozytywne i negatywne polecenia tekstowe, które opisują pożądane treści i styl dla inpaintowanego obszaru, są kodowane za pomocą CLIPTextEncodes. Pozytywne warunki tekstowe są dodatkowo kierowane za pomocą FluxGuidance, aby wpływać na proces inpaintingu ComfyUI FLUX.

Reprezentacja wejściowa i maska są ładowane i skalowane za pomocą LoadAndResizeImage, zapewniając kompatybilność z wymaganiami ComfyUI FLUX. ImpactGaussianBlurMask stosuje rozmycie Gaussa do maski, tworząc płynniejsze przejście między inpaintowanym obszarem a oryginalną reprezentacją.

InpaintModelConditioning przygotowuje warunki do inpaintingu FLUX, łącząc kierowane pozytywne warunki tekstowe, zakodowane negatywne warunki tekstowe, załadowane FLUX VAE, załadowaną i skalowaną reprezentację wejściową oraz rozmytą maskę. Te warunki służą jako fundament dla procesu inpaintingu ComfyUI FLUX.

Losowy szum jest generowany za pomocą RandomNoise, a metoda próbkowania jest wybierana za pomocą KSamplerSelect. BasicScheduler planuje poziomy szumu (sigma) dla procesu inpaintingu ComfyUI FLUX, kontrolując poziom szczegółowości i klarowności w inpaintowanym obszarze.

BasicGuider kieruje procesem inpaintingu ComfyUI FLUX na podstawie przygotowanych warunków i załadowanego FLUX UNET. SamplerCustomAdvanced wykonuje zaawansowany proces próbkowania, przyjmując wygenerowany losowy szum, przewodnik, wybrany próbnik, zaplanowane sigma i reprezentację latentną wejścia jako wejścia. Generuje on inpaintowaną reprezentację latentną.

Na koniec VAEDecode dekoduje inpaintowaną reprezentację latentną do końcowego wyjścia, płynnie łącząc inpaintowany obszar z oryginalną reprezentacją. PreviewImage wyświetla podgląd końcowego wyjścia, pokazując imponujące możliwości inpaintingu FLUX.

Wykorzystując moc FLUX i starannie zaprojektowany przepływ pracy inpaintingu, FLUX Inpainting umożliwia tworzenie wizualnie spójnych i kontekstowo odpowiednich inpaintowanych wyjść. Niezależnie od tego, czy chodzi o przywracanie brakujących części, usuwanie niepożądanych obiektów, czy modyfikowanie określonych obszarów, przepływ pracy inpaintingu ComfyUI FLUX zapewnia potężne narzędzie do edycji i manipulacji.

5.6. Przepływ pracy ComfyUI: FLUX NF4

5.6.1. Przepływ pracy ComfyUI FLUX NF4: Download

5.6.2. ComfyUI FLUX NF4 Online Version: ComfyUI FLUX NF4

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX NF4 bezproblemowo.

5.6.3. Wyjaśnienie ComfyUI FLUX NF4:

Przepływ pracy ComfyUI FLUX NF4 pokazuje integrację ComfyUI FLUX z architekturą NF4 (Normalizing Flow 4) w celu generowania wysokiej jakości wyjść. Przepływ pracy zaczyna się od załadowania niezbędnych komponentów za pomocą CheckpointLoaderNF4, w tym FLUX UNET, FLUX CLIP i FLUX VAE.

• UNETLoader: Ładuje model UNET do generowania obrazów.
  • Checkpoint: TBD

Węzły PrimitiveNode (height) i PrimitiveNode (width) określają pożądaną wysokość i szerokość wygenerowanego wyjścia. Węzeł ModelSamplingFlux ustawia parametry próbkowania dla ComfyUI FLUX na podstawie załadowanego FLUX UNET oraz określonej wysokości i szerokości.

Węzeł EmptySD3LatentImage tworzy pustą reprezentację latentną jako punkt wyjścia do generowania. Węzeł BasicScheduler planuje poziomy szumu (sigma) dla procesu generowania ComfyUI FLUX.

Węzeł RandomNoise generuje losowy szum do procesu generowania ComfyUI FLUX. Węzeł BasicGuider kieruje procesem generowania na podstawie warunków ComfyUI FLUX.

Węzeł KSamplerSelect wybiera metodę próbkowania dla generowania ComfyUI FLUX. Węzeł SamplerCustomAdvanced wykonuje zaawansowany proces próbkowania, przyjmując wygenerowany losowy szum, przewodnik, wybrany próbnik, zaplanowane sigma i pustą reprezentację latentną jako wejścia. Generuje on wygenerowaną reprezentację latentną.

Węzeł VAEDecode dekoduje wygenerowaną reprezentację latentną do końcowego wyjścia za pomocą załadowanego FLUX VAE. Węzeł SaveImage zapisuje wygenerowane wyjście w określonej lokalizacji.

Do skalowania używany jest węzeł UltimateSDUpscale. Przyjmuje on wygenerowane wyjście, załadowany FLUX, pozytywne i negatywne warunki do skalowania, załadowany FLUX VAE i załadowany FLUX upscaling jako wejścia. Węzeł CLIPTextEncode (Upscale Positive Prompt) koduje pozytywne polecenie tekstowe do skalowania. Węzeł UpscaleModelLoader ładuje FLUX upscaling. Węzeł UltimateSDUpscale wykonuje proces skalowania i generuje przeskalowaną reprezentację. Na koniec węzeł SaveImage (Upscaled) zapisuje przeskalowane wyjście w określonej lokalizacji.

Wykorzystując moc ComfyUI FLUX i architektury NF4, przepływ pracy ComfyUI FLUX NF4 umożliwia generowanie wysokiej jakości wyjść z ulepszoną wiernością i realizmem. Bezproblemowa integracja ComfyUI FLUX z architekturą NF4 zapewnia potężne narzędzie do tworzenia oszałamiających i przyciągających wzrok wyjść.

5.7. Przepływ pracy ComfyUI: FLUX IPAdapter

5.7.1. Przepływ pracy ComfyUI FLUX IPAdapter: Download

5.7.2. ComfyUI FLUX IPAdapter Online Version: ComfyUI FLUX IPAdapter

Na platformie RunComfy nasza wersja online wstępnie ładuje wszystkie niezbędne tryby i węzły dla ciebie. Dodatkowo oferujemy maszyny z wysokowydajnymi GPU, co zapewnia, że możesz cieszyć się doświadczeniem ComfyUI FLUX IPAdapter bezproblemowo.

5.7.3. Wyjaśnienie ComfyUI FLUX IPAdapter:

Przepływ pracy Com fyUI FLUX IPAdapter zaczyna się od załadowania niezbędnych modeli, w tym modelu UNET (UNETLoader), modelu CLIP (DualCLIPLoader) i modelu VAE (VAELoader).

Pozytywne i negatywne polecenia tekstowe są kodowane za pomocą CLIPTextEncodeFlux. Pozytywne warunki tekstowe są używane do kierowania procesem generowania ComfyUI FLUX.

Obraz wejściowy jest ładowany za pomocą LoadImage. LoadFluxIPAdapter ładuje IP-Adapter dla modelu FLUX, który jest następnie stosowany do załadowanego modelu UNET za pomocą ApplyFluxIPAdapter. ImageScale skaluje obraz wejściowy do pożądanego rozmiaru przed zastosowaniem IP-Adapter.

• LoadFluxIPAdapter: Ładuje IP-Adapter dla modelu FLUX.
  • IP Adapter Model: flux-ip-adapter.safetensors
  • CLIP Vision Encoder: clip_vision_l.safetensors

EmptyLatentImage tworzy pustą reprezentację latentną jako punkt wyjścia dla generowania ComfyUI FLUX.

XlabsSampler wykonuje proces próbkowania, przyjmując FLUX UNET z zastosowanym IP-Adapter, zakodowane pozytywne i negatywne warunki tekstowe oraz pustą reprezentację latentną jako wejścia. Generuje on reprezentację latentną.

VAEDecode dekoduje wygenerowaną reprezentację latentną do końcowego wyjścia za pomocą załadowanego FLUX VAE. Węzeł PreviewImage wyświetla podgląd końcowego wyjścia.

Przepływ pracy ComfyUI FLUX IPAdapter wykorzystuje moc ComfyUI FLUX i IP-Adapter do generowania wysokiej jakości wyjść, które odpowiadają dostarczonym poleceniom tekstowym. Stosując IP-Adapter do FLUX UNET, przepływ pracy umożliwia generowanie wyjść, które uchwytują pożądane cechy i styl określony w warunkowaniu tekstowym.

5.8. Przepływ pracy ComfyUI: Flux LoRA Trainer

5.8.1. Przepływ pracy ComfyUI FLUX LoRA Trainer: Download

5.8.2. Wyjaśnienie ComfyUI Flux LoRA Trainer:

Przepływ pracy ComfyUI FLUX LoRA Trainer składa się z wielu etapów do treningu LoRA przy użyciu architektury FLUX w ComfyUI.

Wybór i konfiguracja ComfyUI FLUX: Węzeł FluxTrainModelSelect jest używany do wyboru komponentów do treningu, w tym UNET, VAE, CLIP oraz CLIP text encoder. Węzeł OptimizerConfig konfiguruje ustawienia optymalizatora do treningu ComfyUI FLUX, takie jak typ optymalizatora, szybkość uczenia się i rozpad wagi. Węzły TrainDatasetGeneralConfig i TrainDatasetAdd są używane do konfigurowania zestawu danych treningowych, w tym rozdzielczości, ustawień augmentacji i rozmiarów partii.

Inicjalizacja treningu ComfyUI FLUX: Węzeł InitFluxLoRATraining inicjalizuje proces treningu LoRA przy użyciu wybranych komponentów, konfiguracji zestawu danych i ustawień optymalizatora. Węzeł FluxTrainValidationSettings konfiguruje ustawienia walidacji dla treningu, takie jak liczba próbek walidacyjnych, rozdzielczość i rozmiar partii.

Pętla treningowa ComfyUI FLUX: Węzeł FluxTrainLoop wykonuje pętlę treningową dla LoRA, iterując przez określoną liczbę kroków. Po każdej pętli treningowej węzeł FluxTrainValidate waliduje trenowaną LoRA przy użyciu ustawień walidacji i generuje wyniki walidacyjne. Węzeł PreviewImage wyświetla podgląd wyników walidacji. Węzeł FluxTrainSave zapisuje trenowaną LoRA w określonych odstępach.

Wizualizacja strat ComfyUI FLUX: Węzeł VisualizeLoss wizualizuje straty treningowe w trakcie treningu. Węzeł SaveImage zapisuje wykres strat do dalszej analizy.

Przetwarzanie wyników walidacji ComfyUI FLUX: Węzły AddLabel i SomethingToString są używane do dodawania etykiet do wyników walidacji, wskazując kroki treningowe. Węzły ImageBatchMulti i ImageConcatFromBatch łączą i łączą wyniki walidacji w jeden wynik, co ułatwia wizualizację.

Finalizacja treningu ComfyUI FLUX: Węzeł FluxTrainEnd finalizuje proces treningu LoRA i zapisuje trenowaną LoRA. Węzeł UploadToHuggingFace może być używany do przesyłania trenowanej LoRA do Hugging Face w celu udostępnienia i dalszego wykorzystania z ComfyUI FLUX.

5.9. Przepływ pracy ComfyUI: Flux Latent Upscaler

5.9.1. Przepływ pracy ComfyUI Flux Latent Upscaler: Download

5.9.2. Wyjaśnienie ComfyUI Flux Latent Upscaler:

Przepływ pracy ComfyUI Flux Latent Upscale zaczyna się od załadowania niezbędnych komponentów, w tym CLIP (DualCLIPLoader), UNET (UNETLoader) i VAE (VAELoader). Polecenie tekstowe jest kodowane za pomocą węzła CLIPTextEncode, a przewodnictwo jest stosowane za pomocą węzła FluxGuidance.

Węzeł SDXLEmptyLatentSizePicker+ określa rozmiar pustej reprezentacji latentnej, która służy jako punkt wyjścia do procesu skalowania w FLUX. Reprezentacja latentna jest następnie przetwarzana przez serię kroków skalowania i przycinania za pomocą węzłów LatentUpscale i LatentCrop.

Proces skalowania jest kierowany przez zakodowane warunki tekstowe i wykorzystuje węzeł SamplerCustomAdvanced z wybraną metodą próbkowania (KSamplerSelect) i zaplanowanymi poziomami szumu (BasicScheduler). Węzeł ModelSamplingFlux ustawia parametry próbkowania.

Przeskalowana reprezentacja latentna jest następnie łączona z oryginalną reprezentacją latentną za pomocą węzła LatentCompositeMasked i maski wygenerowanej przez węzły SolidMask i FeatherMask. Szum jest wstrzykiwany do przeskalowanej reprezentacji latentnej za pomocą węzła InjectLatentNoise+.

Na koniec przeskalowana reprezentacja latentna jest dekodowana do końcowego wyjścia za pomocą węzła VAEDecode, a inteligentne wyostrzanie jest stosowane za pomocą węzła ImageSmartSharpen+. Węzeł PreviewImage wyświetla podgląd końcowego wyjścia wygenerowanego przez ComfyUI FLUX.

Przepływ pracy ComfyUI FLUX Latent Upscaler obejmuje również różne operacje matematyczne za pomocą węzłów SimpleMath+, SimpleMathFloat+, SimpleMathInt+ i SimpleMathPercent+ w celu obliczania wymiarów, stosunków i innych parametrów do procesu skalowania.