FLUX ControlNet Depth-V3 i Canny-V3

FLUX to nowy model generowania obrazów opracowany przez . Modele FLUX-ControlNet-Depth i FLUX-ControlNet-Canny zostały stworzone przez zespół XLabs AI. Ten workflow ComfyUI FLUX ControlNet został również stworzony przez zespół XLabs AI. Więcej szczegółów znajdziesz na . Cały kredyt należy się ich wkładowi.

O FLUX

Modele FLUX są wstępnie załadowane na RunComfy, nazwane flux/flux-schnell i flux/flux-dev.

• Podczas uruchamiania maszyny średniej wielkości RunComfy: Wybierz punkt kontrolny flux-schnell, fp8 i klip t5_xxl_fp8, aby uniknąć problemów z pamięcią.
• Podczas uruchamiania maszyny dużej lub większej RunComfy: Wybierz duży punkt kontrolny flux-dev, default i wysoki klip t5_xxl_fp16.

Więcej szczegółów znajdziesz na:

🌟Poniższy workflow FLUX-ControlNet jest specjalnie zaprojektowany dla modelu .🌟

O workflow FLUX-ControlNet (FLUX-ControlNet-Depth-V3 i FLUX-ControlNet-Canny-V3)

Prezentujemy dwa wyjątkowe workflow FLUX-ControlNet: FLUX-ControlNet-Depth i FLUX-ControlNet-Canny, z których każdy oferuje unikalne możliwości ulepszania procesu twórczego.

1. Jak używać workflow ComfyUI FLUX-ControlNet-Depth-V3

Model FLUX-ControlNet Depth jest najpierw ładowany za pomocą węzła "LoadFluxControlNet". Wybierz model "flux-depth-controlnet.safetensors" dla optymalnej kontroli głębokości.

• flux-depth-controlnet
• flux-depth-controlnet-v2
• flux-depth-controlnet-v3: ControlNet jest trenowany na rozdzielczości 1024x1024 i działa dla rozdzielczości 1024x1024, oferując lepszą i bardziej realistyczną wersję

Połącz wyjście tego węzła z węzłem "ApplyFluxControlNet". Połącz również obraz mapy głębokości z wejściem obrazu tego węzła. Mapa głębokości powinna być obrazem w skali szarości, gdzie bliższe obiekty są jaśniejsze, a dalsze obiekty są ciemniejsze, co pozwala FLUX-ControlNet dokładnie interpretować informacje o głębokości.

Możesz wygenerować mapę głębokości z obrazu wejściowego za pomocą modelu szacowania głębokości. Tutaj węzeł "MiDaS-DepthMapPreprocessor" jest używany do konwersji załadowanego obrazu na mapę głębokości odpowiednią dla FLUX-ControlNet. Kluczowe parametry:

• Próg = 6.28 (wpływa na czułość na krawędzie)
• Skala głębokości = 0.1 (wartości mapy głębokości są skalowane)
• Rozmiar wyjściowy = 768 (rozdzielczość mapy głębokości)

W węźle "ApplyFluxControlNet" parametr Siła określa, jak bardzo wygenerowany obraz jest wpływany przez warunkowanie głębokości FLUX-ControlNet. Wyższa siła sprawi, że wyjście będzie bardziej zgodne ze strukturą głębokości.

2. Jak używać workflow ComfyUI FLUX-ControlNet-Canny-V3

Proces jest bardzo podobny do workflow FLUX-ControlNet-Depth. Najpierw model FLUX-ControlNet Canny jest ładowany za pomocą "LoadFluxControlNet". Następnie jest połączony z węzłem "ApplyFluxControlNet".

• flux-canny-controlnet
• flux-canny-controlnet-v2
• flux-canny-controlnet-v3: ControlNet jest trenowany na rozdzielczości 1024x1024 i działa dla rozdzielczości 1024x1024, oferując lepszą i bardziej realistyczną wersję

Obraz wejściowy jest konwertowany na mapę krawędzi Canny za pomocą węzła "CannyEdgePreprocessor", optymalizując go dla FLUX-ControlNet. Kluczowe parametry:

• Niski próg = 100 (próg intensywności krawędzi)
• Wysoki próg = 200 (próg histerezy dla krawędzi)
• Rozmiar = 832 (rozdzielczość mapy krawędzi)

Uzyskana mapa krawędzi Canny jest połączona z węzłem "ApplyFluxControlNet". Ponownie, użyj parametru Siła, aby kontrolować, jak bardzo mapa krawędzi wpływa na generowanie FLUX-ControlNet.

3. Oba dla ComfyUI FLUX-ControlNet-Depth-V3 i ComfyUI FLUX-ControlNet-Canny-V3

W obu workflow FLUX-ControlNet, zakodowana tekstowa podpowiedź CLIP jest połączona, aby sterować zawartością obrazu, podczas gdy warunkowanie FLUX-ControlNet kontroluje strukturę i geometrię na podstawie mapy głębokości lub krawędzi.

Łącząc różne FLUX-ControlNets, modalności wejściowe, takie jak głębokość i krawędzie, oraz dostosowując ich siłę, możesz osiągnąć precyzyjną kontrolę nad zarówno semantyczną treścią, jak i strukturą obrazów generowanych przez FLUX-ControlNet.

Licencja: controlnet.safetensors podlega Licencji Niekomercyjnej

Licencja

Zobacz pliki licencji:

Model FLUX.1 [dev] jest licencjonowany przez Black Forest Labs. Inc. na podstawie Licencji Niekomercyjnej FLUX.1 [dev]. Prawa autorskie Black Forest Labs. Inc.

W ŻADNYM PRZYPADKU BLACK FOREST LABS, INC. NIE PONOSI ODPOWIEDZIALNOŚCI ZA JAKIEKOLWIEK ROSZCZENIA, SZKODY LUB INNE ZOBOWIĄZANIA, CZY TO W UMOWIE, W DELIKCIE CZY INACZEJ, WYNIKAJĄCE Z UŻYCIA TEGO MODELU.