FLUX — это новая модель генерации изображений, разработанная Black Forest Labs, Модели FLUX-ControlNet-Depth и FLUX-ControlNet-Canny были созданы командой XLabs AI. Этот рабочий процесс ComfyUI FLUX ControlNet также был создан командой XLabs AI. Для получения дополнительной информации, пожалуйста, посетите **x-flux-comfyui**. Все заслуги принадлежат их вкладу.
О FLUX
Модели FLUX предварительно загружены на RunComfy, называются flux/flux-schnell и flux/flux-dev.
- При запуске RunComfy Medium-Sized Machine: Выберите контрольную точку
flux-schnell, fp8и клипt5_xxl_fp8, чтобы избежать проблем с нехваткой памяти. - При запуске RunComfy Large-Sized или Above Machine: Выберите большую контрольную точку
flux-dev, defaultи высокий клипt5_xxl_fp16.
Для получения дополнительной информации посетите: ComfyUI FLUX | A New Art Image Generation
🌟Следующий рабочий процесс FLUX-ControlNet специально разработан для модели [FLUX.1 [dev]](https://github.com/black-forest-labs/flux).🌟
О рабочем процессе FLUX-ControlNet (FLUX-ControlNet-Depth-V3 и FLUX-ControlNet-Canny-V3)
Мы представляем два исключительных рабочих процесса FLUX-ControlNet: FLUX-ControlNet-Depth и FLUX-ControlNet-Canny, каждый из которых предлагает уникальные возможности для улучшения вашего творческого процесса.
1. Как использовать рабочий процесс ComfyUI FLUX-ControlNet-Depth-V3
Модель FLUX-ControlNet Depth сначала загружается с помощью узла "LoadFluxControlNet". Выберите модель "flux-depth-controlnet.safetensors" для оптимального контроля глубины.
- flux-depth-controlnet
- flux-depth-controlnet-v2
- flux-depth-controlnet-v3: ControlNet обучен на разрешении 1024x1024 и работает для разрешения 1024x1024, с улучшенной и реалистичной версией
Подключите выход этого узла к узлу "ApplyFluxControlNet". Также подключите изображение карты глубины к входу изображения этого узла. Карта глубины должна быть черно-белым изображением, где более близкие объекты ярче, а дальние объекты темнее, что позволяет FLUX-ControlNet точно интерпретировать информацию о глубине.
Вы можете сгенерировать карту глубины из входного изображения, используя модель оценки глубины. Здесь узел "MiDaS-DepthMapPreprocessor" используется для преобразования загруженного изображения в карту глубины, подходящую для FLUX-ControlNet. Ключевые параметры:
- Порог = 6.28 (влияет на чувствительность к краям)
- Масштаб глубины = 0.1 (насколько масштабируются значения карты глубины)
- Размер вывода = 768 (разрешение карты глубины)
В узле "ApplyFluxControlNet" параметр Strength определяет, насколько сильно создаваемое изображение будет зависеть от условий глубины FLUX-ControlNet. Более высокая сила сделает вывод более точно соответствующим структуре глубины.
2. Как использовать рабочий процесс ComfyUI FLUX-ControlNet-Canny-V3
Процесс очень похож на рабочий процесс FLUX-ControlNet-Depth. Сначала модель FLUX-ControlNet Canny загружается с помощью "LoadFluxControlNet". Затем она подключается к узлу "ApplyFluxControlNet".
- flux-canny-controlnet
- flux-canny-controlnet-v2
- flux-canny-controlnet-v3: ControlNet обучен на разрешении 1024x1024 и работает для разрешения 1024x1024, с улучшенной и реалистичной версией
Входное изображение преобразуется в карту краев Canny с помощью узла "CannyEdgePreprocessor", оптимизируя его для FLUX-ControlNet. Ключевые параметры:
- Низкий порог = 100 (порог интенсивности краев)
- Высокий порог = 200 (гистерезисный порог для краев)
- Размер = 832 (разрешение карты краев)
Полученная карта краев Canny подключается к узлу "ApplyFluxControlNet". Опять же, используйте параметр Strength, чтобы контролировать, насколько карта краев влияет на генерацию FLUX-ControlNet.
3. Как для ComfyUI FLUX-ControlNet-Depth-V3, так и для ComfyUI FLUX-ControlNet-Canny-V3
В обоих рабочих процессах FLUX-ControlNet, CLIP закодированный текстовый запрос подключается для управления содержанием изображения, в то время как условие FLUX-ControlNet контролирует структуру и геометрию на основе карты глубины или краев.
Сочетая разные FLUX-ControlNets, входные данные, такие как глубина и края, и настраивая их силу, вы можете достичь тонкого контроля как над семантическим содержанием, так и над структурой изображений, создаваемых FLUX-ControlNet.
Лицензия: controlnet.safetensors попадает под [FLUX.1 [dev]](https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md) Некоммерческая лицензия
Лицензия
Просмотр файлов лицензий:
flux/model_licenses/LICENSE-FLUX1-dev
flux/model_licenses/LICENSE-FLUX1-schnell
Модель FLUX.1 [dev] лицензирована Black Forest Labs. Inc. по Некоммерческой лицензии FLUX.1 [dev]. Авторские права Black Forest Labs. Inc.
НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ BLACK FOREST LABS, INC. НЕ НЕСЕТ ОТВЕТСТВЕННОСТИ ЗА ЛЮБЫЕ ПРЕТЕНЗИИ, УЩЕРБ ИЛИ ИНЫЕ ОБЯЗАТЕЛЬСТВА, ВОЗНИКАЮЩИЕ В РЕЗУЛЬТАТЕ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ЭТОЙ МОДЕЛИ.
