Этот рабочий процесс привносит Z Image ControlNet в ComfyUI, чтобы вы могли управлять Z‑Image Turbo с точной структурой из справочных изображений. Он объединяет три режима управления в одном графе: глубина, края canny и человеческая поза, и позволяет переключаться между ними в зависимости от вашей задачи. Результат — быстрая, высококачественная генерация текста или изображения в изображение, где макет, поза и композиция остаются под контролем, пока вы итеративно работаете.
Разработан для художников, концептуальных дизайнеров и планировщиков макетов, график поддерживает двуязычные подсказки и необязательный стиль LoRA. Вы получаете чистый предварительный просмотр выбранного управляющего сигнала плюс автоматическую полосу сравнения для оценки глубины, краев canny или позы по сравнению с конечным результатом.
На высоком уровне вы загружаете или загружаете справочное изображение, выбираете один режим управления из глубины, canny или позы, затем генерируете с текстовой подсказкой. График масштабирует справочное изображение для эффективной выборки, создает латентное изображение с подходящим соотношением сторон и сохраняет как конечное изображение, так и полосу сравнения.
Используйте LoadImage (#14) для выбора справочного изображения. Введите свою текстовую подсказку в Text Multiline (#17) стэк Z‑Image поддерживает двуязычные подсказки. Подсказка кодируется CLIPLoader (#2) и CLIPTextEncode (#4). Если вы предпочитаете полностью управление изображением в изображение, вы можете оставить подсказку минимальной и полагаться на выбранный управляющий сигнал.
Три препроцессора преобразуют ваше справочное изображение в управляющие сигналы. AIO_Preprocessor (#45) создает глубину с Depth Anything v2, AIO_Preprocessor (#46) извлекает края canny, а DWPreprocessor (#56) оценивает полную позу тела. Используйте ImpactSwitch (#58), чтобы выбрать, какой сигнал управляет Z Image ControlNet, и проверьте PreviewImage (#43), чтобы подтвердить выбранную управляющую карту. Выберите глубину, когда вам нужна геометрия сцены, canny для четкого макета или продуктовых фото, а позу для работы с персонажами.
Советы для OpenPose:
- Лучше для всего тела: OpenPose работает лучше (~70-90% точности), когда вы включаете "всё тело" в вашу подсказку.
- Избегайте для крупного плана: Точность значительно падает на лицах. Используйте Depth или Canny (низкой/средней силы) для крупного плана вместо этого.
- Подсказки важны: Подсказки сильно влияют на ControlNet. Избегайте пустых подсказок, чтобы предотвратить размытые результаты.
ImageScaleToTotalPixels (#34) изменяет размер справочного изображения до практического рабочего разрешения для баланса качества и скорости. GetImageSizeAndCount (#35) считывает масштабированный размер и передает ширину и высоту вперед. EmptyLatentImage (#6) создает латентное изображение, соответствующее соотношению сторон вашего измененного входного изображения, чтобы композиция оставалась согласованной.
QwenImageDiffsynthControlnet (#39) объединяет базовую модель с патчем Z Image ControlNet union и выбранным управляющим изображением, затем KSampler (#7) генерирует результат, управляемый вашей положительной и отрицательной настройкой. VAEDecode (#8) преобразует латентное изображение в изображение. Рабочий процесс сохраняет два вывода: SaveImage (#31) записывает конечное изображение, а SaveImage (#42) записывает полосу сравнения через ImageConcatMulti (#38), которая включает источник, управляющую карту и результат для быстрой проверки качества.
ImpactSwitch (#58)Выбирает, какое управляющее изображение управляет генерацией глубины, краев или позы. Переключайте режимы, чтобы сравнить, как каждое ограничение формирует композицию и детали. Используйте его при итерации макетов, чтобы быстро протестировать, какое руководство лучше всего соответствует вашей цели.
QwenImageDiffsynthControlnet (#39)Соединяет базовую модель, патч Z Image ControlNet union, VAE и выбранный управляющий сигнал. Параметр strength определяет, насколько строго модель следует управляющему вводу по сравнению с подсказкой. Для точного соответствия макету увеличьте силу для более творческих вариаций, уменьшите её.
AIO_Preprocessor (#45)Запускает конвейер Depth Anything v2 для создания плотных карт глубины. Увеличьте разрешение для более детализированной структуры или уменьшите для более быстрых предварительных просмотров. Хорошо сочетается с архитектурными сценами, продуктовыми фото и пейзажами, где важна геометрия.
DWPreprocessor (#56)Создает карты поз, подходящие для людей и персонажей. Лучше всего работает, когда конечности видны и не сильно скрыты. Если руки или ноги отсутствуют, попробуйте более четкую справочную или другой кадр с более полной видимостью тела.
LoraLoaderModelOnly (#54)Применяет необязательный LoRA к базовой модели для стиля или идентификационных сигналов. Настройте strength_model, чтобы плавно или сильно смешать LoRA. Вы можете заменить лицо LoRA, чтобы персонализировать объекты, или использовать стиль LoRA, чтобы закрепить определенный вид.
KSampler (#7)Выполняет диффузионную выборку, используя вашу подсказку и управление. Настройте seed для воспроизводимости, steps для бюджета уточнения, cfg для соответствия подсказке и denoise для того, насколько вывод может отклоняться от начального латентного. Для редактирования изображения в изображение уменьшите denoise для сохранения структуры, более высокие значения позволяют более крупные изменения.
Этот рабочий процесс реализует и строится на следующих работах и ресурсах. Мы с благодарностью признаем Alibaba PAI за Z Image ControlNet за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.
