Qwen Image Edit для ComfyUI: Редактирование фотографий на основе подсказок, замена и перенастройка освещения
Этот рабочий процесс обеспечивает быстрые и контролируемые редактирования изображений с помощью семейства Qwen. С одной подсказкой вы можете выполнить inpainting, заменить фоны, вставить или удалить объекты и применить кинематографическое перенастройку освещения, сохраняя локальные детали. Qwen Image Edit идеально подходит для художников и создателей, которые хотят точных преобразований без сложных графов узлов.
Граф организован в простые шаги: загрузите модели, загрузите изображение, напишите подсказки, затем выполните выборку и сохраните. В комплекте с опциональной Lightning LoRA для ультра-быстрых 4-шаговых редактирований, так что вы можете быстро итеративно и закрепить желаемый вид.
Основные модели в рабочем процессе Comfyui Qwen Image Edit
- Модель диффузии Qwen Image Edit Основной UNet для редактирования изображений, используемый для редактирований на основе инструкций. Упакован для ComfyUI как
qwen_image_edit_fp8_e4m3fn.safetensorsв Comfy-Org/Qwen-Image-Edit_ComfyUI. - Текстовый энкодер Qwen 2.5 VL 7B Мультимодальный текстовый энкодер, который интерпретирует инструкции по редактированию и определяет условия модели. Предоставляется как
qwen_2.5_vl_7b_fp8_scaled.safetensorsв Comfy-Org/Qwen-Image_ComfyUI. - Qwen Image VAE Латентный кодек, адаптированный для моделей Qwen Image, улучшающий качество реконструкции. Распространяется как
qwen_image_vae.safetensorsв Comfy-Org/Qwen-Image_ComfyUI. - Qwen-Image-Lightning LoRA (опционально) Оптимизированная по скорости LoRA, которая позволяет выполнять качественные редактирования всего за 4 шага. Доступна как
Qwen-Image-Lightning-4steps-V1.0.safetensorsна lightx2v/Qwen-Image-Lightning.
Как использовать рабочий процесс Comfyui Qwen Image Edit
Шаг 1 – Загрузка моделей
Граф загружает UNet для редактирования с помощью UNETLoader (#37), текстовый энкодер с помощью CLIPLoader (#38), и латентный кодек с помощью VAELoader (#39). Если вы хотите более быструю итерацию, включите опциональную LoraLoaderModelOnly (#89) для применения Lightning LoRA поверх базовой модели. ModelSamplingAuraFlow (#66) и CFGNorm (#75) подготавливают сэмплер так, чтобы модель Qwen Image Edit следовала подсказкам без переизбыточности деталей.
Шаг 2 – Загрузка изображения для редактирования
Используйте LoadImage (#78) для выбора фотографии, которую вы хотите изменить. Изображение проходит через ImageScaleToTotalPixels (#93), чтобы сохранить разрешение в диапазоне, дружественном к качеству, что помогает Qwen Image Edit избегать артефактов от очень больших входных данных. VAEEncode (#88) преобразует пиксели в латенты для эффективного редактирования, сохраняя структуру.
Шаг 3 – Подсказка
Напишите свою инструкцию в TextEncodeQwenImageEdit (#76) как положительное указание. Примеры включают “заменить фон на городской пейзаж на закате,” “убрать человека на заднем плане,” или “мягкий золотой ключевой свет слева.” Используйте второй TextEncodeQwenImageEdit (#77) в качестве негативного руководства, когда нужно избежать изменений, например “не изменяйте лицо субъекта” или “сохраните цвет куртки.” Оба энкодера видят загруженное вами изображение и VAE, так что кондиционирование остается согласованным с контентом.
Выборка и вывод
KSampler (#3) выполняет редактирование с использованием патченной модели и вашего кондиционирования. Если Lightning LoRA включена, вы можете сойтись на очень немногих шагах; в противном случае используйте больше шагов для максимальной точности. Отредактированный латент декодируется VAEDecode (#8) и записывается на диск через SaveImage (#60).
Ключевые узлы в рабочем процессе Comfyui Qwen Image Edit
TextEncodeQwenImageEdit (#76)
Кодирует основную инструкцию, которая управляет редактированием. Предпочитайте прямые глаголы, такие как “заменить,” “вставить,” “убрать,” “перекрасить,” и “перенастроить освещение.” Если изменение должно быть локальным, укажите регион или объект явно. Держите подсказки краткими; длинные списки тегов стиля редко нужны.
TextEncodeQwenImageEdit (#77)
Предоставляет негативное или защитное руководство. Используйте его, чтобы сказать модели, что избегать или сохранять ключевые атрибуты. Хорошие паттерны: “сохранить тон кожи,” “не изменять композицию,” “игнорировать текст на фоне.”
LoraLoaderModelOnly (#89)
Применяет Qwen-Image-Lightning LoRA для быстрой итерации. Включите его, когда вам нужны почти мгновенные результаты. Сократите количество шагов сэмплера существенно, когда эта LoRA активна, чтобы поддерживать четкость редактирований.
ImageScaleToTotalPixels (#93)
Уменьшает размер слишком больших входных данных до целевого бюджета мегапикселей для стабилизации качества. Используйте его, когда исходные изображения очень большие или содержат сильную компрессию; это часто улучшает гладкость краев и уменьшает гало.
CFGNorm (#75)
Нормализует поведение свободного от классификаторов руководства так, чтобы модель следовала подсказкам без создания артефактов. Если вы видите перенасыщение или “переизбыточность,” немного уменьшите силу; если редактирования кажутся робкими, немного увеличьте её.
KSampler (#3)
Запускает цикл диффузии. Начните с умеренных шагов для fp8 и увеличивайте только если редактирование не завершено. Поддерживайте умеренное руководство; очень высокие значения могут размывать сохраненные регионы. Когда Lightning LoRA включена, используйте очень мало шагов, чтобы воспользоваться её скоростным преимуществом.
Опциональные дополнения
- Опишите редактирования просто. Qwen Image Edit лучше всего реагирует на короткие, действенные инструкции, такие как “сделать небо облачным и добавить дождь” или “заменить текст на билборде на ‘RunComfy’ белым.”
- Для замены фона укажите как новую сцену, так и настроение, например “заменить фон на закатный городской пейзаж, оранжевую дымку, слабые огни города.”
- Для работы с объектами комбинируйте действие и размещение: “вставить красный зонт в правую руку субъекта,” или “убрать мусорное ведро слева.”
- Для перенастройки освещения укажите направление, качество и интенсивность: “мягкий ключевой свет справа от камеры, легкий ободковый свет, теплый тон.”
- Если результаты выглядят чрезмерно обработанными, уменьшите руководство или отключите LoRA; если редактирования слишком слабы, увеличьте количество шагов немного или усилите инструкцию.
Благодарности
Этот рабочий процесс реализует и развивает следующие работы и ресурсы. Мы искренне благодарим QwenLM за Qwen-Image-Edit, QwenLM за Qwen-Image, и ComfyOrg за ComfyUI Native Workflow Example за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы
- Справочник Comfy/Qwen Image-Edit
- GitHub: QwenLM/Qwen-Image
- Hugging Face: Qwen/Qwen-Image-Edit
- arXiv: Qwen-Image Technical Report
- Документы / Примечания к выпуску: Qwen-Image-Edit ComfyUI Native Workflow Example
Примечание: Использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.