Qwen Image 2.1 Inpainting: Рабочий процесс локального редактирования без смещения для точных изменений, управляемых инструкциями#
Этот рабочий процесс ComfyUI обеспечивает целенаправленные локальные правки с помощью Qwen Image 2.1 Inpainting, используя входное изображение, пользовательскую маску и чёткие инструкции на английском. Он следует стратегии без смещения, которая сохраняет рабочее изображение и маску идеально выровненными, затем применяет скрытый шум только внутри маскированной области, чтобы модель сосредоточилась на запрашиваемом изменении, сохраняя окружающую композицию.
Используйте его для добавления или замены локализованных деталей, таких как дайвер, ковбой или льняная рубашка. Дизайн акцентирует внимание на реалистичности и согласованности сцены с опциональными референсными изображениями, но не гарантирует пиксельно идентичных результатов за пределами маски. Ожидайте достоверных вставок, естественного освещения и теней контакта, а также минимальных побочных изменений у границы маски.
Основные модели в рабочем процессе Comfyui Qwen Image 2.1 Inpainting#
- Qwen-Image 2.1 diffusion model. Основной генератор изображений, выполняющий редактирование с использованием инструкций и локальное редактирование, обусловленное вашим запросом и референсными изображениями. Model card
- Qwen-Image 2.1 VAE. Кодирует входное изображение в скрытые представления и декодирует отредактированные скрытые представления обратно в пиксели, помогая сохранить глобальный вид и цветовое пространство. Model card
- Qwen-Image 2.1 text/image encoder. Преобразует английские инструкции по редактированию и ссылки на сцены в управляющие сигналы, которые направляют процесс диффузии к запрашиваемому вами редактированию. Model card
Как использовать рабочий процесс Comfyui Qwen Image 2.1 Inpainting#
Вкратце: вы предоставляете изображение, рисуете маску на области для изменения и пишете краткие инструкции на английском. Рабочий процесс масштабирует изображение для модели, выравнивает маску без смещения, добавляет шум только там, где необходимы изменения, кодирует ваш запрос и опциональные референсные изображения, удаляет шум, чтобы реализовать изменение, и сохраняет сравнение "до и после".
Входное изображение + Маска для редактирования (LoadImage (#11))#
Загрузите рабочее изображение и его маску для редактирования. Маска должна покрывать только область, которую вы хотите изменить, с небольшим буфером вокруг краёв для смешивания. Более мягкие края обычно дают более чистые швы. Оставьте остальную часть изображения не замаскированной, чтобы модель приоритизировала целевую вставку или замену.
Инструкции по редактированию (английский) (Text (#165))#
Напишите чёткие, конкретные инструкции, описывающие, что добавить или изменить, где это должно появиться и как это должно выглядеть относительно сцены. Укажите масштаб, позу, перспективу и освещение, чтобы они соответствовали фотографии. Краткие ограничения, такие как "сохранить дом и береговую линию", помогают поддерживать контекст. Отрицательные формулировки являются необязательными, но могут отталкивать модель от нежелательных атрибутов.
Ссылка 2 – Оригинальная сцена (LoadImage (#134))#
Добавьте оригинальный, неотредактированный вид той же сцены в качестве референса для сохранения. Рабочий процесс использует его, чтобы закрепить композицию и освещение, чтобы редактирование сливалось естественно. Совпадение точки зрения камеры и кадрирования наиболее эффективно. Этот шаг является необязательным, но рекомендуется для реалистичности.
Ссылка 3 – Оригинальная сцена (LoadImage (#136))#
По желанию добавьте вторую ссылку на оригинальную сцену. Предоставление нескольких согласованных ссылок улучшает структуру и стабильность цвета вокруг редактирования. Используйте изображения с тем же объективом, временем суток и экспозицией, когда это возможно.
Масштабирование изображения и маски (группа)#
Эта группа стандартизирует разрешение и гарантирует выравнивание маски с подходом без смещения. Изображение масштабируется до размера, подходящего для модели, проходит через VAE, чтобы зафиксировать размеры, затем GetImageSize (#132) передаёт эти точные размеры в ImageScale (#158) и ResizeMask (#148), чтобы пиксели и маска идеально совпадали. GrowMaskWithBlur (#128) может мягко расширить и размыть маску, чтобы уменьшить жёсткие швы. Наконец, SetLatentNoiseMask (#126) гарантирует, что свежий шум применяется только внутри маскированной области, фокусируя изменения там, где вы нарисовали.
модель (группа)#
Компоненты модели загружаются, ваши инструкции и референсные изображения кодируются, и запускается шаг удаления шума. UNETLoader (#192), VAELoader (#178) и CLIPLoader (#177) загружают комплект моделей Qwen-Image 2.1. TextEncodeQwenImage21 (#191) преобразует ваш запрос и ссылки в управляющие сигналы, в то время как KSamplerAdvanced (#193) выполняет редактирование с использованием маскированных скрытых представлений из SetLatentNoiseMask (#126). VAEDecode (#194) возвращает окончательное изображение.
Сравнение и сохранение#
Image Comparer (rgthree) (#51) показывает живое сравнение "до/после", которое помогает вам оценить выравнивание, освещение и качество шва. SaveImage (#201) записывает результат на диск, используя выбранный вами префикс, чтобы вы могли быстро итерациировать и сохранять организованные версии.
Ключевые узлы в рабочем процессе Comfyui Qwen Image 2.1 Inpainting#
TextEncodeQwenImage21 (#191)#
Кодирует инструкции на английском вместе с до трёх изображений сцены в управляющие сигналы для Qwen Image 2.1 Inpainting. Используйте поле prompt для описания того, что добавить или изменить, и negative_prompt для черт, которых следует избегать. Контроль resolution задаёт внутренний рабочий масштаб модели; рекомендуется использовать значения, делящиеся на 32. Более высокие значения могут увеличить глобальные детали, но могут потребовать больше VRAM и времени.
SetLatentNoiseMask (#126)#
Применяет маску шума, чтобы новый сигнал вводился в основном внутри области, которую вы нарисовали, позволяя локальные правки с сильным сохранением фона. Совместите это с мягко размытым краем для бесшовных переходов. Непокрытые области уважаются, но не заморожены на уровне пикселей, поэтому возможны небольшие случайные изменения у краёв.
GrowMaskWithBlur (#128)#
Предварительно обрабатывает вашу маску для чистых границ. Небольшое расширение может гарантировать, что весь новый объект будет внутри редактируемой зоны, и добавление размытия размывает края, чтобы минимизировать швы. Если точность является первостепенной, уменьшите расширение и размытие; если приоритетом является смешивание, увеличьте их умеренно.
KSamplerAdvanced (#193)#
Выполняет процесс удаления шума, который реализует вашу инструкцию в маскированной области. Настройте шаги и семплер для баланса скорости и точности и установите семя, чтобы воспроизвести результаты при итерации. Более низкое руководство часто лучше смешивает вставки, в то время как более высокое руководство может обеспечить более сильное соблюдение текста.
ImageScaleToMaxDimension (#138)#
Устанавливает длинный край рабочего изображения для хорошего баланса между детализацией и затратами на вычисления. Более крупные значения дают более чёткие вставки, но увеличивают использование памяти и время рендеринга. Начните с умеренного значения, затем увеличивайте только если вам нужно больше деталей.
ResizeMask (#148)#
Изменяет размер маски для редактирования, чтобы она точно соответствовала рабочим размерам модели, определённым ранее. Это выравнивание без смещения предотвращает артефакты "сдвига маски" и сохраняет вашу нарисованную область идеально зарегистрированной с пикселями изображения.
Дополнительные опции#
- Держите инструкции краткими и конкретными: что, где, масштаб, перспектива, освещение и любые элементы, которые необходимо сохранить.
- Разрабатывайте маски с небольшим буфером и мягкими краями; включайте весь отпечаток объекта плюс тени контакта для реалистичного основания.
- Предоставьте одну или две ссылки на оригинальную сцену для лучшей композиции и стабильности цвета, особенно с сложными фонами.
- Используйте разрешение, делящееся на 32; увеличивайте постепенно, если вам нужно больше деталей, следя за VRAM и временем.
- Заблокируйте семя для воспроизводимости при сравнении запросов или изменений маски.
- Для упорных швов выполните лёгкий второй проход с более плотной, мягкой маской, которая покрывает только зону перехода.
Этот рабочий процесс ComfyUI без смещения делает Qwen Image 2.1 Inpainting практичным и предсказуемым для повседневных вставок объектов и локальных замен. С выровненными масками, маскированным скрытым шумом и управляемым референсами кондиционированием вы можете добавлять правдоподобные элементы, которые соответствуют геометрии и свету вашей сцены.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы признательно благодарим RunningHub за исходный код рабочего процесса, Qwen за модель Qwen-Image-2.1 и Qwen за официальные примеры локального редактирования за их вклад и поддержку. За авторитетными деталями обращайтесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- RunningHub/Workflow source
- Документация / Примечания к выпуску: Workflow source
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Official local editing examples
- Документация / Примечания к выпуску: Official local editing examples
Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.