Процесс инпейтинга Krea 2 Turbo в ComfyUI (LanPaint + Дифференциальная диффузия)#
Этот процесс инпейтинга Krea 2 Turbo в ComfyUI превращает Krea‑2 Turbo в точный локальный редактор для замены объектов и целенаправленных исправлений. Он сочетает тренировочный бесплатный сэмплер LanPaint с инъекцией шума по маске, Дифференциальной диффузией, автоматическим маскированием на основе SAM и композитингом обрезки и сшивания, чтобы регенерировать только то, что вы выбираете, сохраняя всё остальное. Граф из 27 узлов, готовый к RunComfy, был проверен от начала до конца; в тестировании он чисто заменил циферблат часов на белую механическую бабочку, оставив корпус, стрелки и освещение нетронутыми.
Создан для художников, продуктовых фотографов и ретушеров, которым нужны надежные локальные правки, процесс принимает либо нарисованную вручную маску, либо автоматическую маску, выполняет целенаправленный проход генерации на обрезанной области, затем сшивает результат с бесшовными краями. Результат быстрый, управляемый и визуально согласованный с оригинальной фотографией.
Ключевые модели в процессе инпейтинга Krea 2 Turbo в ComfyUI#
- Krea‑2 Turbo. Диффузионная основа, которая на самом деле синтезирует новый контент внутри маскированной области. Официальная карточка модели: Krea‑2 Turbo на Hugging Face. Репозиторий проекта: krea‑ai/krea‑2.
- Qwen Image VAE. Автоэнкодер, используемый для перехода между пиксельным пространством и латентным пространством, где происходит маскированное сэмплирование. Распространяется с активами Krea‑2: Comfy‑Org/Krea‑2.
- Qwen‑VL текстовый энкодер. Языковой энкодер, который превращает ваш запрос в условие для Krea‑2 Turbo; поставляется с пакетом Krea‑2. Реализация: QwenLM/Qwen2‑VL.
Как использовать процесс инпейтинга Krea 2 Turbo в ComfyUI#
На высоком уровне вы предоставляете входное изображение и маску. Граф обрезает область интереса с небольшим контекстом, подготавливает латенты так, чтобы только маскированная область подвергалась шуму, затем выполняет один проход сэмплинга LanPaint для регенерации цели. Наконец, он изменяет размер и сшивает патч обратно на оригинальный холст и предлагает опциональное увеличение масштаба и сравнение бок о бок.
Модели#
Эта группа загружает диффузионную основу, VAE и текстовый энкодер. UNETLoader (#412) загружает Krea‑2 Turbo, VAELoader (#435) предоставляет Qwen Image VAE, а CLIPLoader (#413) настраивает энкодер запроса, поставляемый с Krea‑2. Обычно вам не нужно ничего менять здесь, если только вы не хотите заменить варианты моделей.
Запрос#
CLIPTextEncode (#411) — это место, где вы пишете, что генерировать внутри маски. Держите инструкцию по редактированию конкретной для объекта и стиля, который вы хотите, и явно указывайте модели сохранять немаскированный контент. ConditioningZeroOut (#414) предоставляет чистый отрицательный путь, чтобы сэмплер оставался сосредоточенным на вашей положительной инструкции.
Обрезка+Изменение размера#
Передайте исходное изображение в LoadImage (#200). Предоставьте маску, либо нарисовав её непосредственно на входе, либо используя SAM3Segment (#454) для автоматического предложения маски из содержимого изображения. Switch mask [Crystools] (#453) позволяет вам выбрать ручной или автоматический режим. CropByMask (#449) изолирует выбранную область, фиксируя координаты обрезки для последующего сшивания. ImageResizeKJv2 (#448) выравнивает обрезку до разрешения, подходящего для генератора, и GrowMaskWithBlur (#452) мягко расширяет и размывает маску, чтобы края естественно сливались после редактирования.
Генерация изображений#
VAEEncode (#436) конвертирует обрезанное изображение в латенты. SetLatentNoiseMask (#430) вводит шум только внутри маски, чтобы немаскированные латенты оставались привязанными к оригиналу. DifferentialDiffusionAdvanced (#447) дополнительно ограничивает обновления маски, снижая дрейф окружающих пикселей. LanPaint_KSampler (#440) выполняет тренировочный бесплатный маскированный сэмплинг, управляемый вашим запросом, создавая регенерированный латентный патч. VAEDecode (#439) возвращает результат обратно в пиксели для проверки и последующих шагов.
Сшивание#
После декодирования ImageResizeKJv2 (#488) сопоставляет отредактированный патч с размерами оригинального изображения, используя сохранённую ширину/высоту, и второй GrowMaskWithBlur (#491) подготавливает маску для композитинга, дружественную к краям. ImageCompositeMasked (#487) сшивает патч обратно на точное место обрезки x/y с ранее сохранёнными координатами, сохраняя глобальную композицию, освещение и цвет. Используйте включённый Image Comparer (rgthree) (#456), чтобы переключаться между до/после для контроля качества.
Масштабирование (опционально)#
Если результат выглядит отлично и вы хотите более высокую детализацию, отправьте композитный выход на CR Upscale Image (#485). Это увеличивает масштаб финального изображения без повторной диффузии, что быстрее и сохраняет вашу композицию стабильной. Второй компаратор (#480) предоставляется для проверки улучшений резкости.
Ключевые узлы в процессе инпейтинга Krea 2 Turbo в ComfyUI#
LanPaint_KSampler(#440). Основной тренировочный бесплатный шаг инпейтинга, который перепрофилирует модель от текста к изображению для локализованных правок без тонкой настройки. Он сэмплирует только там, где позволяет маска, управляемый вашим положительным условием. Для более сильного соблюдения вашей инструкции увеличьте усилия по сэмплингу; для более плотного реализма с фото склоняйтесь к консервативному денойзингу. Реализация: scraed/LanPaint, статья: LanPaint (arXiv).SetLatentNoiseMask(#430). Обеспечивает нанесение шума только внутри маски в латентном пространстве, чтобы фоновые латенты оставались привязанными к оригинальному изображению. Если вы видите непреднамеренные изменения за пределами цели, пересмотрите этот шаг и подтвердите, что ваша маска охватывает только то, что должно измениться.DifferentialDiffusionAdvanced(#447). Ограничивает шаг обновления, чтобы немаскированная область сопротивлялась дрейфу. Когда появляются небольшие ореолы или тональные сдвиги около краёв, настраивайте это в сторону более сильного сохранения, чтобы контекст оставался верным, пока маскированная область развивается.GrowMaskWithBlur(#452). Расширяет и размывает маску, чтобы захватить контактные тени и интеррефлексы вокруг объекта. Если видны швы, немного расширьте и добавьте немного размытия; если правки заходят слишком далеко, уменьшите рост.CropByMask(#449). Обрезает область интереса и фиксирует происхождение обрезки. Это поддерживает генерацию быстрой и фокусированной, и это определяет точное размещение позже. Если редактирование не хватает контекста, добавьте немного больше заполнения, чтобы модель могла видеть соседние поверхности и сигналы освещения.ImageCompositeMasked(#487). Восстанавливает полный холст, помещая отредактированный патч обратно на его оригинальное положение, используя сохранённые координаты. Если вы заметили размытие краёв или несоответствие, подтвердите происхождение обрезки и что маска для сшивания соответствует разросшейся маске из фазы генерации.SAM3Segment(#454). Создаёт автоматическую сегментационную маску из входного изображения. Это удобно для быстрого старта; при необходимости уточните кистью, чтобы затянуть выбор вокруг сложных границ, таких как волосы, спицы или филигрань.
Дополнительные возможности#
- Создавайте запросы, которые закрепляют сцену. Точно опишите заменяемый объект, затем явно укажите модели сохранить все немаскированные детали и оригинальное освещение, угол камеры и масштаб.
- Начинайте с немного более крупной маски, чем объект, чтобы захватить контактные тени и отражения; затем точно настраивайте рост и размытие для бесшовных краёв.
- Если патч выглядит "слишком новым" или неуместным, уменьшите агрессивность в сэмплере или усилите Дифференциальную диффузию, чтобы больше оригинальной микротекстуры сохранялось.
- Используйте включенные компараторы до/после во время итерации и увеличивайте масштаб только тогда, когда вы довольны композицией и реализмом.
- Для лучшей повторяемости между запусками сохраняйте одно и то же семя, пока уточняете границы маски, формулировку запроса и заполнение обрезки.
Ссылки и благодарности: карточка модели Krea‑2 Turbo Hugging Face, репозиторий проекта krea‑ai/krea‑2; реализация LanPaint GitHub и статья arXiv.
Признания#
Этот процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим Krea AI за проект Krea 2 и модель Krea 2 Turbo, scraed за расширение LanPaint ComfyUI и авторов LanPaint за статью LanPaint за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Altruistic_Tax1317/Krea2 процесс инпейтинга
- Документы / Примечания к выпуску: Тема на Reddit
- Krea AI/Krea 2
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Raw, krea/Krea-2-Turbo
- Krea/Krea-2-Turbo
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Turbo
- scraed/LanPaint
- GitHub: scraed/LanPaint
- arXiv: arXiv:2502.03491
- Авторы LanPaint/LanPaint (статья)
- arXiv: arXiv:2502.03491
Примечание: использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
