Omni Kontext | Бесшовная интеграция сцены

Рабочий процесс композиции изображений Omni Kontext для ComfyUI

Этот рабочий процесс позволяет добавить субъект в новую сцену с сильным сохранением идентичности и контекста, используя Omni Kontext. Он сочетает в себе патчи модели Flux Omni Kontext с условной поддержкой, чтобы предоставленный персонаж или продукт естественно вписывался в целевой фон, соблюдая вашу подсказку. Включены два параллельных пути: стандартный путь Flux для максимальной точности и путь Nunchaku для более быстрого и экономичного по памяти выборки с квантизированными весами.

Создатели, которые хотят иметь постоянные брендовые активы, замены продуктов или размещение персонажей, найдут это особенно полезным. Вы предоставляете чистое изображение субъекта, изображение сцены и короткую подсказку, и график обрабатывает извлечение контекста, руководство, стилизацию LoRA и декодирование для создания согласованного композита.

Ключевые модели в рабочем процессе Comfyui Omni Kontext

• FLUX.1 Dev – Основной трансформатор диффузии, используемый для генерации. Он предлагает сильное соблюдение подсказок и современное поведение выборщика, подходящее для композиции с учетом контекста.
• Flux text encoders (CLIP-L и T5-XXL) – Парные энкодеры, которые токенизируют и внедряют ваш текст в условие, подходящее для FLUX. Рабочий процесс загружает clip_l.safetensors и t5xxl варианты, оптимизированные для Flux.
• Omni Kontext nodes – Пользовательские узлы, которые патчат модель и условие, чтобы внедрять контекст из вашего латентного субъекта в финальный поток руководства.
• Nunchaku Flux DiT – Опциональный загрузчик, поддерживающий FP16/BF16 и INT4 квантизированные веса FLUX для скорости и меньшего использования VRAM при сохранении конкурентного качества.
• Lumina VAE – Надежный VAE, используемый для кодирования изображений субъекта и сцены и декодирования финальных результатов. Рабочий процесс ссылается на ae.safetensors из Lumina Image 2.0 repackaged.

Как использовать рабочий процесс Comfyui Omni Kontext

График имеет две зеркальные дорожки: верхняя дорожка – это стандартный путь Flux Omni Kontext, а нижняя дорожка – путь Nunchaku. Оба принимают изображение субъекта и изображение сцены, создают условие с учетом контекста и выбирают с Flux для создания композита.

Входные данные

Предоставьте два изображения: чистый снимок субъекта и целевую сцену. Субъект должен быть хорошо освещен, центрирован и не загорожен для максимальной передачи идентичности. Сцена должна примерно соответствовать вашему предполагаемому углу камеры и освещению. Загрузите их в узлы с пометками “Character or Subject” и “Scene”, затем сохраняйте их постоянными в течение запусков, пока вы работаете над подсказками.

Загрузка моделей

Стандартная дорожка загружает Flux с помощью UNETLoader (#37) и применяет патч модели Omni Kontext с помощью OminiKontextModelPatch (#194). Дорожка Nunchaku загружает квантизированную модель Flux с помощью NunchakuFluxDiTLoader (#217) и применяет NunchakuOminiKontextPatch (#216). Обе дорожки используют одни и те же текстовые энкодеры через DualCLIPLoader (#38) и один и тот же VAE через VAELoader (#39 или #204). Если вы планируете использовать стили LoRA или идентичности, оставьте их подключенными в этом разделе, чтобы они влияли на веса модели перед выборкой.

Подсказка

Пишите лаконичные подсказки, которые говорят системе, что делать с субъектом. В верхней дорожке CLIP Text Encode (Positive Prompt) (#6) управляет вставкой или стилизацией, а в нижней дорожке CLIP Text Encode (Positive Prompt) (#210) выполняет ту же роль. Подсказки вроде “добавить персонажа в изображение” или “она носит эту куртку” работают хорошо. Избегайте чрезмерно длинных описаний; придерживайтесь основных моментов, которые вы хотите изменить или сохранить.

Условие

Каждая дорожка кодирует субъекта и сцену в латенты с помощью VAEEncode, затем объединяет эти латенты с вашим текстом через ReferenceLatent и OminiKontextConditioning (#193 в верхней дорожке, #215 в нижней дорожке). Это шаг Omni Kontext, который внедряет значимые идентичности и пространственные сигналы из ссылки в поток условия. После этого FluxGuidance (#35 верхняя, #207 нижняя) устанавливает, насколько строго модель следует за композитным условием. Отрицательные подсказки упрощаются с помощью ConditioningZeroOut (#135, #202), чтобы вы могли сосредоточиться на том, что вы хотите, а не на том, чего избегать.

Выбор Loras в зависимости от субъекта

Если вашему субъекту полезен LoRA, подключите его перед выборкой. Стандартная дорожка использует LoraLoaderModelOnly (#201 и сопутствующие) и дорожка Nunchaku использует NunchakuFluxLoraLoader (#219, #220, #221). Используйте LoRAs субъекта для постоянства идентичности или наряда и LoRAs для направления искусства. Держите силы умеренными, чтобы сохранить реализм сцены, одновременно обеспечивая черты субъекта.

Nunchaku

Обратитесь к группе Nunchaku, когда вам нужны более быстрые итерации или ограничен VRAM. NunchakuFluxDiTLoader (#217) поддерживает настройки INT4, которые значительно сокращают память, сохраняя при этом поведение “Flux Omni Kontext” через NunchakuOminiKontextPatch (#216). Вы можете все еще использовать те же подсказки, входные данные и LoRAs, затем выбирать с KSampler (#213) и декодировать с VAEDecode (#208), чтобы сохранить результаты.

Ключевые узлы в рабочем процессе Comfyui Omni Kontext

OminiKontextModelPatch (#194)

Применяет модификации модели Omni Kontext к основе Flux, чтобы контекст ссылки учитывался во время выборки. Оставьте его включенным, когда вы хотите, чтобы идентичность субъекта и пространственные сигналы переносились в генерацию. Сочетайте с умеренной силой LoRA при использовании LoRAs для персонажей или продуктов, чтобы патч и LoRA не конкурировали.

OminiKontextConditioning (#193, #215)

Объединяет ваше текстовое условие с латентами ссылки из субъекта и сцены. Если идентичность дрейфует, увеличьте акцент на ссылке субъекта; если сцена подавляется, слегка уменьшите его. Этот узел является сердцем композита Omni Kontext и обычно требует только небольших корректировок, когда ваши входные данные чисты.

FluxGuidance (#35, #207)

Контролирует, насколько строго модель следует за композитным условием. Более высокие значения приближают к подсказке и ссылке за счет спонтанности; более низкие значения позволяют больше разнообразия. Если вы видите перегруженные текстуры или потерю гармонии со сценой, попробуйте небольшое снижение здесь.

NunchakuFluxDiTLoader (#217)

Загружает квантизированный вариант Flux DiT для скорости и меньшего использования памяти. Выберите INT4 для быстрых просмотров и FP16 или BF16 для финального качества. Сочетайте с NunchakuFluxLoraLoader, когда вам нужна поддержка LoRA в дорожке Nunchaku.

Опциональные дополнения

• Используйте плотные обрезки субъекта с чистыми фонами, чтобы улучшить захват идентичности во время кодирования VAE.
• Держите подсказки короткими и конкретными. Предпочитайте “добавить продукт на стол” вместо длинных списков стилей.
• Если субъект выглядит наклеенным, немного уменьшите силу LoRA и слегка снизьте руководство, чтобы сцена восстановила освещение и перспективу.
• Для быстрых раундов, итерация на дорожке Nunchaku, затем переключитесь обратно на стандартную дорожку Flux Omni Kontext для финальных рендеров.
• Сохраните несколько промежуточных семян, которые хорошо сработали, чтобы вы могли повторно использовать их, уточняя силу LoRA и руководство.

Благодарности

• Omni Kontext от Saquib764. Этот рабочий процесс адаптирует концепции и компоненты из проекта, чтобы обеспечить композицию Flux Omni Kontext в ComfyUI.