Замена персонажей в видео (MoCha) | Инструмент для реалистичной замены

Рабочий процесс замены персонажей в видео (MoCha) для ComfyUI

Этот рабочий процесс предоставляет полный цикл замены персонажей в видео (MoCha): замените исполнителя в реальном видео на нового персонажа, сохраняя движение, освещение, перспективу камеры и непрерывность сцены. Построен на основе предварительного просмотра Wan 2.1 MoCha 14B, он выравнивает эталонную идентичность с исходным исполнением, затем синтезирует согласованный, отредактированный клип и дополнительное сравнение бок о бок. Он разработан для кинематографистов, художников VFX и создателей ИИ, которым нужны точные, высококачественные замены персонажей с минимальной ручной доработкой.

Конвейер сочетает в себе надежное маскирование первого кадра с Segment Anything 2 (SAM 2), осведомленные о движении встраивания изображений MoCha, выборку/декодирование WanVideo и дополнительную помощь в портретах, которая улучшает сохранение лица. Вы предоставляете исходное видео и одно или два эталонных изображения; рабочий процесс создает готовое видео с заменой плюс сравнение A/B, что делает итеративную оценку замены персонажей в видео (MoCha) быстрой и практичной.

Ключевые модели в рабочем процессе замены персонажей в видео (MoCha) в ComfyUI

• Wan 2.1 MoCha 14B preview. Основной генератор видео для замены персонажей; обеспечивает временно согласованный синтез из встраиваний изображений MoCha и текстовых подсказок. Вес модели распространяется в формате WanVideo Comfy от Kijai, включая масштабированные варианты fp8 для эффективности. Hugging Face: Kijai/WanVideo_comfy, Kijai/WanVideo_comfy_fp8_scaled

• MoCha (Orange‑3DV‑Team). Метод кондиционирования идентичности/движения и эталонная реализация, вдохновившая этап встраивания, используемый здесь; полезно для понимания выбора эталона и выравнивания позы для замены персонажей в видео (MoCha). GitHub, Hugging Face

• Segment Anything 2 (SAM 2). Высококачественная сегментация, управляемая точками, для изоляции актера в первом кадре; чистые маски имеют решающее значение для стабильных, без артефактов замен. GitHub: facebookresearch/segment-anything-2

• Qwen‑Image‑Edit 2509 + Lightning LoRA. Дополнительная помощь для одного изображения, которая генерирует чистый, крупный портрет для использования в качестве второго эталона, улучшая сохранение идентичности лица в сложных кадрах. Hugging Face: Comfy‑Org/Qwen‑Image‑Edit_ComfyUI, lightx2v/Qwen‑Image‑Lightning

• Wan 2.1 VAE. Видео VAE, используемая этапами выборки/декодирования Wan для эффективной обработки латентов. Hugging Face: Kijai/WanVideo_comfy

Как использовать рабочий процесс замены персонажей в видео (MoCha) в ComfyUI

Общая логика

• Рабочий процесс берет исходный клип, подготавливает маску первого кадра и кодирует ваши эталонные персонажи в встраивания изображений MoCha. Затем Wan 2.1 выбирает отредактированные кадры и декодирует их в видео. Параллельно небольшая ветвь редактирования изображений может сгенерировать портрет, который будет использоваться в качестве дополнительного второго эталона для деталей лица. График также отображает сравнение бок о бок для быстрой оценки вашего результата замены персонажей в видео (MoCha).

Исходное видео

• Загрузите видео в "Исходное видео". Рабочий процесс нормализует кадры (по умолчанию обрезка 1280×720) и автоматически сохраняет частоту кадров клипа для окончательного экспорта. Первый кадр выставлен для инспекции и последующего маскирования. Узел предварительного просмотра показывает необработанные входные кадры, чтобы вы могли подтвердить обрезку и экспозицию перед продолжением.

Маска первого кадра

• Используйте интерактивный редактор точек, чтобы щелкнуть положительные точки на актере и отрицательные точки на фоне; SAM 2 преобразует эти клики в точную маску. Небольшой шаг увеличения и размытия расширяет маску, чтобы защитить от ореолов краев и движения между кадрами. Полученное матовое изображение предварительно просматривается, и та же маска отправляется на этап встраивания MoCha. Хорошее маскирование в этой группе существенно улучшает стабильность в замене персонажей в видео (MoCha).

ref1

• "ref1" — это ваше основное изображение идентичности персонажа. Рабочий процесс удаляет фон, центрирует обрезку и изменяет размер в соответствии с рабочим разрешением видео. Для достижения наилучших результатов используйте эталонное изображение с чистым фоном, поза которого примерно соответствует исходному актеру в первом кадре; кодировщик MoCha выигрывает от схожей точки зрения и освещения.

ref2 (необязательно)

• "ref2" необязательно, но рекомендуется для лиц. Вы можете предоставить портрет напрямую или позволить рабочему процессу сгенерировать его в ветке выборки ниже. Изображение удаляется с фона и изменяется по размеру, как ref1. При наличии ref2 усиливает черты лица, чтобы идентичность удерживалась во время движения, перекрытий и изменений перспективы.

Шаг 1 - Загрузка моделей

• Эта группа загружает Wan 2.1 VAE и модель предварительного просмотра Wan 2.1 MoCha 14B, а также дополнительный WanVideo LoRA для дистилляции. Эти ресурсы управляют основным этапом выборки видео. Набор моделей здесь требует много VRAM; позже включен помощник по замене блоков, чтобы разместить большие последовательности на скромных GPU.

Шаг 2 - Загрузите изображение для редактирования

• Если вы предпочитаете создать ref2 из собственного снимка, поместите его сюда. Ветка масштабирует изображение и направляет его в кодировщик Qwen для кондиционирования. Вы можете пропустить всю эту ветку, если у вас уже есть хороший портрет лица.

Шаг 4 - Подсказка

• Предоставьте короткую текстовую подсказку, описывающую предполагаемый крупный портрет (например, "Следующая сцена: Крупный план лица персонажа"). Qwen‑Image‑Edit использует это для уточнения или синтеза чистого изображения лица, которое становится ref2. Оставьте описание простым; это помощь, а не полная рестайлинг.

Сцена 2 - Выборка

• Ветка Qwen запускает быструю выборку для генерации одного портретного изображения под Lightning LoRA. Это изображение декодируется, предварительно просматривается и, после легкого удаления фона, передается как ref2. Этот шаг часто повышает точность лица, не изменяя ваш основной вид замены персонажей в видео (MoCha).

Mocha

• Этап MochaEmbeds кодирует исходное видео, маску первого кадра и ваши эталонные изображения в встраивания изображений MoCha. Встраивания захватывают идентичность, текстуру и локальные признаки внешности, уважая оригинальную траекторию движения. Если ref2 существует, он используется для усиления деталей лица; в противном случае, только ref1 несет идентичность.

Модель Wan

• Загрузчик модели Wan загружает предварительный просмотр Wan 2.1 MoCha 14B в память и (опционально) применяет LoRA. Инструмент замены блоков подключен, чтобы вы могли обменивать скорость на память при необходимости. Этот выбор модели определяет общую емкость и согласованность замены персонажей в видео (MoCha).

Выборка Wan

• Выборщик использует модель Wan, встраивания изображений MoCha и любые текстовые встраивания для генерации отредактированных латентных кадров, затем декодирует их обратно в изображения. Создаются два вывода: окончательное видео с заменой и сравнение бок о бок с оригинальными кадрами. Частота кадров передается из загрузчика, чтобы темп движения автоматически соответствовал источнику.

Ключевые узлы в рабочем процессе замены персонажей в видео (MoCha) в ComfyUI

• MochaEmbeds (#302). Кодирует исходный клип, маску первого кадра и эталонные изображения в встраивания изображений MoCha, которые управляют идентичностью и внешностью. Предпочтите позу ref1, которая соответствует первому кадру, и включите ref2 для чистого лица, если вы видите дрейф. Если края мерцают, немного увеличьте маску перед встраиванием, чтобы избежать утечки фона.

• Sam2Segmentation (#326). Преобразует ваши положительные/отрицательные клики в маску первого кадра. Приоритетом являются чистые края вокруг волос и плеч; добавьте несколько отрицательных точек, чтобы исключить близлежащие реквизиты. Увеличение маски на небольшое количество после сегментации помогает стабильности, когда актер движется.

• WanVideoSampler (#314). Выполняет основную работу по замене персонажей в видео (MoCha), удаляя шум из латентов в кадры. Больше шагов улучшает детализацию и временную стабильность; меньше шагов ускоряет итерацию. Держите планировщик последовательным между запусками, когда вы сравниваете изменения эталонов или масок.

• WanVideoSetBlockSwap (#344). Когда VRAM ограничен, включите более глубокую замену блоков, чтобы разместить путь Wan 2.1 MoCha 14B на меньших GPU. Ожидайте некоторой потери скорости; взамен вы можете сохранить разрешение и длину последовательности.

• VHS_VideoCombine (#355). Записывает окончательный MP4 и встраивает метаданные рабочего процесса. Используйте ту же частоту кадров, что и у источника (уже подключена), и вывод yuv420p для широкой совместимости с проигрывателями.

Дополнительные возможности

• Советы для чистых замен

  • Используйте ref1 с простым фоном и позой, близкой к первому кадру.
  • Держите ref2 в виде четкого, фронтального портрета лица для стабилизации идентичности.
  • Если вы видите ореолы краев, расширьте и слегка размыть маску первого кадра, затем повторно встраивайте.
  • Тяжелые сцены выигрывают от помощника по замене блоков; в противном случае держите его выключенным для скорости.
  • Рабочий процесс рендерит видео сравнения A/B; используйте его для быстрой оценки изменений.

• Полезные ссылки

  • MoCha от Orange‑3DV‑Team: GitHub, Hugging Face
  • Wan 2.1 MoCha 14B (формат Comfy): Kijai/WanVideo_comfy, Kijai/WanVideo_comfy_fp8_scaled
  • Segment Anything 2: facebookresearch/segment-anything-2
  • Qwen Image Edit + Lightning LoRA: Comfy‑Org/Qwen‑Image‑Edit_ComfyUI, lightx2v/Qwen‑Image‑Lightning

Благодарности

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим "Benji’s AI Playground" за их вклад и поддержку замены персонажей в видео (MoCha). Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.

Ресурсы

• Авторы "Video Character Replacement (MoCha)"/Video Character Replacement (MoCha)
  • Документация / Примечания к выпуску @Benji’s AI Playground: YouTube видео

Примечание: использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.