Замените персонажа MiniMax H3 на SAM3#
Замена персонажа MiniMax H3 на SAM3 - это рабочий процесс MDMZ в ComfyUI для замены исполнителя на экране в видео на референсного персонажа с сохранением движения источника, времени, движения камеры и, при необходимости, оригинального фона. Он использует SAM3 для изоляции объекта и создает инвертированное руководство по движению, чтобы MiniMax H3 следовал за движением и кадрированием без копирования идентичности. Результаты могут сохранять детали от исполнителя источника или изменять части фона, поэтому просмотрите весь клип на идентичность, руки, одежду и согласованность сцены.
Рабочий процесс использует бесплатный маршрут подсказок: запустите предоставленную подсказку как есть или вручную вставьте структурированную подсказку, сгенерированную в бесплатном приложении Gemini для ваших собственных входных данных. Сохраненный по умолчанию использует Normal режим, фон видео источника и бесшумный вывод. Включены опциональная передача звука из источника и Turbo режим предварительного просмотра, а рабочий процесс корректирует длину клипа до совместимого с моделью количества кадров.
Проверенные примеры используют бесплатную ветвь подсказок, Normal режим на 20 шагов и видео фоны. Turbo, фоны изображений и аудио/синхронизация губ включены, но не использовались в этих примерах. "Бесплатная подсказка" относится к маршруту подсказок; использование RunComfy GPU оплачивается отдельно.
Ключевые модели в рабочем процессе ComfyUI MiniMax H3 Character Swap with SAM3#
- MiniMax H3 Reference‑to‑Video базовая модель (Ref2VA/Ref2V). Диффузионная основа, которая превращает вашу подсказку, референсные изображения и руководство по движению в последовательные видеокадры, отслеживая камеру и время. Файлы модели и релиз размещены в официальном репозитории MiniMax H3. MiniMax H3 на Hugging Face
- MiniMax H3 Video VAE fp16 и Audio VAE fp32. Видео VAE кодирует и декодирует латентные кадры эффективно; аудио VAE обрабатывает аудио латенты для аудио-способного пути H3. Его наличие не гарантирует качество синхронизации губ. Включено в релиз MiniMax H3. MiniMax H3 на Hugging Face
- Qwen3‑VL 32B NVFP4 AWQ текстовый энкодер. Упакован с MiniMax H3 для кодирования длинных, структурированных подсказок и поддержания сильного выравнивания текст‑видео. См. файлы модели MiniMax H3 для используемого текстового энкодера. MiniMax H3 на Hugging Face
- SAM 3.1 Multiplex. Обеспечивает надежную сегментацию с подсказками для нахождения заменяемого человека и создания согласованной маски для каждого кадра, которая управляет руководством по движению. SAM 3.1 на Hugging Face
- MiniMax H3 Ref2V Turbo LoRA v0.1. Опциональный LoRA, который ускоряет предварительные просмотры с малым количеством шагов, сохраняя общий вид H3. Лучше всего использовать для итерации, затем переключиться обратно на Normal для финальных рендеров. MiniMax H3 LoRAs
Как использовать рабочий процесс ComfyUI MiniMax H3 Character Swap with SAM3#
На высоком уровне вы предоставляете короткий клип источника и одно изображение персонажа. Рабочий процесс обнаруживает и инвертирует только исполнителя, чтобы создать руководство по движению, комбинирует предоставленную или вставленную подсказку с вашим фоновым настроением, затем MiniMax H3 рендерит замену. Звук источника может опционально проходить через вывод; качество синхронизации губ не было проверено в этих бесшумных примерах.
1 · ВХОДНЫЕ ДАННЫЕ Загрузите ваш клип движения в загрузчик видео (#970), который конвертирует его в 24 кадра в секунду и обрежьте до нужного раздела. Сохраненный пример использует 124 кадра (около 5.17 секунд). Добавьте изображение персонажа в загрузчик изображений (#496). Установите выходной аспект и мегапиксели с помощью селектора разрешения (#501). Используйте предоставленную подсказку или вставьте одну для ваших входных данных в группе 3B, выберите скорость рендеринга (Normal качество или Turbo предварительные просмотры), выберите, будет ли фон из видео источника или из изображения персонажа, и решите, должен ли звук источника проходить для синхронизации губ.
2 · РУКОВОДСТВО ПО ДВИЖЕНИЮ Детектор SAM3 (#503) находит объект на основе короткой текстовой метки, такой как человек или мужчина:1. Используйте предварительный просмотр маски (#492), чтобы подтвердить, что цель полностью белая. Рабочий процесс инвертирует только маскированного исполнителя, чтобы H3 считывал движение и кадрирование с краев и теней, а не с идентичности. Отрегулируйте пиксельный бюджет руководства по движению с помощью разрешения руководства по движению (#456), чтобы обменять скорость на точность. Специальный переключатель позволяет вам создать руководство по движению, исключающее фон видео, когда вы делаете перенос движения с изображения.
3B · БЕСПЛАТНАЯ ПОДСКАЗКА Запустите предоставленную подсказку как есть или скопируйте включенные инструкции Gemini из группы 3 и попросите бесплатное приложение Gemini проанализировать ваш клип и изображение персонажа. Используйте тот же обрезанный раздел, который вы будете генерировать, затем вставьте ответ в вашу подсказку H3 (#910). Рабочий процесс автоматически очищает заголовки и кодовые ограждения, чтобы текст соответствовал ожидаемой структуре H3.
3C · ФОН ИЗ ВИДЕО (замена персонажа) Когда вы хотите чистую замену персонажа в оригинальной сцене, рабочий процесс дополняет вашу подсказку правилами, которые просят H3 сохранить фон и освещение исходного клипа. Он говорит H3 сохранить геометрию установки, объекты и градацию, и переосветить нового персонажа, чтобы соответствовать кадру. Руководство по движению включает инвертированного исполнителя поверх оригинального кадра, чтобы подсказки окружающей среды оставались видимыми для модели.
3C · ФОН ИЗ ИЗОБРАЖЕНИЯ (перенос движения) Для переноса движения на неподвижный фоновый референс, подсказка переписывается, чтобы сохранить окружающую среду и освещение из изображения персонажа и игнорировать настройки видео источника. Конфликтующие линии освещения и кадрирования видео удаляются. Руководство по движению перекомпозируется на нейтральном холсте, чтобы использовались только движение и путь камеры, чтобы уменьшить влияние фона видео источника; этот опциональный режим не был проверен в предоставленных примерах.
3D · КОНЕЧНЫЙ ТЕКСТ → H3 Переключатель фона объединяет правильный набор правил и показывает Финальную подсказку, отправленную в H3, чтобы вы могли проверить её. Эта точная строка подается в генерацию.
4 · ГЕНЕРАЦИЯ MiniMax H3 Ref → Video (#464) принимает структурированную подсказку, изображение персонажа, кадры руководства по движению, ширину и высоту из селектора разрешения и автоматически проверенную длину. Сохраненный Normal режим использует 20 шагов выборки. Turbo режим включает Ref2V Turbo LoRA с низким количеством шагов для быстрых предварительных просмотров, плюс сдвиг сигмы, настроенный для видео и аудио; переключатели гайдера, самплера и шагов выбирают активный путь. Семя контролирует вариацию выборки; его изменение может повлиять на идентичность, движение и детали фона. Пользовательский самплер сочетает шум, расписание и гайдер с латентным клипом.
5 · ВЫВОД Узел очистки VRAM запускается перед декодированием, чтобы уменьшить давление на память; он не гарантирует свободу от ошибок нехватки памяти. Видео VAE декодирует латенты в кадры, и Save Video записывает MP4. Выход по умолчанию бесшумный; звук источника прикрепляется только при включении звукового маршрута и наличии аудиотрека во входных данных.
Ключевые узлы в рабочем процессе ComfyUI MiniMax H3 Character Swap with SAM3#
MiniMax H3 Ref → Video (#464) Основной генератор, который связывает вашу подсказку, референсное изображение и руководство по движению. Держите подсказку структурированной и конкретной, и предоставьте одно сильное референсное изображение для идентичности. Ширина и высота берутся из селектора разрешения, чтобы соотношение сторон соответствовало вашему намерению. Длина определяется автоматическим счетчиком кадров, чтобы удовлетворить шаг H3; включайте звуковой маршрут только для клипов со звуком и просматривайте любую синхронизацию речи отдельно.
SAM3 Detect person (#503) Запускает сегментацию SAM 3.1 с короткой текстовой подсказкой, чтобы изолировать правильного исполнителя. Если в сцене несколько людей, добавьте быстрое уточнение, например, мужчина:1 или женщина в красном:1. Сначала проверьте предварительный просмотр маски; если края отсутствуют или происходит перелив, уточните подсказку или настройте параметры детектора. Чистая маска - самый быстрый путь к стабильным заменам.
Motion Guide Resolution (#456) Устанавливает общий пиксельный бюджет, используемый руководством по движению. Более низкие значения уменьшают стоимость обработки и детализацию руководства. Более высокие значения сохраняют больше пространственной детализации в руководстве, но требуют больше обработки; улучшение качества вывода не гарантируется. Увеличивайте постепенно и следите за производительностью и стабильностью.
Turbo LoRA (Ref2V) (#950) Включает быстрый путь предварительного просмотра, который сочетается с планировщиком низких шагов и настроенным сдвигом сигмы для видео и аудио. Используйте его для быстрой итерации подсказок, кадрирования и движения. Для финальных кадров переключайтесь обратно на Normal шаги, чтобы восстановить полную точность MiniMax H3.
Valid frame count (auto) (#481) Автоматически округляет ваш обрезанный клип до подходящего для модели количества кадров, чтобы выборка оставалась стабильной. Типичные длины, которые используют люди, включают 107, 124, 158, 209 и 362 кадра, что примерно соответствует 4.5 с, 5 с, 6.6 с, 8.7 с и 15 с при 24 кадрах в секунду. Установите начало и конец визуально в загрузчике и позвольте этому узлу управлять точным количеством.
Опциональные дополнения#
- Сначала проверьте маску; объект должен быть полностью белым в предварительном просмотре.
- Держите частоту кадров на уровне 24 кадров в секунду для согласованного движения и синхронизации губ.
- Сохраненный звуковой маршрут выключен. Включайте его только для клипов со звуком; просматривайте синхронизацию речи, а не предполагая, что она будет соответствовать.
- Используйте Turbo для быстрых предварительных просмотров, затем переключитесь на Normal для финальных рендеров.
- Для замены персонажа выберите Background from Video; для переноса движения выберите Background from Image.
- Если бесплатное приложение возвращает текст с кодовыми ограждениями или странными заголовками, все равно вставьте его; рабочий процесс автоматически очищает формат.
- Измените семя, чтобы исследовать другой результат, затем перепроверьте движение, кадрирование, идентичность и детали фона.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы выражаем благодарность MDMZ за учебник и руководство по настройке рабочего процесса H3 Character Replacement, Comfy-Org за модели MiniMax-H3 для ComfyUI, и команде ComfyUI за официальный MiniMax H3 Video Generation Guide за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- MDMZ/MDMZ учебник по рабочему процессу
- Документы / Примечания к выпуску: YouTube
- MDMZ/MDMZ рабочий процесс и руководство
- Документы / Примечания к выпуску: Patreon post
- Comfy-Org/MiniMax H3 модели для ComfyUI
- Hugging Face: Comfy-Org/MiniMax-H3
- ComfyUI/ComfyUI MiniMax H3 руководство
- GitHub: comfy-org/docs
- Документы / Примечания к выпуску: ComfyUI Docs
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и сопровождающими.