МиниМакс H3 Захват Производительности: Перенос Движений ИИ

МиниМакс H3 Захват Производительности для ComfyUI#

МиниМакс H3 Захват Производительности превращает вашу игру в нового персонажа, сохраняя ваше оригинальное аудио. Рабочий процесс переносит мимику, формы рта, направление глаз и движения головы с исходного клипа на целевое существо или персонажа в полный рост, затем композитирует результат обратно в пластину. Построенный вокруг видео с референсами MiniMax-H3, автоматического маскирования лиц и опционального направления поз, он был протестирован на креативных заменах, таких как волк, робот и инопланетянин, сохраняя сцену и саундтрек. Рабочий процесс от Mickmumpitz.

Этот рабочий процесс MiniMax H3 Захват Производительности для ComfyUI — это простая версия “рендер”: одна камера по умолчанию, опциональная камера на голову и ручная маска, опциональное управление позой и два сохранённых видео (финальный рендер с аудио плюс сравнительный монтаж).

Ключевые модели в рабочем процессе Comfyui MiniMax H3 Захват Производительности#

• MiniMax-H3 Reference-to-Video diffusion UNet (minimax_h3_ref2va_pruned_int8_convrot). Основной генератор, который объединяет референсы, подсказку и аудио в видео латенты. Файлы модели
• Qwen3‑VL 32B MiniMax‑H3 текстовый энкодер (qwen3vl_32b_minimax_h3_nvfp4_awq). Кодирует подсказку для управления идентичностью и стилем игры. Файл модели
• MiniMax‑H3 Video VAE FP16 и Audio VAE FP32. Видео VAE декодирует изображение латенты; Audio VAE управляет синхронизацией губ и таймингом исполнения. VAEs
• MiniMax‑H3 Turbo 8‑step 768p LoRA. Ускоряет выборку H3 для быстрого, качественного рендера. Карточка модели
• MiniMax‑H3 Character Swap LoRA. Усиливает устойчивые замены головы и тела для стилизованных или существоподобных образов. Карточка модели
• FUN ControlNet Union 2.0 модельный патч для H3. Добавляет опциональное управление позой тела от скелетов. Файл модели
• Segment Anything Model 3.1 Multiplex. Создаёт автоматические маски для области, которую нужно регенерировать. Контрольная точка
• DWPose (через ControlNet Aux). Обнаруживает скелеты тела и рук для управления позами и логики обрезки головы. Репозиторий

Как использовать рабочий процесс Comfyui MiniMax H3 Захват Производительности#

Рабочий процесс идёт слева направо через восемь обозначенных групп. Начните с загрузки вашего клипа с игрой и, опционально, ручной маски, крупного плана камеры на голову и листа персонажа. Затем конвейер подготавливает пластину и маску, строит референс игры с вашего лица, опционально направляет позу тела, рендерит с MiniMax H3 и сохраняет сравнительный монтаж.

1 ЗАГРУЗИТЬ МОДЕЛИ#

Эта группа загружает MiniMax‑H3 UNet, текстовый энкодер и VAEs, затем применяет Turbo и Character‑Swap LoRAs. UNETLoader (#1001) и CLIPLoader (#1006) предоставляют основной генератор и энкодер подсказок. LoraLoaderModelOnly (#1003, #1004) подключает адаптеры скорости и замены. BlockSparseAttention (#1009) и MiniMaxH3SigmaShift (#1002) подключаются для ускорения выборки и балансировки аудио-видео управления.

2 ВАШ ДУБЛЬ#

Используйте BODY CLIP (your performance + voice) (#1012) для загрузки основного дубля с встроенным моно или стерео аудио. Вы можете добавить CREATURE SHEET через LoadImage (#1016) для фиксации внешнего вида на всех кадрах и установить подсказку в PROMPT (the swap, the creature, its acting) (#1018). Опциональные входы включают крупный план HEAD‑CAM VHS_LoadVideo (#1013) для маленьких лиц на общих планах и видео MANUAL MASK VHS_LoadVideo (#1014), если вы хотите заменить автоматическое маскирование. Здесь находятся быстрые настройки: WHAT GETS REPLACED (head / person) (#1017), SEED (#1019), GROW MASK px (#1020), FACE CROP (#1021) и PERSON (#1022). Переключатели узлов (NO HEAD‑CAM #1227, NO MANUAL MASK #1228, NO CHARACTER SHEET #1229, NO POSE CONTROL #1230) делают стандартные настройки однокликовыми.

3 ПОДГОТОВКА#

WORKING SIZE (draft: 896x512) (#1028) нормализует входной материал до стабильного разрешения, а length: next 17k+5 up (#1030) ограничивает выполнение до короткой, энергичной длины предпросмотра. PREPARE (plate + regenerated area) (#1231) строит чистую пластину, отслеживает, что заменить с помощью SAM 3, используя ваш текст из WHAT GETS REPLACED, и, если присутствует, загружает вашу ручную маску. Результат — видео пластина плюс одна или две маски, готовые к управляемой регенерации.

4 РЕГЕНЕРИРУЕМАЯ ОБЛАСТЬ#

REGENERATED AREA (grow, blocks, hold) (#1233) — это логика маски, которая решает, где MiniMax H3 может рисовать. Она расширяет маску, чтобы такие особенности, как уши или рога, имели пространство, преобразует её в временные блоки для стабилизации движения и удерживает изменения на несколько кадров, чтобы детали не мерцали. Если вы предоставили ручную маску, [MANUAL MASK] композитирует (#1074 to #1105) её как нарисованную.

5 РЕФЕРЕНС ИГРЫ#

ACTING REFERENCE (your face on grey | head‑cam) (#1232) находит выбранного человека, обрезает область лица с помощью DWPose и создаёт референсное видео, которое передаёт ваши выражения, линии глаз и вращения головы. При включенной камере на голову, оно строит разделённый экран, чтобы направление головы следовало за широкой камерой, в то время как мелкая мимика следует за камерой на голову. Предпросмотр PREVIEW: acting reference (<Video 1>) (#1130) позволяет подтвердить отслеживание перед рендером.

6 УПРАВЛЕНИЕ ПОЗОЙ (опционально)#

Для замен существ в полный рост, [POSE] DWPose skeleton (#1131) извлекает ключевые точки тела и рук с вашей пластины. MiniMaxH3FunControlNetApply (#1132) вводит это движение в H3 как патч, чтобы туловище и конечности следовали за вашим исполнением, в то время как лицо остаётся управляемым референсом. Используйте это, когда руки и ноги должны оставаться последовательными между кадрами; оставьте выключенным для чистых замен головы и для четвероногих животных.

7 РЕНДЕР#

H3 references + prompt MiniMaxH3ReferenceToVideo (#1134) объединяет подсказку, лист персонажа, референс игры, аудио и рабочий размер для создания условий H3 и начального латента. H3 RENDER (#1234) затем вводит латент пластины, применяет маску регенерации, чтобы изменялась только маскированная область, и выбирает с помощью расписания Turbo. Выход — это чистый рендер и предпросмотр “показать регенерацию”; SAVE: H3 render 1344x768 + voice (#1150) записывает MP4 с вашим оригинальным аудио.

8 СРАВНИТЕЛЬНОЕ ВИДЕО#

COMPARISON VIDEO (#1235) складывает пластину, рендер, референс игры и (если используется) лист существа в один кадр для обзора. SAVE: comparison video + voice (#1158) экспортирует MP4 с тем же саундтреком, чтобы вы могли сравнить результат с вашим исполнением.

Ключевые узлы в рабочем процессе Comfyui MiniMax H3 Захват Производительности#

BODY CLIP (your performance + voice) (#1012)#

Загружает вашу игру и аудио, которые управляют синхронизацией губ и таймингом. Сохраняйте ландшафтную компоновку для лучшей композиции и убедитесь, что файл содержит аудио. Если лицо маленькое в кадре, добавьте вход камеры на голову для более точного отслеживания выражений.

WHAT GETS REPLACED (head / person) (#1017)#

Этот короткий текст управляет SAM 3.1 к области, которую H3 будет регенерировать. Используйте head для замен головы или person для замен тела. Если шлем или установка на голове должны исчезнуть, включите слова, такие как голова, шлем или установка камеры; избегайте общих слов, таких как экран, монитор или кабель, если вы не намерены удалить подобные объекты на заднем плане.

REGENERATED AREA (grow, blocks, hold) (#1233)#

Определяет, сколько изображения H3 может перерисовать и как эта область изменяется со временем. Увеличьте рост, чтобы дать пространство для ушей, рогов или меха; уменьшите его для общих планов, чтобы избежать распространения на задний план. Этапы блока и удержания стабилизируют движение, чтобы детали не мерцали между кадрами.

ACTING REFERENCE (your face on grey | head‑cam) (#1232)#

Создаёт трек игры, который MiniMax H3 будет имитировать. FACE CROP контролирует, сколько головы и шеи анализируется, а PERSON выбирает актёра, когда видно несколько людей. Включайте камеру на голову только тогда, когда лицо на общем плане очень маленькое; одна камера обычно лучше всего следует за поворотами головы.

MiniMaxH3ReferenceToVideo (#1134)#

Центр, который объединяет подсказку, референсы и аудио для создания условий и начального латента. Держите ширину и высоту в соответствии с рабочим размером и позвольте рабочему процессу автоматически ограничивать длину для предпросмотра. Подсказка уже включает предложение, которое говорит H3, как использовать референс игры.

MiniMaxH3FunControlNetApply (#1132)#

Добавляет опциональное управление позой тела от DWPose. Полезно для существ в полный рост, чтобы туловище и конечности следовали убедительно, в то время как лицо следует за референсом игры. Оставьте выключенным для замен только головы или четвероногих движений, не соответствующих человеческим скелетам.

H3 RENDER (#1234)#

Применяет маску так, чтобы изменялась только выбранная область, затем выбирает видео с расписанием Turbo и декодирует с помощью плиточного VAE для эффективности VRAM. Используйте SEED, чтобы подправить внешний вид и микро-движения; измените его, когда внешность персонажа отклоняется от листа или описания.

Опциональные дополнения#

• Советы по съёмке для MiniMax H3 Захват Производительности: снимайте в ландшафтной ориентации, сохраняйте стабильную экспозицию, включайте чистое производственное аудио; если вы снимали HDR на iPhone, конвертируйте в SDR перед запуском.
• Руководство по листу персонажа: включайте передние и боковые виды плюс несколько маленьких голов с выражениями; это лучше фиксирует идентичность на всех кадрах, чем один текст.
• Сцены с несколькими людьми: установите PERSON на правильный индекс и опишите субъекта в тексте SAM, затем подтвердите предпросмотр маски перед рендерингом.
• Ручная маска: предоставьте черно-белое видео, которое соответствует таймингу клипа тела; рисуйте его немного больше, чем предполагаемое существо, чтобы H3 не возвращался к оригинальному лицу.
• Когда включать управление позой: используйте для существ в полный рост или существ с руками и ногами; отключите для замен только головы и четвероногих.
• Заметки по производительности: разреженное внимание включено для ускорения рендеров и уменьшения памяти; если VRAM ограничен, запускайте текстовый энкодер на CPU в CLIPLoader. Используемые пользовательские узлы включают ComfyUI‑VideoHelperSuite, ComfyUI‑KJNodes, comfyui_controlnet_aux, ComfyUI‑H3‑FaceRefine и ComfyUI‑Mickmumpitz‑Nodes.

Благодарности#

Этот рабочий процесс реализует и расширяет следующие работы и ресурсы. Мы выражаем благодарность Mickmumpitz за рабочий процесс захвата производительности ComfyUI и Comfy-Org за модели MiniMax H3 за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• Рабочий процесс от Mickmumpitz
  • GitHub: mickmumpitz/ComfyUI-Mickmumpitz-Nodes
  • Документы / Заметки о выпуске: NEW VIDEO & FREE WORKFLOW — Turn yourself into ANY creature (MiniMax H3)
• Модели MiniMax H3
  • Hugging Face: Comfy-Org/MiniMax-H3

Примечание: использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.