MiniMax H3 Motion Transfer: анимация бок о бок с референсным управлением в ComfyUI#
Этот рабочий процесс выполняет MiniMax H3 Motion Transfer, беря видео с источником движения и одно изображение-референс персонажа, затем генерируя синхронизированное видео бок о бок. Левая половина показывает оригинальный клип движения, в то время как правая половина рисует нового персонажа, который повторяет движение. Это осуществляется с помощью MiniMax H3 с MMH3 UltimateExtend для пространственного расширения с референсным управлением, так что вы можете быстро использовать один клип движения для анимации множества стилизованных или реалистичных персонажей.
Используйте MiniMax H3 Motion Transfer для предварительной визуализации, короткого контента или быстрого исследования внешнего вида. Точность движения улучшается, когда пропорции персонажа и перспектива камеры напоминают источник, а силу стилизации можно направлять с помощью LoRA и подсказок.
Основные модели в рабочем процессе ComfyUI MiniMax H3 Motion Transfer#
- Модель диффузии MiniMax H3. Генеративная основа, которая управляет латентными видео и поддерживает Ref2VA и FL2VA кондиционирование, используемое для переноса движения и расширения. MiniMax-H3 на Hugging Face
- MiniMax H3 Video VAE. Кодирует и декодирует латенты видео для синтеза кадров и предварительного просмотра. Включено в тот же репозиторий модели. Файлы модели
- MiniMax H3 Audio VAE. Переносит исходное аудио вместе с сгенерированными кадрами, чтобы итоговый рендер сохранил звук. Включено в тот же репозиторий. Файлы модели
- Minimax H3 Turbo LoRA (варианты Ref2V и FL2V). Ускоряет и стабилизирует кондиционирование Ref2VA и FL2VA, позволяя достичь приемлемых результатов при низком количестве шагов, сохраняя выравнивание движения. lightx2v/Minimax-h3-Turbo
Как использовать рабочий процесс ComfyUI MiniMax H3 Motion Transfer#
Загрузите источник движения с помощью VHS_LoadVideo (#11)#
Этот узел импортирует клип движения и извлекает как кадры, так и аудио для пайплайна. Укажите на ваш исходный файл и, если необходимо, обрежьте или уменьшите выборку для сокращения тестов. Узел выводит последовательность изображений и аудиопоток, которые остаются синхронизированными через граф. Сохранение оригинального аудио помогает вам проверять ритм и тайминг при просмотре переноса движения.
Подготовьте холст бок о бок#
Входящие кадры изменяются с помощью ImageResizeKJv2 (#12), чтобы область движения соответствовала целевому холсту. Пустая полоса создается с помощью EmptyImage (#25) и позиционируется с помощью ComfyMathExpression (#26), затем накладывается справа от каждого кадра через ImageCompositeMasked (#23). Это формирует чистую правую область для нового персонажа, оставляя левую половину нетронутой. Композит кодируется в латенты с помощью VAEEncode (#10). Параллельно исходное аудио кодируется с помощью VAEEncodeAudio (#21) и объединяется с латентом видео с помощью LTXVConcatAVLatent (#20).
Определите плитки и подсказку персонажа в MMH3SpatialTileEditor (#31)#
Этот редактор делит холст на две плитки: левая плитка следует за оригинальным видеоконтентом, в то время как правая плитка генерируется из вашего изображения-референса. Предоставьте четкое изображение-референс и краткую подсказку, которая говорит модели соответствовать позам и таймингу левой стороны, сохраняя идентичность вашего персонажа. Скорректируйте расположение плиток, чтобы шов проходил там, где его легко смешать. Настройки перекрытия и затухания в редакторе помогают минимизировать любой видимый стык между плитками.
Выберите стек моделей и график выборки#
UNETLoader (#3) загружает модель MiniMax H3, и LoraLoaderModelOnly (#2) применяет вариант Minimax H3 Turbo LoRA, подходящий для запуска. BasicScheduler (#18) и KSamplerSelect (#19) определяют график шагов и выборщик для стабильных результатов. MMH3SampleParams (#17) связывает эти элементы вместе, балансируя приверженность к движению источника против свободы для стилизации. Используйте Seed (rgthree) (#22) для закрепления воспроизводимости или для исследования вариантов.
Генерируйте кадры переноса движения с MMH3SpatialExtendVideo (#8)#
Это ядро MiniMax H3 Motion Transfer. Узел читает вашу конфигурацию плиток, руководство по изображению-референсу и шум из RandomNoise (#13), затем выполняет пространственное расширение во времени. Левая плитка сохраняет оригинальный клип движения, в то время как правая плитка синтезирует нового персонажа, выполняющего те же движения. Настройки перекрытия, смешивания и опциональный второй проход помогают поддерживать временную согласованность и уменьшать швы по мере эволюции кадров.
Декодируйте, просматривайте и экспортируйте#
Латенты видео декодируются в изображения с помощью VAEDecode (#14) и аудио восстанавливается с помощью VAEDecodeAudio (#16). Для быстрого просмотра сгенерированной стороны, первый кадр можно просмотреть, выбрав и обрезав с помощью VHS_SelectImages (#32), ImageCropV2 (#33) и PreviewImage (#34). Наконец, VHS_VideoCombine (#15) собирает кадры и аудио в единый MP4 для просмотра и обмена.
Ключевые узлы в рабочем процессе ComfyUI MiniMax H3 Motion Transfer#
MMH3SpatialTileEditor (#31)#
Определяет двухплиточную раскладку и как каждая половина кондиционируется. Установите левую плитку, чтобы она следовала за источником, и правую плитку, чтобы использовать ваше изображение-референс и подсказку. Параметры перекрытия и затухания в редакторе - основные инструменты для бесшовного смешивания там, где плитки встречаются. Используйте референс, который соответствует камере источника и масштабу субъекта, чтобы улучшить точность поз.
MMH3SpatialExtendVideo (#8)#
Выполняет пространственное расширение с референсным управлением во времени. Он использует раскладку плиток, шум, текстовое кондиционирование CLIP, VAE и параметры выборки для генерации правого персонажа, сохраняя при этом левую половину. Если вы заметите мерцание или видимый шов, слегка увеличьте перекрытие или смягчите затухание в конфигурации плиток, чтобы стабилизировать переходы.
MMH3SampleParams (#17)#
Соединяет модель, планировщик и выборщик, чтобы определить, насколько строго правая плитка следует за движением источника против стиля в вашей подсказке и референсе. Когда вам нужно более точное соответствие движению, склоняйтесь к более сильному руководству; для более свободного стиля, немного ослабьте его. Держите это в балансе с вашим выбором LoRA, чтобы идентичность персонажа оставалась стабильной.
LoraLoaderModelOnly (#2)#
Загружает Minimax H3 Turbo LoRA. Turbo варианты настроены для эффективного кондиционирования Ref2VA и FL2VA, что помогает поддерживать выравнивание движения при низком количестве шагов. Если ваш результат слишком сильно склоняется к какому-то виду или отклоняется от времени источника, уменьшите влияние LoRA или переключите вариант.
VHS_LoadVideo (#11)#
Обрабатывает загрузку и синхронизацию кадров и аудио. Используйте его для управления длиной клипа и эффективной частотой кадров во время экспериментов. Сохранение аудио в течение всего графа облегчает оценку, соответствуют ли ритмы движения после переноса.
VHS_VideoCombine (#15)#
Создает финальное видео из декодированных кадров и восстановленного аудио. Установите желаемую частоту кадров и визуальное качество для вашего финального продукта. Когда вам нужен только беззвучный просмотр, отключите аудио в этом узле.
Опциональные дополнения#
- Предпочитайте изображение-референс с похожим углом камеры, пропорциями тела и кадрированием, как у исполнителя в исходном видео; полные изображения-референсы лучше всего подходят для полного движения тела.
- Если персонаж смещается или пересекает шов, сдвиньте границу плитки и увеличьте перекрытие плиток или затухание в редакторе для более мягких переходов.
- Держите подсказки короткими и описательными. Для строгого MiniMax H3 Motion Transfer полагайтесь больше на референс и меньше на тяжелый стилистический текст.
- Сид контролирует мелкие детали на сгенерированной стороне. Зафиксируйте сид для итерации на раскладке, затем рандомизируйте для исследования альтернатив.
- Этот рабочий процесс зависит от пользовательских узлов MMH3 UltimateExtend и VideoHelperSuite для ввода/вывода видео. Обратитесь к их репозиториям для поведения узлов и обновлений: Comfyui-MMH3-UltimateExtend и ComfyUI-VideoHelperSuite.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем bbaudio-2025 за пользовательские узлы MMH3 UltimateExtend ComfyUI, оригинального автора рабочего процесса за оригинальный JSON рабочего процесса, Comfy-Org за файлы модели MiniMax H3 ComfyUI и lightx2v за MiniMax H3 Turbo LoRA за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- bbaudio-2025/Comfyui-MMH3-UltimateExtend
- Pastebin/Original workflow JSON
- Документы / Примечания к выпуску: Original workflow JSON
- Comfy-Org/MiniMax-H3
- Hugging Face: Comfy-Org/MiniMax-H3
- lightx2v/Minimax-h3-Turbo
- Hugging Face: lightx2v/Minimax-h3-Turbo
- GitHub: ModelTC/Minimax-H3-Turbo
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.