MiniMax H3 Motion Transfer: animação lado a lado guiada por referência no ComfyUI#
Este fluxo de trabalho realiza o MiniMax H3 Motion Transfer pegando um vídeo fonte de movimento e uma única imagem de referência de personagem, gerando então um vídeo sincronizado lado a lado. A metade esquerda mostra o clipe de movimento original, enquanto a metade direita faz outpainting de um novo personagem que espelha o movimento. É alimentado pelo MiniMax H3 com MMH3 UltimateExtend para spatial outpainting guiado por referência, permitindo que você reutilize rapidamente um clipe de movimento para animar muitos personagens estilizados ou realistas.
Use o MiniMax H3 Motion Transfer para previz, conteúdo de formato curto ou exploração rápida de aparência. A fidelidade do movimento melhora quando as proporções do personagem e a perspectiva da câmera se assemelham à fonte, e a força da estilização pode ser direcionada com LoRA e prompts.
Modelos chave no fluxo de trabalho Comfyui MiniMax H3 Motion Transfer#
- Modelo de difusão MiniMax H3. A espinha dorsal generativa que impulsiona latentes de vídeo e suporta o condicionamento Ref2VA e FL2VA usado para motion transfer e outpainting. MiniMax‑H3 no Hugging Face
- MiniMax H3 Video VAE. Codifica e decodifica latentes de vídeo para síntese de quadros e pré-visualização. Incluído no mesmo repositório de modelos. Arquivos do modelo
- MiniMax H3 Audio VAE. Transporta o áudio de origem junto com os quadros gerados para que a renderização final preserve o som. Incluído no mesmo repositório. Arquivos do modelo
- Minimax H3 Turbo LoRA (variantes Ref2V e FL2V). Acelera e estabiliza o condicionamento Ref2VA e FL2VA, permitindo que você obtenha resultados utilizáveis com contagens de passos baixas enquanto mantém o movimento alinhado. lightx2v/Minimax‑h3‑Turbo
Como usar o fluxo de trabalho Comfyui MiniMax H3 Motion Transfer#
Carregue a fonte de movimento com VHS_LoadVideo (#11)#
Este nó importa o clipe de movimento e extrai tanto quadros quanto áudio para o pipeline. Aponte para o seu arquivo de origem e, se necessário, corte ou subamostre para encurtar testes. O nó produz uma sequência de imagens e um fluxo de áudio que permanecem sincronizados através do gráfico. Manter o áudio original ajuda a validar o ritmo e o tempo ao revisar o motion transfer.
Prepare uma tela lado a lado#
Os quadros de entrada são redimensionados com ImageResizeKJv2 (#12) para que a área de movimento corresponda à tela de destino. Uma faixa vazia é criada com EmptyImage (#25) e posicionada usando ComfyMathExpression (#26), então sobreposta à direita de cada quadro via ImageCompositeMasked (#23). Isso forma uma região limpa à direita para o novo personagem enquanto deixa a metade esquerda intocada. O composite é codificado em latentes com VAEEncode (#10). Em paralelo, o áudio de origem é codificado com VAEEncodeAudio (#21) e mesclado com o latente de vídeo usando LTXVConcatAVLatent (#20).
Defina os tiles e o prompt do personagem em MMH3SpatialTileEditor (#31)#
Este editor divide a tela em dois tiles: o tile esquerdo segue o conteúdo do vídeo original, enquanto o tile direito é gerado a partir da sua referência de personagem. Forneça uma imagem de referência clara e um prompt conciso que diga ao modelo para corresponder às poses e ao tempo do lado esquerdo enquanto preserva a identidade do seu personagem. Ajuste o arranjo dos tiles para que a costura caia onde é fácil de misturar. As configurações de sobreposição e desvanecimento no editor ajudam a minimizar qualquer junção visível entre os tiles.
Escolha a pilha de modelos e o cronograma de amostragem#
UNETLoader (#3) carrega o modelo MiniMax H3, e LoraLoaderModelOnly (#2) aplica a variante Minimax H3 Turbo LoRA apropriada para a execução. BasicScheduler (#18) e KSamplerSelect (#19) definem o cronograma de passos e o amostrador para resultados estáveis. MMH3SampleParams (#17) conecta essas peças, equilibrando a aderência ao movimento de origem versus liberdade para estilização. Use Seed (rgthree) (#22) para garantir a reprodutibilidade ou para explorar variações.
Gere os quadros de transferência de movimento com MMH3SpatialExtendVideo (#8)#
Este é o núcleo do MiniMax H3 Motion Transfer. O nó lê sua configuração de tiles, a orientação da imagem de referência e o ruído de RandomNoise (#13), então realiza spatial outpainting ao longo do tempo. O tile esquerdo mantém o clipe de movimento original, enquanto o tile direito sintetiza o novo personagem realizando os mesmos movimentos. Configurações de sobreposição, mistura e segunda passagem opcional ajudam a manter a consistência temporal e reduzir costuras à medida que os quadros evoluem.
Decodifique, visualize e exporte#
Os latentes de vídeo são decodificados em imagens com VAEDecode (#14) e o áudio é recuperado com VAEDecodeAudio (#16). Para uma verificação rápida do lado gerado, o primeiro quadro pode ser visualizado selecionando e cortando com VHS_SelectImages (#32), ImageCropV2 (#33) e PreviewImage (#34). Finalmente, VHS_VideoCombine (#15) monta os quadros e o áudio em um único MP4 para revisão e compartilhamento.
Nós chave no fluxo de trabalho Comfyui MiniMax H3 Motion Transfer#
MMH3SpatialTileEditor (#31)#
Define o layout de dois tiles e como cada metade é condicionada. Defina o tile esquerdo para seguir a fonte e o tile direito para usar sua imagem de referência e prompt. Os parâmetros de sobreposição e desvanecimento no editor são as principais ferramentas para uma mistura perfeita onde os tiles se encontram. Use uma referência que corresponda à câmera de origem e à escala do sujeito para melhorar a fidelidade das poses.
MMH3SpatialExtendVideo (#8)#
Executa o spatial outpainting guiado por referência ao longo do tempo. Consome o layout dos tiles, ruído, condicionamento de texto CLIP, VAE e parâmetros de amostragem para gerar o personagem da mão direita enquanto preserva a metade esquerda. Se você notar tremulação ou uma costura visível, aumente modestamente a sobreposição ou suavize o desvanecimento na configuração dos tiles para estabilizar as transições.
MMH3SampleParams (#17)#
Faz a ponte entre o modelo, o scheduler e o amostrador para definir quão estritamente o tile direito segue o movimento de origem versus o estilo em seu prompt e referência. Quando você precisa de uma correspondência de movimento mais rígida, incline-se para uma orientação mais forte; para um estilo mais livre, relaxe um pouco. Mantenha isso em equilíbrio com sua escolha de LoRA para que a identidade do personagem permaneça estável.
LoraLoaderModelOnly (#2)#
Carrega o Minimax H3 Turbo LoRA. As variantes Turbo são ajustadas para condicionamento eficiente Ref2VA e FL2VA, o que ajuda a manter o alinhamento do movimento em contagens de passos baixas. Se o seu resultado pender muito para um visual ou se desviar do tempo de origem, reduza a influência do LoRA ou mude de variante.
VHS_LoadVideo (#11)#
Lida com a ingestão e sincronização de quadros e áudio. Use-o para controlar o comprimento do clipe e a taxa de quadros efetiva durante a experimentação. Manter o áudio ao longo do gráfico facilita julgar se os ritmos do movimento se alinham após a transferência.
VHS_VideoCombine (#15)#
Constrói o vídeo final a partir de quadros decodificados e o áudio recuperado. Defina a taxa de quadros desejada e a qualidade visual para o seu produto final. Quando você só quer uma pré-visualização silenciosa, desative o áudio neste nó.
Extras opcionais#
- Prefira uma imagem de referência com ângulo de câmera, proporções corporais e recorte semelhantes ao do performer no vídeo de origem; referências de corpo inteiro funcionam melhor para movimento de corpo inteiro.
- Se o personagem desviar ou cortar a costura, ajuste o limite do tile e aumente a sobreposição ou desvanecimento no editor para transições mais suaves.
- Mantenha os prompts curtos e descritivos. Para um MiniMax H3 Motion Transfer estrito, confie mais na referência e menos em texto estilístico pesado.
- A seed controla detalhes finos no lado gerado. Bloqueie a seed para iterar no layout, depois randomize para explorar alternativas.
- Este fluxo de trabalho depende de nós personalizados MMH3 UltimateExtend e da VideoHelperSuite para I/O de vídeo. Consulte seus repositórios para comportamento dos nós e atualizações: Comfyui‑MMH3‑UltimateExtend e ComfyUI‑VideoHelperSuite.
Agradecimentos#
Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos bbaudio-2025 pelos nós personalizados MMH3 UltimateExtend ComfyUI, o autor original do fluxo de trabalho pelo JSON do fluxo de trabalho original, Comfy-Org pelos arquivos de modelo MiniMax H3 ComfyUI, e lightx2v pelo MiniMax H3 Turbo LoRA por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- bbaudio-2025/Comfyui-MMH3-UltimateExtend
- Pastebin/Original workflow JSON
- Docs / Release Notes: Original workflow JSON
- Comfy-Org/MiniMax-H3
- Hugging Face: Comfy-Org/MiniMax-H3
- lightx2v/Minimax-h3-Turbo
- Hugging Face: lightx2v/Minimax-h3-Turbo
- GitHub: ModelTC/Minimax-H3-Turbo
Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.