Troca de Personagem MiniMax H3 com SAM3 | MDMZ

Troca de Personagem MiniMax H3 com SAM3#

A Troca de Personagem MiniMax H3 com SAM3 é o fluxo de trabalho do MDMZ para ComfyUI para substituir o performer na tela em um vídeo por um personagem de referência, preservando o movimento da fonte, o tempo, o movimento da câmera e, opcionalmente, o fundo original. Ele utiliza SAM3 para isolar o sujeito e constrói um guia de movimento invertido para que o MiniMax H3 siga o movimento e o enquadramento sem copiar a identidade. Os resultados podem reter detalhes do performer da fonte ou alterar partes do fundo, portanto, revise o clipe completo para consistência de identidade, mãos, roupas e cena.

O fluxo de trabalho utiliza um caminho de prompt gratuito: execute o prompt fornecido como está, ou cole manualmente um prompt estruturado gerado no aplicativo gratuito Gemini para suas próprias entradas. O padrão salvo usa o modo Normal, o fundo do vídeo de origem e saída silenciosa. Modos opcionais de passagem de áudio da fonte e pré-visualizações Turbo estão incluídos, e o fluxo de trabalho ajusta o comprimento do clipe para uma contagem de quadros compatível com o modelo.

Os exemplos verificados usam o ramo de prompt gratuito, modo Normal em 20 etapas e fundos de vídeo. As opções Turbo, fundo de imagem e áudio/sincronização labial estão incluídas, mas não foram exercitadas nesses exemplos. "Prompt gratuito" refere-se ao caminho do prompt; o uso do RunComfy GPU é cobrado separadamente.

Modelos chave no fluxo de trabalho ComfyUI MiniMax H3 Character Swap with SAM3#

• Modelo base MiniMax H3 Reference‑to‑Video (Ref2VA/Ref2V). A espinha dorsal de difusão que transforma seu prompt, imagens de referência e guia de movimento em quadros de vídeo coerentes enquanto rastreia a câmera e o tempo. Arquivos de modelo e lançamento são hospedados no repositório oficial do MiniMax H3. MiniMax H3 no Hugging Face
• MiniMax H3 Video VAE fp16 e Audio VAE fp32. O VAE de vídeo codifica e decodifica quadros latentes eficientemente; o VAE de áudio lida com latentes de áudio para o caminho com capacidade de áudio do H3. Sua presença não garante qualidade de sincronização labial. Incluído no lançamento do MiniMax H3. MiniMax H3 no Hugging Face
• Codificador de texto Qwen3‑VL 32B NVFP4 AWQ. Empacotado com MiniMax H3 para codificar prompts longos e estruturados e manter um forte alinhamento texto‑para‑vídeo. Veja os arquivos do modelo MiniMax H3 para o codificador de texto usado. MiniMax H3 no Hugging Face
• SAM 3.1 Multiplex. Fornece segmentação robusta e com prompts para encontrar a pessoa a ser substituída e para construir uma máscara consistente por quadro que direciona o guia de movimento. SAM 3.1 no Hugging Face
• MiniMax H3 Ref2V Turbo LoRA v0.1. Um LoRA opcional que acelera pré-visualizações com um pequeno número de etapas enquanto mantém o visual geral do H3. Melhor usado para iteração, depois mude para Normal para finais. MiniMax H3 LoRAs

Como usar o fluxo de trabalho ComfyUI MiniMax H3 Character Swap with SAM3#

Em um nível alto, você fornece um pequeno clipe de origem e uma única imagem de personagem. O fluxo de trabalho detecta e inverte apenas o performer para criar um guia de movimento, combina o prompt fornecido ou colado com sua configuração de fundo, então o MiniMax H3 renderiza a troca. O áudio da fonte pode passar opcionalmente para a saída; a qualidade da sincronização labial não foi verificada nesses exemplos silenciosos.

1 · ENTRADAS Carregue seu clipe de movimento no carregador de vídeo (#970), que o converte para 24 fps, e corte para a seção desejada. O exemplo salvo usa 124 quadros (cerca de 5.17 segundos). Adicione a imagem do personagem no carregador de imagens (#496). Defina o aspecto de saída e megapixels com o seletor de resolução (#501). Use o prompt fornecido ou cole um para suas entradas no grupo 3B, escolha uma velocidade de renderização (qualidade Normal ou pré-visualizações Turbo), escolha se o fundo vem do vídeo de origem ou da imagem do personagem e decida se o áudio da fonte deve passar para sincronização labial.

2 · GUIA DE MOVIMENTO O detector SAM3 (#503) encontra o sujeito com base em um rótulo de texto curto como pessoa ou homem:1. Use a pré-visualização da máscara (#492) para confirmar que o alvo está sólido em branco. O fluxo de trabalho inverte apenas o performer mascarado para que o H3 leia movimento e enquadramento a partir de bordas e sombreamento em vez de identidade. Ajuste o orçamento de pixels do guia de movimento com a Resolução do Guia de Movimento (#456) para trocar velocidade por precisão. Um interruptor dedicado permite que você construa um guia de movimento que exclui o fundo do vídeo quando você está fazendo transferência de movimento de uma imagem.

3B · PROMPT GRATUITO Execute o prompt fornecido como está, ou copie as instruções Gemini incluídas do grupo 3 e peça ao aplicativo gratuito Gemini para analisar seu clipe e imagem de personagem. Use a mesma seção cortada que você irá gerar, então cole a resposta no Seu Prompt H3 (#910). O fluxo de trabalho limpa os cabeçalhos e cercas de código automaticamente para que o texto corresponda à estrutura esperada do H3.

3C · FUNDO DO VÍDEO (substituição de personagem) Quando você deseja uma troca de personagem pura dentro da cena original, o fluxo de trabalho aumenta seu prompt com regras que pedem ao H3 para reter o fundo e a iluminação do clipe de origem. Ele diz ao H3 para preservar a geometria do cenário, objetos e gradação, e para iluminar o novo personagem para corresponder à tomada. O guia de movimento inclui o performer invertido no topo do quadro original para que as dicas do ambiente permaneçam visíveis para o modelo.

3C · FUNDO DA IMAGEM (transferência de movimento) Para transferência de movimento para um fundo de referência estático, o prompt é reescrito para manter o ambiente e a iluminação da imagem do personagem e ignorar a configuração do vídeo de origem. Linhas conflitantes de iluminação e enquadramento de vídeo são removidas. O guia de movimento é recomposto sobre uma tela neutra para que apenas o movimento e o caminho da câmera sejam usados, para reduzir a influência do fundo do vídeo de origem; este modo opcional não foi verificado nos exemplos fornecidos.

3D · TEXTO FINAL → H3 O interruptor de fundo mescla o conjunto de regras correto e mostra o prompt final enviado ao H3 para que você possa verificá-lo. Esta string exata é alimentada na geração.

4 · GERAR MiniMax H3 Ref → Video (#464) pega o prompt estruturado, a imagem do personagem, os quadros do guia de movimento, largura e altura do seletor de resolução e um comprimento auto-validado. O modo Normal salvo usa 20 etapas de amostragem. O modo Turbo habilita o Ref2V Turbo LoRA com um baixo número de etapas para pré-visualizações rápidas, além de um desvio sigma ajustado para vídeo e áudio; o guia, o amostrador e os interruptores de etapas escolhem o caminho ativo. A semente controla a variação da amostragem; mudá-la pode afetar identidade, movimento e detalhes de fundo. O amostrador personalizado combina ruído, programação e guia com o clipe latente.

5 · SAÍDA Um nó de limpeza de VRAM é executado antes da decodificação para reduzir a pressão de memória; não garante liberdade de erros de falta de memória. O VAE de vídeo decodifica latentes para quadros, e Salvar Vídeo escreve o MP4. A saída padrão é silenciosa; o áudio da fonte é anexado apenas quando a rota de som está habilitada e a entrada tem uma trilha de áudio.

Nós chave no fluxo de trabalho ComfyUI MiniMax H3 Character Swap with SAM3#

MiniMax H3 Ref → Video (#464) O gerador central que vincula seu prompt, imagem de referência e guia de movimento. Mantenha o prompt estruturado e específico, e forneça uma imagem de referência forte para identidade. Largura e altura vêm do seletor de resolução para que a proporção de aspecto corresponda à sua intenção. O comprimento é determinado pelo contador de quadros automático para satisfazer a passada do H3; habilite a rota de som apenas para clipes com áudio, e revise qualquer sincronização de fala separadamente.

SAM3 Detect person (#503) Executa a segmentação SAM 3.1 com uma dica de texto curta para que o performer certo seja isolado. Se uma cena tiver várias pessoas, adicione um qualificador rápido como homem:1 ou mulher de vermelho:1. Verifique a pré-visualização da máscara primeiro; se as bordas estiverem faltando ou ocorrer derramamento, aperte o prompt ou ajuste as configurações do detector. Uma máscara limpa é o caminho mais rápido para trocas estáveis.

Motion Guide Resolution (#456) Define o orçamento total de pixels usado pelo guia de movimento. Valores menores reduzem o custo de processamento e o detalhe do guia. Valores maiores retêm mais detalhe espacial no guia, mas exigem mais processamento; a melhoria na qualidade de saída não é garantida. Aumente gradualmente e observe o desempenho e a estabilidade.

Turbo LoRA (Ref2V) (#950) Habilita um caminho de pré-visualização rápida que se emparelha com um agendador de etapas baixas e um desvio sigma ajustado para vídeo e áudio. Use-o para iterar prompts, enquadramento e movimento rapidamente. Para tomadas finais, mude de volta para etapas Normais para recuperar a fidelidade completa do MiniMax H3.

Valid frame count (auto) (#481) Arredonda automaticamente seu clipe cortado para uma contagem de quadros amigável ao modelo para que a amostragem permaneça estável. Comprimentos típicos que as pessoas usam incluem 107, 124, 158, 209 e 362 quadros, que são aproximadamente 4.5 s, 5 s, 6.6 s, 8.7 s e 15 s a 24 fps. Defina seu início e fim visualmente no carregador e deixe este nó lidar com o número exato.

Extras opcionais#

• Verifique a máscara primeiro; o sujeito deve estar sólido em branco na pré-visualização.
• Mantenha a taxa de quadros em 24 fps para movimento e sincronização labial consistentes.
• A rota de som salva está desligada. Habilite-a apenas para clipes com áudio; revise a sincronização de fala em vez de assumir que irá corresponder.
• Use Turbo para pré-visualizações rápidas, depois mude para Normal para renderizações finais.
• Para substituição de personagem, escolha Fundo do Vídeo; para transferência de movimento, escolha Fundo da Imagem.
• Se o aplicativo gratuito retornar texto cercado por código ou cabeçalhos estranhos, cole-o de qualquer forma; o fluxo de trabalho organiza o formato automaticamente.
• Mude a semente para explorar outro resultado, depois verifique novamente movimento, enquadramento, identidade e detalhes de fundo.

Agradecimentos#

Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos ao MDMZ pelo tutorial de fluxo de trabalho de Substituição de Personagem H3 e guia de configuração, Comfy-Org pelos modelos MiniMax-H3 para ComfyUI e à equipe ComfyUI pelo Guia Oficial de Geração de Vídeo MiniMax H3 por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• MDMZ/MDMZ tutorial de fluxo de trabalho
  • Docs / Notas de Lançamento: YouTube
• MDMZ/MDMZ fluxo de trabalho e guia
  • Docs / Notas de Lançamento: Post no Patreon
• Comfy-Org/modelos MiniMax H3 para ComfyUI
  • Hugging Face: Comfy-Org/MiniMax-H3
• ComfyUI/Guia ComfyUI MiniMax H3
  • GitHub: comfy-org/docs
  • Docs / Notas de Lançamento: ComfyUI Docs

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.