MiniMax H3 Character Swap V1.5 com Áudio Original

MiniMax H3 Character Swap V1.5 com Áudio Original#

MiniMax H3 Character Swap V1.5 com Áudio Original substitui a pessoa na tela em um vídeo fonte por um personagem de referência enquanto mantém a trilha sonora original intacta. A tela combina o Character Swap V1.5 LoRA da Akatz Labs, mascaramento de pessoa SAM3 e histórico H3 Relay para transportar a performance da fonte através de múltiplas janelas de geração para suportar a continuidade de identidade e tempo.

Este fluxo de trabalho ComfyUI é projetado para editores, equipes de previs e criadores que desejam trocas de personagens rápidas e alinhadas à fonte sem perder a performance no áudio. Exemplos testados incluem pessoas realistas, um personagem de anime e um robô. Formas de boca, mãos e junções de janela ainda merecem revisão, então planeje revisar articulações e articulação na renderização final. MiniMax H3 Character Swap V1.5 com Áudio Original roda inteiramente na família de modelos de vídeo H3 com controles leves que você pode ajustar por tomada.

Modelos chave no fluxo de trabalho Comfyui MiniMax H3 Character Swap V1.5 com Áudio Original#

• Comfy‑Org MiniMax H3 Ref2VA U‑Net. Backbone de difusão de vídeo central para geração condicionada por áudio em H3. Transforma ruído em vídeo coerente enquanto respeita a orientação de referência e a máscara de edição. Model files
• MiniMax H3 video VAE. Codifica e decodifica latentes de vídeo para H3 para que as janelas sejam renderizadas de forma limpa na resolução escolhida. Model card
• MiniMax H3 audio VAE. Empacota e desempacota latentes de áudio usados por H3 para alinhar ritmo de fala e lábios com a trilha de origem. Model card
• Qwen3‑VL 32B codificador de texto para H3. Interpreta seu prompt e condicionamento de referência para que o personagem de substituição e as notas de performance sejam aplicadas de forma consistente. Incluído no pacote de modelos H3. Files
• Akatz Labs Character Swap V1.5 LoRA (h3_character_swap_v1.5.safetensors). Ensina o H3 a mapear um sujeito de entrada para a identidade do personagem alvo enquanto preserva a pose e a performance. Repository
• MiniMax H3 FL2V Turbo 8‑step LoRA. Um adaptador de cronograma rápido que acelera a amostragem do H3 com 8 passos para geração rápida de vídeo baseada em janelas. Repository
• SAM 3.1 checkpoint multiplex. Detecta e rastreia a pessoa a ser substituída, produzindo máscaras robustas para sujeitos em movimento. Repository
• H3 Relay toolkit. Fornece planejamento de janelas baseado em histórico, recuperação/expansão de máscaras, looping e montagem de janelas para continuidade ao longo de todo o clipe. GitHub
• Fonte do fluxo de trabalho de referência. O método de troca de personagens e LoRA vêm do Akatz Labs e são adaptados aqui para H3 Relay. GitHub

Como usar o fluxo de trabalho Comfyui MiniMax H3 Character Swap V1.5 com Áudio Original#

A tela segue um caminho simples de entradas para um vídeo costurado: você fornece um clipe de origem e uma referência de personagem, SAM encontra e rastreia a pessoa a ser substituída, H3 Relay planeja janelas com transporte de histórico, H3 gera os quadros editados dentro da máscara, então o fluxo de trabalho monta tudo de volta com o áudio original. Os grupos na tela estão organizados para que você possa trabalhar de cima para baixo e revisar em pontos de verificação naturais.

01 · Entradas do usuário#

Carregue seu clipe em Source video, depois adicione uma única imagem de personagem ou folha em Character reference · Picture 1. H3RelayPrepareSource alinha quadros à grade do modelo e expõe largura, altura, contagem de quadros e áudio reais. O nó emite um lote limpo de quadros e a trilha sonora original que mais tarde se torna o guia. Mantenha a primeira passagem simples começando com uma única tomada contínua.

02 · Modelos H3 e LoRA#

H3 Ref2VA · INT8 carrega o backbone de difusão MiniMax H3. O codificador de texto, VAE de vídeo e VAE de áudio se conectam automaticamente. Dois LoRAs sentam-se no topo do H3: FL2V Turbo · 8-step para amostragem rápida e Character Swap V1.5 · strength para transferência de identidade. Este emparelhamento permite que o MiniMax H3 Character Swap V1.5 com Áudio Original funcione rapidamente enquanto preserva o estilo do personagem.

03 · Seleção de pessoa SAM e máscaras#

SAM3_Detect encontra pessoas no primeiro quadro com base na SAM person description. H3RelaySelectMask escolhe o sujeito, então SAM3_VideoTrack rastreia essa máscara através de todo o lote de quadros. H3RelayRecoverMasks corrige lacunas e H3RelayExpandMask expande a região para cobrir cabelo e mãos para que as edições de identidade não deixem halos. Uma pré-visualização ajuda a confirmar que a máscara de pessoa expandida corresponde ao sujeito pretendido.

04 · Planejamento de janela H3 Relay#

H3RelayWindowPlan cria janelas conscientes de sobreposição dimensionadas para H3 com uma fatia menor de história transportada para continuidade. StartLoop e H3RelayWindowInputs alimentam quadros, máscaras e o áudio por janela na geração. É aqui que a fonte é dividida em pedaços gerenciáveis para transportar contexto entre janelas sucessivas de uma tomada contínua. Cortes de cena precisam de revisão separada. MiniMax H3 Character Swap V1.5 com Áudio Original usa este plano para manter sementes e intervalos determinísticos para uma passagem reproduzível.

05 · Condicionamento de referência e guias#

MiniMaxH3ReferenceToVideo transforma sua imagem de personagem e prompt de performance em condicionamento para H3. H3RelayApplyHistory injeta os quadros e áudio da janela anterior como orientação suave para a próxima. H3RelayApplyEditMask mistura a região de edição rastreada com o latente atual para restringir a edição; não garante preservação de fundo idêntica por pixel. MiniMaxH3AddGuide permite que você adicione orientação alvo nativa do áudio da janela para que lábios e expressões sigam a trilha sonora original.

06 · Amostragem e decodificação#

H3RelaySamplingMemory, CFGGuider, KSamplerSelect, e SamplerCustomAdvanced executam o loop de geração janela por janela usando o modelo H3 adaptado por LoRA. LTXVSeparateAVLatent e VAEDecode decodificam visuais de volta para quadros prontos para montagem. Estas peças lidam com o trabalho pesado e mantêm a memória previsível. A maioria dos usuários pode deixá-los como estão para uma primeira passagem.

07 · Montagem e saída H3 Relay#

H3RelayAppendWindow acumula janelas em ordem, aparando sobreposições conforme necessário. H3RelayFinishWindows emite quadros e reanexa o áudio original para que o tempo e a fala permaneçam fiéis à fonte. CreateVideo e Save final video escrevem o resultado no disco. Revise junções de janela, formas de boca, mãos e oclusões, depois itere se necessário. MiniMax H3 Character Swap V1.5 com Áudio Original é otimizado para ciclos de revisão rápida em tomadas curtas.

Nós chave no fluxo de trabalho Comfyui MiniMax H3 Character Swap V1.5 com Áudio Original#

• H3RelayWindowPlan Cria o cronograma de geração e histórico de sobreposição. Os exemplos testados usam janelas de 124 quadros e histórico de 18 quadros a 24 fps. Cada clipe de 12,25 segundos abrange três janelas. Inspecione ambas as junções para alterações de aparência ou movimento local; isto não é uma garantia de continuação perfeita.
• MiniMaxH3ReferenceToVideo Constrói o condicionamento principal a partir de sua imagem de personagem e prompt na largura, altura e comprimento por janela reais. Use uma imagem ou folha que seja verdadeira para a identidade e diga claramente que várias vistas retratam o mesmo personagem. Mantenha as instruções de performance concisas e amarradas ao áudio de origem e gestos. Se a identidade se desviar, fortaleça a descrição da identidade e simplifique modificadores de estilo.
• H3RelayApplyEditMask Usa a máscara rastreada e quadros de origem codificados para restringir a geração. Revise a cobertura da máscara em torno de cabelo e membros em movimento. O gráfico testado não compõe o corpo gerado de volta sobre pixels de origem intocados, então detalhes ao redor ainda podem mudar.
• MiniMaxH3AddGuide Usa o áudio de origem da janela atual como orientação nativa. Isso suporta movimento relacionado à fala, mas preservar a trilha sonora não garante sincronização labial exata. O nó exposto neste gráfico não possui controle de força de orientação ajustável.
• LoraLoaderModelOnly · Character Swap V1.5 Carrega o adaptador oficial h3_character_swap_v1.5.safetensors na força testada de 1.0. Mudanças na força podem alterar o resultado, mas não há regra verificada de que reduzi-la melhora o movimento da boca ou aumentá-la bloqueia detalhes do figurino.
• SamplerCustomAdvanced plus CFGGuider Executa a receita Turbo testada: 8 passos, CFG 1, er_sde, e agendamento normal. Comece com esses padrões; mudanças nos passos ou orientação precisam de uma nova comparação e não são garantias de melhorias de qualidade.
• SAM3_Detect e SAM3_VideoTrack Conduzem detecção e rastreamento de pessoa para a região de edição. Use uma descrição clara de SAM person description para inclinar-se em direção ao seu sujeito quando várias pessoas estiverem visíveis. Se o rastreamento escorregar em oclusões, ajuste a sensibilidade de detecção ou selecione novamente o sujeito antes de rastrear novamente. O objetivo é uma máscara estável única que siga o performer pretendido.
• H3RelayFinishWindows Monta os quadros finais e mantém o modo de áudio em source para que a trilha sonora original passe. Mantenha source selecionado quando a retenção de áudio original for necessária. Este nó é o último portão de qualidade antes da codificação.

Extras opcionais#

• Escolha tomadas com iluminação estável e mínimos movimentos rápidos de câmera para suas primeiras passagens.
• Use uma única imagem de referência verdadeira para a identidade com expressão neutra e linha do cabelo visível.
• Mantenha a largura e altura divisíveis por 32 e combine a proporção da fonte para uso eficiente de memória.
• Para uma junção saltitante, teste outro plano de janela válido e execute novamente a sequência de janela dependente, pois janelas posteriores usam o histórico anterior.
• Sempre revise lábios, mãos, bordas de cabelo e junções de janela a 100 por cento antes da entrega.

MiniMax H3 Character Swap V1.5 com Áudio Original combina tempo alinhado à fonte, geração de personagens guiada por referência e controles de histórico de janela para que você possa iterar rapidamente do teste ao final. Para um contexto mais profundo sobre o método e os ativos, veja as referências da Akatz Labs acima.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos sinceramente à Akatz Labs pelo fluxo de trabalho H3 Character Swap Tool, Akatz AI pelo MiniMax H3 Character Swap LoRA (v1.5) e H3 Relay, e Comfy-Org pelos modelos base MiniMax H3 por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• Fonte do fluxo de trabalho Akatz Labs
  • GitHub: akatz-labs/h3-character-swap-tool
• Character Swap V1.5 LoRA
  • Hugging Face: akatz-ai/MiniMax-H3-Character-Swap-LoRA
• H3 Relay
  • GitHub: akatz-ai/h3-relay
• Modelos base MiniMax H3
  • Hugging Face: Comfy-Org/MiniMax-H3

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.