Referência FastH3 Omni para Vídeo

Referência FastH3 Omni para Vídeo: vídeo guiado por referência com som sincronizado em 8 etapas#

A Referência FastH3 Omni para Vídeo é um fluxo de trabalho ComfyUI para transformar uma única imagem de referência e um prompt em um vídeo curto com áudio correspondente. É alimentado pelo ponto de verificação FastH3 OmniRef destilado da FastVideo na estrutura MiniMax H3, que é otimizada para amostragem rápida de 8 etapas. O fluxo de trabalho é ideal para tomadas cinematográficas de personagens, clipes de produtos brilhantes e cenas de viagem onde você deseja a aparência de uma referência, mas o movimento, o trabalho de câmera e o som para seguir seu prompt.

Este gráfico ComfyUI conecta entradas de referência, prompts de texto, atenção esparsa e uma passagem de difusão conjunta de vídeo e áudio em um pipeline limpo. Você controla o conteúdo da cena, movimentos de câmera e efeitos sonoros ou diálogo diretamente no prompt. O resultado é um clipe fiel à referência a 24 fps com áudio que reflete a cena escrita.

Modelos principais no fluxo de trabalho Comfyui FastH3 Omni Referência para Vídeo#

• FastVideo FastH3 OmniRef (Comfy). O ponto de verificação de difusão de 8 etapas que gera tanto o vídeo quanto o áudio a partir das entradas de referência mais um prompt. É destilado para tarefas de referência para vídeo, produzindo forte identidade e som sincronizado com etapas mínimas. Cartão do modelo
• MiniMax H3 Video VAE (int8 convrot). O VAE de vídeo que codifica e decodifica latentes espaço-temporais usados pelo modelo de difusão, permitindo amostragem compacta e reconstrução rápida. Arquivo do modelo
• MiniMax H3 Audio VAE (fp32). O VAE de áudio que lida com o caminho latente da forma de onda para que a trilha sonora gerada se alinhe com a linha do tempo visual. Arquivo do modelo
• Codificador de texto Qwen3-VL 32B MiniMax H3 NVFP4 AWQ. O grande codificador de texto visão-linguagem usado para analisar o prompt e alinhá-lo com referências para ação coerente, diretrizes de câmera e sugestões sonoras. Arquivo do modelo
• Modelo de referência. O modelo oficial de referência para vídeo da Comfy-Org que este fluxo de trabalho segue, adaptado para a Referência FastH3 Omni para Vídeo. Template JSON

Como usar o fluxo de trabalho Comfyui FastH3 Omni Referência para Vídeo#

Em um nível alto, o fluxo de trabalho carrega modelos, aplica patches de atenção e sigma, constrói condicionamento a partir de seu prompt e referências, executa uma difusão conjunta de vídeo e áudio em 8 etapas, decodifica em quadros e formas de onda, depois multiplica e salva um vídeo.

Modelos#

Este grupo carrega o modelo de difusão FastVideo FastH3 OmniRef, o VAE de vídeo e áudio MiniMax H3, e o codificador de texto NVFP4 AWQ. Manter esses componentes combinados garante que o cronograma de 8 etapas e o caminho conjunto de áudio se comportem conforme esperado. Não é necessário ajustar nada aqui além de selecionar o ponto de verificação correto. Carregue exatamente um modelo de difusão; VAEs e codificador de texto são ativos separados.

Patches de Modelo#

O modelo é patchado com MiniMaxH3SigmaShift para alinhar o cronograma de ruído para vídeo e áudio, e um backend de atenção é selecionado. ModelAttentionBackend usa o kernel rápido int8 para regiões densas, enquanto BlockSparseAttention é configurado para VSA para que clipes longos em resoluções mais altas permaneçam eficientes. Deixe essas escolhas conforme fornecidas para a Referência FastH3 Omni para Vídeo, já que o ponto de verificação é treinado para VSA e os shifts de sigma mostrados.

Condicionamento#

MiniMaxH3ReferenceToVideo constrói o condicionamento a partir de seu prompt e referências. Conecte sua imagem de referência no primeiro slot e escreva um prompt que a chame por tag, por exemplo "<Picture 1> caminha em direção à câmera, rastreamento manual, vento do oceano, gaivotas distantes." A largura e a altura vêm do seletor de resolução, e um controle simples de duração em segundos é convertido para a grade de quadros do modelo para que a reprodução permaneça alinhada. Se a fidelidade de identidade for crítica, defina o ref_image_size do nó para max; para velocidade, use match.

Amostragem#

O grupo de amostragem combina RandomNoise fixo ou aleatório, BasicGuider, um agendador simples, e o estágio SamplerCustomAdvanced. O cronograma é de 8 etapas para corresponder à receita FastH3 OmniRef destilada, que equilibra velocidade e fidelidade para referência para vídeo. Você pode alterar a semente para explorar variações sem alterar outras configurações. Os latentes de vídeo e áudio evoluem juntos para que os movimentos e sugestões sonoras permaneçam sincronizados.

Decodificação e criação de vídeo#

Após a amostragem, VAEDecode reconstrói quadros a partir dos latentes de vídeo e VAEDecodeAudio reconstrói a trilha sonora. CreateVideo multiplica quadros e áudio a 24 fps em sRGB e produz um único fluxo. SaveVideo escreve o arquivo final no disco usando padrões sensatos. O resultado é um clipe compacto que reflete tanto sua referência quanto sua cena escrita.

Entradas do Usuário#

• Seletor de Resolução (Tamanho). Escolha proporção e contagem de pixels para controlar detalhes e tempo de execução; widescreen 16:9 funciona bem para a maioria das tomadas.
• Float (Duração). Defina o comprimento do clipe em segundos; é arredondado para o valor mais próximo na grade de quadros do modelo 17k+5 para que o tempo seja limpo. Por exemplo, 5 s se tornam 124 quadros a 24 fps.
• Texto de Entrada (Prompt). Descreva ações de sujeito, linguagem de câmera e design sonoro ou diálogo. Refira-se às suas referências em ordem usando tags como "<Picture 1>".
• LoadImage. Adicione uma referência limpa e bem iluminada para aparência ou configuração. Você pode estender o nó para adicionar mais slots de referência, se necessário.

Nós principais no fluxo de trabalho Comfyui FastH3 Omni Referência para Vídeo#

MiniMaxH3ReferenceToVideo (#136) Este nó funde o prompt com uma ou mais referências e prepara o latente conjunto de vídeo e áudio. Use-o para direcionar retenção de identidade, movimentos de câmera e eventos sonoros em um lugar. Ajuste width, height, length, e ref_image_size para equilibrar fidelidade e velocidade. Mantenha os prompts concisos, mas explícitos sobre movimento e som para melhor sincronização.

BlockSparseAttention (#143) O patch de atenção habilita a atenção esparsa em bloco VSA para clipes mais longos e resoluções mais altas. Neste fluxo de trabalho, está configurado para VSA com uma porcentagem de preservação conservadora para manter a qualidade enquanto economiza computação. Deixe a seleção em VSA para a Referência FastH3 Omni para Vídeo; mudar para outros modos esparsos pode degradar os resultados. Aumentar a taxa de preservação aumenta a computação, enquanto diminuí-la pode reduzir a fidelidade.

MiniMaxH3SigmaShift (#141) O deslocamento de sigma alinha o cronograma de ruído de difusão entre vídeo e áudio para que ambos converjam de forma limpa em 8 etapas. Os deslocamentos de vídeo e áudio fornecidos são adaptados ao ponto de verificação OmniRef e devem ser mantidos como estão para saída consistente. Se você trocar por um ponto de verificação diferente da família MiniMax H3, consulte o cartão do modelo antes de alterar esses valores.

BasicScheduler (#124) O agendador dirige a trajetória de 8 etapas usada pelo modelo destilado. Manter as etapas em 8 retém o equilíbrio de velocidade e qualidade pretendido; mais etapas geralmente aumentam o tempo sem ganhos claros. Combine-o com uma semente fixa para reprodutibilidade, ou randomize a semente para explorar alternativas com a mesma estrutura.

Extras opcionais#

• Escreva prompts que emparelhem verbos de ação e câmera com som ambiente ou diálogo breve para alinhamento audiovisual apertado.
• Para máxima identidade, use uma referência de alta resolução e de frente e defina ref_image_size para max; para iteração mais rápida, use match.
• Se você perceber pressão de memória em durações longas, reduza a resolução ou encurte o clipe antes de mexer nas configurações de atenção.
• Use uma semente fixa enquanto desenvolve uma aparência, depois mude para sementes aleatórias para gerar uma variedade de tomadas a partir da mesma configuração.
• Para construir uma sequência de várias tomadas, renderize vários clipes curtos da mesma referência com diferentes prompts de câmera e corte-os em seu editor de vídeo.

Agradecimentos#

Este fluxo de trabalho implementa e baseia-se nos seguintes trabalhos e recursos. Agradecemos sinceramente à FastVideo pelo modelo FastH3-Omni-Comfy e a coleção de modelos FastH3 Omni, ao Hao AI Lab pelo blog de lançamento do FastVideo OmniRef, e à Comfy-Org pelo template de fluxo de trabalho de referência para vídeo, por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e repositórios vinculados abaixo.

Recursos#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Docs / Release Notes: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.