Fluxo de Trabalho Pika H3 Flex ComfyUI: duas imagens de referência para vídeo com áudio estéreo e comparação A/B Turbo#
Este fluxo de trabalho Pika H3 Flex ComfyUI transforma duas imagens de referência mais um prompt de cena em um vídeo curto com áudio estéreo sincronizado. É projetado para artistas e pesquisadores que desejam resultados rápidos e de alta qualidade de referência para vídeo e uma comparação A/B justa entre o caminho Pika H3 Flex Turbo Ref2VA e um caminho MiniMax H3 Turbo usando os mesmos assuntos, prompt, dimensões e semente.
Nos bastidores, o fluxo de trabalho constrói um único condicionamento e latente a partir de suas referências, depois executa dois ramos de amostragem paralelos de oito passos. Cada ramo decodifica vídeo e áudio e escreve seu próprio MP4, o que facilita julgar estilo, fidelidade de movimento e plausibilidade de áudio, mantendo todo o resto constante.
Modelos principais no Fluxo de Trabalho Pika H3 Flex ComfyUI#
- Pika-Labs Pika H3 Flex. Modelo de vídeo base e ativos que informam a aparência e os antecedentes de movimento do ramo Pika. Veja o cartão do modelo para capacidades e notas de uso recomendadas. Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA. Um adaptador leve otimizado para Ref2VA rápido e de alta qualidade no H3 Flex com forte manutenção de identidade e movimento nítido em poucos passos. Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA. A espinha dorsal de difusão usada aqui para condicionamento de referência para vídeo, emparelhada com VAEs e codificador de texto do pacote MiniMax H3. WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE e Audio VAE. Decodificadores para quadros e formas de onda estéreo usados por ambos os ramos para reconstruir visuais e som. Comfy-Org/MiniMax-H3
Como usar o Fluxo de Trabalho Pika H3 Flex ComfyUI#
O gráfico é organizado em grupos que passam um estado coerente. Ambos os ramos compartilham as mesmas referências, prompt, dimensões e semente, depois divergem apenas no estágio LoRA para produzir duas saídas comparáveis.
Modelos#
Este grupo carrega o MiniMax H3 UNet, codificador de texto e os VAEs de vídeo e áudio emparelhados, depois os registra para reutilização. Você não precisa mudar nada aqui, a menos que esteja trocando variantes de modelo de seus cartões de modelo. O backend de atenção é configurado para favorecer atenção eficiente e estável adequada para cargas de trabalho de vídeo. Todos os objetos de modelo são armazenados via nós de get/set para que todas as etapas posteriores possam referenciar uma única fonte de verdade.
Entradas do Usuário#
Use os dois carregadores de imagem para trazer seus assuntos. Os fundos são removidos automaticamente para enfatizar identidade e pose, o que aumenta a consistência de aparência quando os assuntos são colocados em uma nova cena. Insira sua descrição de cena no Prompt de Texto; você pode opcionalmente incluir uma linha “Áudio:” para direcionar efeitos sonoros e ambiente. Escolha proporção e megapixels; o Selecionador de Resolução calcula uma largura e altura múltipla de 32, e a duração é convertida em uma contagem de quadros que se alinha com o amostrador para movimento suave. Defina FPS e semente para controlar a sensação de reprodução e a reprodutibilidade em ambas as saídas.
Montagem de prompt e configurações#
Um breve guia de estilo é adicionado ao seu prompt via uma etapa de concatenação de strings para estimular o realismo e a coerência temporal. Você pode mantê-lo, editá-lo ou substituí-lo completamente para combinar com o tom do seu projeto. O prompt final é armazenado e recuperado de forma consistente para que ambos os ramos recebam o texto idêntico. Largura, altura, contagem de quadros e semente são igualmente centralizados para garantir uma comparação justa.
Condicionamento#
MiniMaxH3ReferenceToVideo (#6617) ingere as duas referências com fundo limpo, o prompt empacotado e as dimensões compartilhadas para construir um condicionamento positivo mais um latente inicializado para vídeo e áudio. O nó funde pistas de identidade de ambas as imagens com sua intenção de cena, produzindo um plano de movimento base e um esboço de áudio. Esse único objeto de condicionamento é exportado para ambos os amostradores, garantindo que os ramos Pika e Turbo diferem apenas por sua pilha LoRA e caminho interno do amostrador.
LoRAs#
Duas pilhas LoRA são preparadas a partir do mesmo modelo base. Uma aplica o Pika H3 Flex Turbo Ref2VA LoRA para enfatizar a aparência Pika enquanto preserva a identidade em muito poucos passos. A outra aplica um MiniMax H3 Turbo Ref2V LoRA ajustado para velocidade e nitidez. Como a mesma semente, prompt e condicionamento são usados, quaisquer diferenças que você veja refletem o estilo e a dinâmica de cada LoRA em vez de mudanças nas entradas.
Amostragem Normal - Pika H3 Flex#
Este ramo seleciona o modelo registrado ajustado para Pika, semeia um campo de ruído e executa um amostrador de oito passos com o condicionamento compartilhado. Após a remoção de ruído, o latente de vídeo e o latente de áudio são decodificados pelos VAEs MiniMax H3. VHS_VideoCombine combina quadros e áudio estéreo em um MP4 e salva com um prefixo de nome de arquivo específico do Pika. Use esta saída para julgar estabilidade de identidade, integridade facial, suavidade de movimento e como o som sintetizado corresponde à sua orientação “Áudio:”.
Amostragem Normal - Turbo LoRA#
Este ramo espelha o caminho Pika, mas troca pelo MiniMax H3 Turbo LoRA. O mesmo amostrador de oito passos, semente, prompt e matemática de quadros são aplicados para manter o teste justo. A decodificação usa os mesmos VAEs, então VHS_VideoCombine escreve um segundo MP4 com um prefixo Turbo. Comparar os dois arquivos lado a lado revela os compromissos em textura, agressividade de movimento e detalhe de áudio entre as rotas Pika H3 Flex Turbo e MiniMax H3 Turbo.
Nós principais no Fluxo de Trabalho Pika H3 Flex ComfyUI#
MiniMaxH3ReferenceToVideo (#6617)#
Centraliza Ref2VA combinando suas duas referências, prompt e dimensões alvo em um único condicionamento positivo e um latente inicial. Ajuste apenas o essencial aqui: prompt da cena, escolha e ordem das imagens de referência e a duração/tamanho que se encaixam na sua cena. Mantenha as mesmas configurações ao comparar ramos para que as diferenças reflitam o LoRA, não o condicionamento. O nó é projetado para conduzir tanto o vídeo quanto o áudio estéreo que são decodificados a jusante usando os VAEs MiniMax H3 descritos em seu cartão de modelo.
Resolution Selector (Size) (#6345)#
Escolhe proporção e megapixels, depois retorna largura e altura alinhadas a múltiplos de 32 para decodificação eficiente. Use como o único lugar para dimensionar ambos os ramos, o que minimiza artefatos de reamostragem e mantém o detalhe por quadro consistente. Aumentar a resolução aumenta o custo computacional e reduz a margem de tempo de passo, então escale gradualmente ao ajustar aparência e movimento.
StringConcatenate (#6346)#
Aplica um guia de realismo compacto antes do seu prompt. Se você preferir um tom ou estilização diferente, substitua ou remova o guia para que sua própria redação domine. Manter este nó consistente em execuções ajuda a preservar a integridade A/B ao testar mudanças sutis de fraseado.
BasicScheduler (#6742, #6767)#
Fornece um cronograma de oito passos otimizado para resultados rápidos e estáveis nesta configuração Ref2VA. Menos passos trocam detalhe por velocidade, enquanto mais passos adicionam refinamento ao custo de tempo. Para comparações limpas entre ramos, mantenha os passos idênticos.
VHS_VideoCombine (#6758, #6776)#
Combina quadros decodificados e áudio estéreo em arquivos MP4 finais. Controle o formato e a taxa de quadros aqui e mantenha ambos os ramos sincronizados. Se você mudar a duração a montante, confirme as configurações do escritor para que o áudio e o vídeo permaneçam alinhados.
Extras opcionais#
- Prepare ambas as imagens de referência com pose, iluminação e corte semelhantes para melhorar a estabilidade de identidade e reduzir o desvio facial.
- Se um fundo ocupado vazar para o assunto, tente uma matização mais forte ou forneça recortes mais limpos; você também pode ignorar a remoção de fundo se suas referências já estiverem bem isoladas.
- Mantenha a mesma semente ao fazer comparações Pika vs Turbo; altere apenas um fator de cada vez.
- Comece com uma configuração de megapixels moderada, confirme a sensação de movimento e áudio, depois escale a resolução quando gostar da composição.
- Para diálogo ou efeitos sonoros específicos, formule sua linha “Áudio:” de forma sucinta; pistas ambientais e ações simples tendem a sintetizar de forma mais confiável.
Recursos para os modelos usados neste Fluxo de Trabalho Pika H3 Flex ComfyUI:
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos imensamente à Pika-Labs pelo Pika-H3-Flex e Pika-H3-Flex-Turbo-LoRA, WarmBloodAban pelo Minimax-h3_Singularity, e Innovate Futures @ Benji por “Pika H3 Flex: Ajuste Fino Próprio de Pika do MiniMax H3, Testado no ComfyUI” por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- Innovate Futures @ Benji/Pika H3 Flex: Ajuste Fino Próprio de Pika do MiniMax H3, Testado no ComfyUI
- Docs / Notas de Lançamento: Pika H3 Flex: Ajuste Fino Próprio de Pika do MiniMax H3, Testado no ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.