Pipeline de Filme 3D | Criador de Vídeo Cinematográfico

Pipeline de Filme 3D para ComfyUI#

O Pipeline de Filme 3D é um fluxo de trabalho do ComfyUI focado em produção por Mickmumpitz.ai que transforma passes de cena 3D estruturados em vídeo cinematográfico com AI. Ele combina layouts de profundidade, renderizações de argila, movimentos de câmera e máscaras de boca opcionais com o modelo de vídeo LTX‑2.3 para preservar o layout espacial, lente e continuidade enquanto você dirige movimento, aparência e tempo.

Desenvolvido para cineastas, animadores e contadores de histórias visuais, o Pipeline de Filme 3D simplifica a produção de múltiplas tomadas. Você obtém controles de posicionamento de quadros, atenção avançada para orientação de objetos e regiões, lip-sync opcional a partir de uma faixa de voz e um estágio de imagem auxiliar para pré-visualização rápida de aparência de tomadas, tudo dentro do ComfyUI.

Modelos principais no fluxo de trabalho do Pipeline de Filme 3D do ComfyUI#

Pilha de vídeo principal

• LTX‑2.3 (22B) por Lightricks. O modelo primário de geração de vídeo que segue texto, sinais de controle e guias 3D para sintetizar filmagens temporalmente coerentes. Model card
• LTX Audio VAE (embutido com LTX‑2.3). Codifica e decodifica áudio como um latente de áudio para que o modelo possa sincronizar formas de boca e movimento com a fala. Model bundle
• Gemma 3 12B Instruct text encoder for LTX‑2.x. Fornece a incorporação de linguagem usada pelo LTX‑2.3 para prompts. Pré-embalado para ComfyUI. Files
• LTX‑2.3 Distilled LoRA 384‑1.1. Acelera a amostragem de poucos passos e estabiliza a aparência quando usado com o checkpoint de desenvolvimento. LoRA
• LTX‑2 19B IC‑LoRA Detailer. Melhora o detalhe local e a fidelidade de borda no vídeo gerado. LoRA
• LTX‑2.3 OmniNFT RL LoRA. Auxiliar de reforço de estilo e consistência para a pilha de vídeo. LoRA
• IC‑LoRA Union‑Control (ref 0.5). Um LoRA de alinhamento de referência usado para manter a cor e a estrutura fiéis aos guias; a versão 19B é frequentemente preferida para LTX‑2.3. LoRA family

Pilha de imagem opcional de pré-visualização

• FLUX.2 Klein 9B (FP8). Gerador de imagem rápido usado aqui para transformar Canny + Depth em um quadro estilizado para desenvolvimento de aparência. Model card
• Qwen 3 8B text encoder for FLUX‑2. Files
• Flux‑2 VAE. VAE de imagem compatível com FLUX‑2. Files
• Flux2‑Klein‑9B‑Consistency‑V2 LoRA. Melhora a consistência de cor e conteúdo em quadros de pré-visualização. LoRA

Implementação de referência dos nós LTX para ComfyUI: ComfyUI‑LTXVideo

Como usar o fluxo de trabalho do Pipeline de Filme 3D no ComfyUI#

O Pipeline de Filme 3D combina três entradas do seu DCC ou ferramenta de layout — um filme de Profundidade, um filme de Argila/Layout, e um filme de Máscara de Boca opcional — então executa o LTX‑2.3 com atenção avançada, quadros de referência, e lip-sync opcional para renderizar a tomada final. Um ramo de pré-visualização de imagem com FLUX.2 ajuda você a ajustar a aparência antes de se comprometer com uma passagem completa.

Configuração de resolução e tomada#

Use ResolutionPicker (#6082) para definir sua largura e altura de trabalho. O pipeline espera dimensões divisíveis por 64 para tiling eficiente e atenção estável. Mantenha o mesmo aspecto em todas as entradas para que o Pipeline de Filme 3D possa alinhar os passes sem cortes ou letterboxing indesejados. Se você quiser testes rápidos, reduza a contagem de quadros usando FRAME LOAD CAP (#6214).

Quadros de entrada (Início, Meio, Fim)#

Carregue imagens de referência em START (LoadImage (#6108)), MIDDLE (#6139), e END (#6102). O fluxo de trabalho lê seu tamanho com GetImageSize+ (#6071) e redimensiona os guias de acordo. Esses quadros podem ser colocados em índices específicos na linha do tempo para travar poses chave, definir marcos da história ou forçar uma transição de aparência. O Pipeline de Filme 3D usa essas referências como âncoras enquanto interpola movimento e continuidade entre elas.

Passes de renderização: Profundidade, Argila/Layout, Máscara de Boca#

• DEPTH (VHS_LoadVideo (#5893)) traz seu filme de profundidade do aplicativo 3D. Isso guia perspectiva, oclusão e colocação volumétrica para que o LTX‑2.3 respeite movimentos de câmera e blocos.
• CLAY / LAYOUT (VHS_LoadVideo (#6094)) fornece uma renderização de sombreamento plano ou cinza para dirigir silhuetas, design de cenário e dicas de iluminação. Um passe de borda Canny (CannyEdgePreprocessor (#6095)) é derivado dele para afiar a orientação estrutural.
• MOUTH MASK (VHS_LoadVideo (#6059)) é opcional e marca a região da boca por quadro. O Pipeline de Filme 3D a usa como uma máscara de atenção para que o movimento dos lábios possa ser refinado sem perturbar o restante do rosto.

Ajuste da máscara de boca#

Se você fornecer um vídeo de máscara, ImageToMask (#6060) converte quadros em máscaras e GrowMaskWithBlur (#6197) expande e suaviza as bordas para uma repintura mais tolerante. USE MASK VIDEO? (#6244) permite alternar entre uma máscara sólida gerada e o vídeo de máscara de entrada. Isso mantém as edições de sincronização labial bem delimitadas e reduz artefatos fora da área de fala.

Montagem do vídeo de condução#

Os fluxos de profundidade e layout são normalizados com ImageResizeKJv2 (#6097, #6099, #6103). BatchColorCorrector (#6100) equilibra tonalidade e cor para que o modelo veja exposição e paleta consistentes ao longo da sequência. O Pipeline de Filme 3D então mistura o contorno Canny com o layout corrigido usando ImageBlend (#6096) para formar um vídeo de condução unificado que o gerador segue.

Narração#

Adicione narração ou diálogo usando LoadAudio (#5883). Ele é roteado para o modelo através de Set_VoiceOver (#6248) e Get_VoiceOver (#6249). Quando a sincronização labial está habilitada no sampler, o Pipeline de Filme 3D usa este áudio para sincronizar formas de boca e micro-movimento com o conteúdo falado.

Gerar com LTX‑2.3#

O nó sampler LTX 2.3 (#6202) é o coração do Pipeline de Filme 3D. Ele recebe modelo, codificador de texto, VAE e VAE de áudio; o vídeo de condução misturado; máscara de atenção opcional; e seu prompt de PROMPT (#6203). Alternadores permitem que você coloque quadros de Início/Meio/Fim em posições definidas, misture sua influência, habilite ou desative sinais de controle, e ative a sincronização labial. O caminho de atenção avançada passa por nós de guia de vídeo LTX para ponderar quadros e regiões para que assuntos importantes permaneçam no modelo.

Saída#

O nó escreve um filme pronto para edição com SaveVideo (#6109). Para pipelines alternativos ou pré-visualizações lado a lado, o fluxo de trabalho também inclui VHS_VideoCombine (#6057). Use a mesma taxa de quadros em todas as etapas para manter áudio, máscara e guia perfeitamente alinhados no Pipeline de Filme 3D.

Pré-visualização de imagem opcional com FLUX.2#

Para desenvolvimento de aparência rápida sem re-renderizar uma tomada completa, o ramo de imagem carrega imagens Canny (CANNY (#7468)) e Profundidade (DEPTH (#7469)), mistura-as (ImageBlend (#7466)), e solicita FLUX.2 Klein 9B (SAMPLER (#7465)). O LoRA de consistência ajuda a manter cores e detalhes fiéis aos seus guias. Use SaveImage (#7444) para exportar quadros de pré-visualização que informam suas escolhas de prompt e LoRA antes de executar o Pipeline de Filme 3D completo.

Nós principais no fluxo de trabalho do Pipeline de Filme 3D no ComfyUI#

LTX 2.3 (#6202)

• Função: Gerador de vídeo principal que funde texto, guias 3D, passes de controle e áudio na sequência final.
• O que ajustar: Ative a sincronização labial ao fornecer áudio; alterne a orientação no estilo ControlNet e ajuste a força geral; coloque quadros de START, MIDDLE e END e misture sua influência para travar marcos importantes. Mantenha a taxa de quadros consistente com suas entradas para evitar desvio de tempo.

DEPTH (#5893)

• Função: Carrega o filme de profundidade que estabelece geometria de cena e movimento de câmera.
• O que ajustar: Combine a resolução com ResolutionPicker e mantenha o mesmo comprimento que os clipes de layout e máscara. Use FRAME LOAD CAP para iteração rápida durante o desenvolvimento de aparência.

CLAY / LAYOUT (#6094)

• Função: Fornece o layout ou renderização de argila usado para extrair bordas e direcionar composição, intenção de iluminação e silhuetas.
• O que ajustar: Alinhe com a resolução do passe de profundidade; se você mudar a gradação a montante, execute novamente BatchColorCorrector para que a orientação permaneça consistente.

USE MASK VIDEO? (#6244)

• Função: Alterna entre uma máscara de boca sólida gerada e o vídeo de máscara de entrada.
• O que ajustar: Use o vídeo de máscara quando a sincronização labial precisar de precisão por quadro; mude para a máscara sólida quando você precisar apenas de uma região protegida ampla.

LTXICLoRALoaderModelOnly (#6223)

• Função: Carrega o union-control IC-LoRA usado para alinhamento de referência e fidelidade de cor/estrutura.
• O que ajustar: Escolha a variante que melhor corresponde ao LTX-2.3 em seus testes; muitas produções preferem a versão 19B para aderência mais estreita ao executar o Pipeline de Filme 3D.

Extras opcionais#

• Mantenha todas as entradas com a mesma duração e taxa de quadros para manter a sincronização ao longo do Pipeline de Filme 3D.
• A profundidade deve ser limpa e temporalmente estável. Se o seu DCC exportar EXR ou PNG de 16 bits, converta uma vez para um formato intermediário e reutilize-o para todas as iterações.
• Quadros de Início/Meio/Fim funcionam melhor quando mostram poses ou estados de iluminação distintos e relevantes para a história; evite quase duplicatas.
• Se a região da boca piscar, expanda ligeiramente a máscara em GrowMaskWithBlur para incluir lábios, dentes e uma borda fina de pele.
• Para tomadas grandes, itere com FRAME LOAD CAP e uma resolução menor, depois volte para a resolução completa para os finais.
• Ao alternar do checkpoint de desenvolvimento para o checkpoint destilado, desative o LoRA destilado para evitar sobre-restrição.
• Use o ramo de pré-visualização FLUX.2 para testar paleta e estilo com seus guias Canny e Depth reais antes de executar o Pipeline de Filme 3D completo.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos a MickMumpitz.ai pelo 3D Movie Pipeline Workflow Source por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação e os repositórios originais vinculados abaixo.

Recursos#

• MickMumpitz.ai/3D Movie Pipeline Workflow Source
  • Docs / Release Notes: 3D Movie Pipeline Workflow Source

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.