LTX 2.3 Director | Criador de Vídeos Cinematográficos com IA

LTX 2.3 Director: Criação de Filmes com IA Baseada em Timeline para ComfyUI#

O LTX 2.3 Director é um fluxo de trabalho cinematográfico e orientado por timeline para criar vídeos estruturados com IA com controle criativo preciso. Construído em torno do modelo de vídeo LTX‑2.3, ele permite que você dirija sequências de várias cenas organizando prompts, imagens de referência, transições e música ao longo de uma timeline familiar. O resultado é uma experiência estilo diretor dentro do ComfyUI, onde a continuidade do movimento, a composição de cenas e a sincronização de áudio são tratadas de forma coerente do início ao fim.

Projetado para contadores de histórias, criadores de videoclipes, editores de trailers e qualquer pessoa que construa pipelines de criação de filmes com IA, o LTX 2.3 Director converte a engenharia de prompts em um fluxo de produção completo. Você define o tom global, refina cada cena com prompts locais e visualiza rapidamente antes de se comprometer com uma escala de alta qualidade e exportação final.

Modelos principais no fluxo de trabalho LTX 2.3 Director para ComfyUI#

• Modelo de geração de vídeo LTX‑2.3 22B (FP8). Backbone de difusão principal que transforma texto e referências em latentes de vídeo coerentes. Model repo
• LTX‑2.3 Video VAE (bf16). Codifica e decodifica quadros de vídeo em um espaço latente compacto para amostragem eficiente e reconstrução de alta fidelidade. Model repo
• LTX‑2.3 Audio VAE (bf16). Embala e restaura áudio no latente AV conjunto para que movimento e trilha sonora permaneçam sincronizados. Model repo
• LTX‑2.3 Spatial Upscaler x2 v1.1. Melhorador latente x2 dedicado que aumenta o detalhe e a nitidez na passagem de refinamento. Model repo
• LTX‑2.3 22B Distilled LoRA (384). LoRA opcional que melhora a qualidade/eficiência e pode alterar a aparência do modelo. Model card
• Tiny VAE (taeltx2_3). VAE leve para visualizações rápidas durante a iteração antes da passagem de escala. Model repo
• LTX‑2.3 Text Projection (bf16). A projeção oficial de texto para vídeo usada para condicionamento de prompt de alta qualidade. Model repo

Como usar o fluxo de trabalho LTX 2.3 Director no ComfyUI#

O fluxo de trabalho é executado em duas etapas. A Etapa #1 estabelece composição, movimento e alinhamento de áudio em velocidade de visualização. A Etapa #2 faz a superamostragem, reorienta e refina detalhes para qualidade final. Um bloco de finalização decodifica, mistura áudio e gera o vídeo.

Modelos#

Esta seção prepara a pilha de modelos e o codificador de texto que alimentam o LTX 2.3 Director. Carregue o modelo base LTX‑2.3 e, se desejar, adicione LoRAs para ajustar estilo ou eficiência. Um VAE pequeno acelera visualizações enquanto os VAEs completos garantem fidelidade posterior. Os componentes de texto duplos incluídos com o LTX‑2.3 fornecem um condicionamento de prompt robusto sem configuração extra.

Nós principais a procurar: CheckpointLoaderSimple (#77), DualCLIPLoader (#84), LoraLoaderModelOnly (#80, #93, #95), VAELoaderKJ (#78, #4, #3) e LTX2SamplingPreviewOverride (#79).

Etapa #1#

A Etapa #1 converte sua timeline em um vídeo de primeira passagem coerente com áudio sincronizado. Alimente seu tom global e prompts por cena em LTXDirector (#46) e monte uma sequência de segmentos com imagens e durações; o nó retorna latentes AV combinados, dados de guia e uma taxa de quadros. LTXVConditioning (#5) e LTXDirectorGuide (#8) transformam essas direções em orientação estruturada. Uma pilha de amostradores com CFGGuider (#9), BasicScheduler (#11), KSamplerSelect (#29) e SamplerCustomAdvanced (#10) produz o latente AV inicial para toda a timeline. Use esta passagem para validar a ordem das cenas, o ritmo e a ampla movimentação antes de investir em computação para superamostragem.

Etapa #2 Superamostragem#

A Etapa #2 melhora a resolução e a fidelidade enquanto preserva a intenção da primeira passagem. LTXVCropGuides (#55) alinha a composição entre as cenas, então LTXVLatentUpsampler (#52) aplica o amplificador espacial x2 carregado por LatentUpscaleModelLoader (#57). Um segundo LTXDirectorGuide (#58) reinjeta as dicas da timeline com maior detalhe, e a pilha de amostradores (CFGGuider (#49), BasicScheduler (#54), KSamplerSelect (#53), SamplerCustomAdvanced (#47)) refina texturas, rostos e bordas. O latente AV é então separado para decodificação final enquanto retém o áudio e o tempo de vídeo vinculados.

Processar Vídeo#

O bloco de finalização decodifica quadros e áudio, reconstrói a sequência e salva o resultado. LTXVCropGuides (#14) garante cobertura para o aspecto escolhido, e VAEDecodeTiled (#94) decodifica com segurança vídeo de alta resolução sem esgotar a memória. LTXVAudioVAEDecode (#16) restaura a trilha sonora do latente de áudio. CreateVideo (#17) monta quadros e áudio na taxa de quadros escolhida, e SaveVideo (#30) grava o arquivo final.

Nós principais no fluxo de trabalho LTX 2.3 Director no ComfyUI#

• LTXDirector (#46). O coração do LTX 2.3 Director. Aceita um prompt global, uma timeline de segmentos de cena e prompts locais opcionais por cena, então gera orientação estruturada mais latentes AV sincronizados. Ajuste o equilíbrio entre prompts globais e locais para controlar o quão estritamente cada cena segue sua própria descrição. Para edições orientadas por cortes, mantenha as definições de segmento limpas; para transições fluidas, permita a sobreposição e linguagem de estilo consistente.
• LTXDirectorGuide (#8). Converte as dicas do diretor em guias acionáveis para a Etapa #1. Ajuste sua escala e método de reamostragem para trocar velocidade por fidelidade durante a passagem de visualização. Se as cenas parecerem muito grosseiras, aumente sua influência; se estiver muito restrito, reduza para que o amostrador possa respirar.
• LTXDirectorGuide (#58). Um segundo guia de maior fidelidade para a Etapa #2. Use-o para reafirmar enquadramento, intenção de câmera e estilo após a superamostragem. Equilibre este nó com o amplificador: uma orientação mais forte bloqueia a composição, enquanto um toque mais leve permite que o amplificador enfatize detalhes e microtextura.
• LTXVCropGuides (#55). Normaliza a composição e aplica regras de aspecto antes da superamostragem. Use-o para estabilizar horizontes, headroom e centro de interesse entre cortes. Se um personagem se mover de quadro a quadro, fortaleça esses guias de corte antes de reamostrar.
• LTXVLatentUpsampler (#52). Aplica o amplificador espacial LTX‑2.3 x2 ao latente. Esta é a principal alavanca para recuperar detalhes nítidos da visualização da Etapa #1. Certifique-se de que o modelo de amplificador escolhido corresponda ao seu par de VAE para evitar artefatos de incompatibilidade.
• CFGGuider (#9, #49). Controla a aderência ao prompt durante a amostragem. Valores mais baixos geralmente produzem movimentos mais suaves e transições mais naturais; valores mais altos reforçam a precisão textual. Se rostos ou objetos se moverem, aumente ligeiramente a orientação; se o movimento parecer rígido, alivie-o.
• BasicScheduler (#11, #54) e KSamplerSelect (#29, #53). Definem o cronograma de ruído e o método de amostragem. Juntos, determinam a textura do movimento, a estabilidade temporal e o tempo de renderização. Se você perceber cintilação, experimente um cronograma mais suave ou um amostrador conhecido por consistência temporal; se os resultados carecem de detalhes, teste um amostrador que favorece a nitidez.
• SamplerCustomAdvanced (#10, #47). O denoiser de trabalho para ambas as passagens. Combina sua semente de ruído, cronograma, guia e o latente atual para produzir latentes AV. Mantenha sementes fixas enquanto itera sobre prompts para comparar edições de forma consistente; mude as sementes quando quiser bloqueios ou tempos novos.
• VAEDecodeTiled (#94). Decodifica quadros de alta resolução com tiles configuráveis. Se você notar costuras, aumente a sobreposição; se atingir limites de memória, reduza o tamanho do tile. Use decodificação em tiles mesmo em GPUs de médio porte para uma estabilidade consistente.
• CreateVideo (#17) e SaveVideo (#30). Misturam quadros e áudio na taxa de quadros selecionada e gravam o contêiner final. Mantenha a taxa de quadros consistente com sua timeline ou você alterará o ritmo. Para masters de arquivamento, exporte no tamanho nativo da Etapa #2; para plataformas sociais, você pode redimensionar durante a exportação.

Extras opcionais#

• Construa sua timeline com uma espinha clara: estilo global no prompt global, especificidades de cena em prompts locais e mantenha substantivos de personagem/câmera consistentes entre os segmentos.
• Imagens de referência ancoram a aparência e o layout. Use-as para tomadas principais como quadros de estabelecimento ou close-ups, então deixe os segmentos vizinhos dependerem mais do texto para fluidez.
• Para videoclipes, adicione áudio cedo e itere sementes até que os acentos de movimento coincidam com os batimentos; então trave a semente e refine os prompts.
• Se as transições parecerem bruscas, prolongue os prompts de segmentos adjacentes para compartilhar linguagem de estilo e mantenha guias de composição semelhantes entre os cortes.
• LoRAs empilham, mas forças sutis costumam funcionar melhor. Comece modestamente, combine apenas alguns de cada vez e teste sua interação em um pequeno trecho.
• A reprodutibilidade importa: mantenha uma nota da semente de ruído, escolha de amostrador e quaisquer LoRAs usadas quando aprovar uma aparência.
• Se rostos oscilarem após a superamostragem, aumente a influência do guia na Etapa #2 LTXDirectorGuide (#58) ou mude para um cronograma que favoreça a estabilidade temporal.
• Explore recursos e modelos adicionais do LTX‑2.3 através da lista de curadoria da comunidade. awesome‑ltx2 no GitHub

Com o LTX 2.3 Director, você pode dirigir vídeos complexos e de várias cenas de uma maneira que pareça familiar para editores de timeline como Premiere ou After Effects, enquanto mantém a flexibilidade do gráfico de nós do ComfyUI. Molde a história na Etapa #1, adicione fidelidade na Etapa #2 e produza resultados cinematográficos com áudio sincronizado em um fluxo de trabalho coeso.

Agradecimentos#

Este fluxo de trabalho implementa e constrói com base nos seguintes trabalhos e recursos. Agradecemos imensamente a Aiwood爱屋研究室 pelo LTX 2.3 Director Workflow por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• Aiwood爱屋研究室/LTX 2.3 Director Workflow Source
  • Docs / Notas de Lançamento: LTX 2.3 Director Workflow Source

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.