Tutorial de Fluxo de Trabalho#
Fluxo de trabalho de vídeo na linha do tempo LTX 2.3 Director 2.0 para ComfyUI#
LTX 2.3 Director 2.0 é um fluxo de trabalho ComfyUI focado na linha do tempo para gerar, estender, refazer e editar vídeos LTX‑2.3 com reconhecimento de áudio. É construído em torno do nó de linha do tempo LTX Director 2.0 de terceiros e um pipeline de renderização em duas etapas que primeiro estabelece a cena, depois aprimora e refina. O resultado é um processo controlável, em estilo de tela, ideal para cineastas de IA que desejam sequências mais longas e sincronizadas sem abrir mão da iteração criativa.
Este gráfico verificado aciona o modelo destilado Lightricks’ LTX‑2.3 22B com VAEs de vídeo e áudio dedicados, além do aprimorador espacial LTX‑2.3 x2. As instruções, guias de movimento e refações opcionais são criadas diretamente na linha do tempo, e o fluxo de trabalho mantém automaticamente o enquadramento estável durante o aprimoramento de Estágio 2. Está pronto para RunComfy e projetado para produção diária confiável.
Modelos principais no fluxo de trabalho Comfyui LTX 2.3 Director 2.0#
- Lightricks LTX‑2.3 22B Destilado (apenas transformer) – a base generativa de vídeo que sintetiza movimento e visuais a partir de texto e guias. Model card
- LTX‑2.3 Video VAE (bf16) – codifica/decodifica latentes de vídeo para desnoise eficiente e reconstrução final de quadros. Assets
- LTX‑2.3 Audio VAE (bf16) – transforma áudio da linha do tempo em latentes para orientação com reconhecimento de áudio e restaura a forma de onda no final. Assets
- LTX‑2.3 Spatial Upscaler x2 v1.1 – super-resolução no espaço latente que dobra o detalhe espacial antes da passagem final. Assets
- LTX‑2.3 Text Projection – mapeia instruções no espaço de incorporação do modelo para condicionamento consistente. Assets
- Tiny VAE opcional para pré-visualizações (taeltx2_3) – VAE de pré-visualização leve usado para pré-visualizações rápidas de modelo. Kijai LTX2.3_comfy
As ferramentas de linha do tempo e nós de guia são fornecidos pela extensão customizada ComfyUI de WhatDreamsCost. WhatDreamsCost‑ComfyUI
Como usar o fluxo de trabalho Comfyui LTX 2.3 Director 2.0#
Este fluxo de trabalho ocorre em dois estágios coordenados: o Estágio 1 constrói um vídeo de base coerente e um latente de áudio a partir da linha do tempo do LTX Director; o Estágio 2 aprimora, preserva o enquadramento e refina os detalhes; o grupo Process Video decodifica quadros, restaura áudio, define fps e grava o arquivo final.
Modelos + Pré-visualização#
O grupo “Modelos + Pré-visualização” carrega a base destilada LTX‑2.3 22B, VAEs de vídeo e áudio, e o aprimorador espacial x2. ModelPreviewOverrideKJ (#10) emparelha a base com um pequeno VAE de pré-visualização para que você possa verificar e conferir as instruções antes da amostragem completa. LTXDirector (#131) é a tela onde você define a duração, taxa de quadros, instruções globais e por segmento, dicas de movimento e configurações de áudio. Se planejar refações iterativas, mantenha a semente RandomNoise (#30) constante para manter a estrutura através das edições.
Estágio #1#
O Estágio 1 converte sua linha do tempo em condicionamento e um latente de áudio-vídeo base. LTXVConditioning (#27) recebe condicionamento positivo do diretor e um negativo zerado via ConditioningZeroOut (#128) para uma base limpa. LTXDirectorGuide (#133) mescla dados de guia, guias de movimento, o modelo e o VAE de vídeo para produzir condicionamento guiado e um vídeo latente inicial; o áudio do diretor é combinado via LTXVConcatAVLatent (#29). A pilha de amostragem (CFGGuider (#28), BasicScheduler (#33), KSamplerSelect (#32), SamplerCustomAdvanced (#31)) desnoise este latente AV em um resultado de primeira passagem, que é então dividido por LTXVSeparateAVLatent (#34) para que o latente de áudio possa ser levado adiante.
Estágio #2 Aprimoramento#
O Estágio 2 preserva seu enquadramento enquanto adiciona detalhe espacial e refinamento. LTXDirectorCropGuides (#55) analisa o latente de vídeo do Estágio 1 e o condicionamento para produzir guias de corte que mantêm os sujeitos estáveis durante o aprimoramento. LTXVLatentUpsampler (#14) aplica o modelo espacial x2 do LTX‑2.3 ao vídeo latente usando o VAE de vídeo completo, então LTXDirectorGuide (#132) reaplica a orientação da linha do tempo ao latente de maior resolução e o reúne com o latente de áudio transportado via LTXVConcatAVLatent (#18). A segunda pilha de amostragem (CFGGuider (#17), BasicScheduler (#21), KSamplerSelect (#20), SamplerCustomAdvanced (#19)) produz o latente AV final; uma última passagem de LTXDirectorCropGuides (#54) garante que os cortes sejam respeitados antes da decodificação.
Processar Vídeo#
VAEDecode (#1) transforma o vídeo latente final em quadros com o VAE de vídeo de alta fidelidade, enquanto LTXVAudioVAEDecode (#24) restaura a forma de onda do latente de áudio. CreateVideo (#2) combina quadros e áudio na taxa de quadros transmitida pelo diretor, e SaveVideo (#37) grava o arquivo na pasta de saída definida no nó. Se seu resultado final parecer desalinhado com o tempo, ajuste a taxa de quadros do diretor ou os limites dos segmentos da linha do tempo e re-renderize.
Principais nós no fluxo de trabalho Comfyui LTX 2.3 Director 2.0#
LTXDirector (#131)#
O cérebro da linha do tempo do fluxo de trabalho. Crie a instrução global, coloque instruções por segmento, habilite trilhas de áudio e movimento, e defina duração e taxa de quadros. Use refações especificando a janela de refação e a instrução; apenas essa janela será regenerada, preservando o contexto ao redor. Habilite a edição com reconhecimento de áudio para que a trilha sonora ou VO influenciem o ritmo e a ênfase. A entrada de latente opcional pode ser usada para ancorar iterações quando se deseja uma estrutura de tomada consistente.
LTXDirectorGuide (#133)#
Guia de Estágio 1 que converte instruções de linha do tempo, dados de guia e dicas de movimento em condicionamento e um vídeo latente de semente. Estabelece composição e fluxo de movimento na resolução base. Ajuste-o quando precisar de maior aderência narrativa ou bloqueio mais claro antes do aprimoramento. Suas saídas dirigem o amostrador de Estágio 1 e preparam a orientação de corte para o próximo estágio.
LTXDirectorGuide (#132)#
Guia de Estágio 2 operando após o aprimoramento espacial x2. Reinjeta a mesma inteligência de linha do tempo em maior resolução para que os detalhes fiquem mais nítidos sem quebrar a composição. Quando você busca mais textura ou micro-movimento, incline as decisões aqui para que o Estágio 2 refine em vez de reescrever sua intenção de Estágio 1.
LTXVLatentUpsampler (#14)#
Aplica o aprimorador espacial x2 v1.1 do LTX‑2.3 no espaço latente para adicionar detalhes de forma eficiente. Use-o para dobrar a fidelidade espacial antes da passagem final de desnoise, o que geralmente melhora bordas, pequenos acessórios e tipografia. Deixe-o engajado para renders mestre; considere bypass apenas para previs muito rápidas.
LTXDirectorCropGuides (#55)#
Calcula janelas de corte por segmento para que o enquadramento do sujeito sobreviva ao caminho de aprimoramento. Use-o sempre que tiver composições específicas de tomadas, reenquadramentos ou letterboxing para manter uma aparência consistente em ambos os estágios. Se você vir cortes flutuantes, revise seus segmentos de linha do tempo e regenere guias.
SamplerCustomAdvanced (#31)#
Amostrador de Estágio 1 que traduz condicionamento no latente AV base. Emparelhe-o com o guia e agendador de Estágio 1 para equilibrar aderência e exploração. Para refações estáveis, mantenha a mesma semente de ruído; para novas variações, randomize a semente.
SamplerCustomAdvanced (#19)#
Amostrador de Estágio 2 que finaliza o detalhe após o aprimoramento. Deve permanecer harmonizado com as escolhas de Estágio 1 para que o refinamento permaneça fiel. Quando os resultados parecerem muito suavizados ou muito afiados, ajuste o tipo de amostrador ou emparelhamento de agendador aqui primeiro.
Extras opcionais#
- Para estender uma sequência, adicione segmentos na linha do tempo do diretor e aumente a duração; o fluxo de trabalho propagará automaticamente o novo tempo e áudio.
- Para edições sincronizadas com batidas, habilite a edição com reconhecimento de áudio e coloque segmentos de áudio; o VAE de áudio guiará movimento e ênfase durante a amostragem.
- Se desejar refações reprodutíveis, mantenha
RandomNoise(#30) fixo; para explorar alternativas, altere a semente entre renderizações. - O VAE de pré-visualização acelera o desenvolvimento visual; confie na decodificação do VAE de vídeo apenas para finais para economizar tempo.
- Mantenha o método de redimensionamento do diretor em manter-aspecto para evitar estiramento não intencional após o passo de aprimoramento.
- A organização de saída é controlada em
SaveVideo(#37); configure uma pasta clara por projeto para manter as iterações organizadas.
Links e referências
- Modelos e ativos LTX‑2.3: Lightricks/LTX‑2.3
- Nós de linha do tempo e guia: WhatDreamsCost‑ComfyUI
- Utilitários de pré-visualização: ComfyUI‑KJNodes
- Tiny preview VAE: Kijai LTX2.3_comfy
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos especialmente a MDMZ pelo tutorial de fluxo de trabalho, WhatDreamsCost pelos nós WhatDreamsCost-ComfyUI, e Lightricks pelo modelo LTX-2.3 por suas contribuições e manutenção. Para detalhes autorizados, consulte a documentação original e repositórios abaixo.
Recursos#
- Tutorial de fluxo de trabalho MDMZ (YouTube)
- Documentos / Notas de Lançamento: Fonte do tutorial de fluxo de trabalho
- Canal YouTube de WhatDreamsCost
- Documentos / Notas de Lançamento: Canal YouTube de WhatDreamsCost
- WhatDreamsCost/WhatDreamsCost-ComfyUI
- Lightricks/LTX-2.3
- Hugging Face: Lightricks/LTX-2.3
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
