Controle de Câmera LTX 2.3 IC-LoRA para ComfyUI#
O Controle de Câmera LTX 2.3 IC-LoRA é um fluxo de trabalho de movimento de câmera orientado por referência para LTX-Video 2.3 no ComfyUI. Dê a ele um vídeo de referência curto e uma sugestão criativa, e ele transferirá a trajetória da câmera da referência para uma cena recém-gerada, preservando a composição do sujeito e a coerência temporal enquanto você foca no conteúdo, iluminação e atmosfera.
Desenvolvido para cineastas, artistas de VFX e criadores de IA, este fluxo de trabalho do ComfyUI reproduz panorâmicas, inclinações, movimentos de dolly, zooms e órbitas com força de movimento ajustável. Ele combina a geração unificada de áudio e vídeo do LTX-2.3 com um In-Context LoRA adaptado para controle de câmera, para que você obtenha movimento suave, enquadramento consistente e áudio sincronizado em uma única passagem.
Modelos principais no fluxo de trabalho de Controle de Câmera LTX 2.3 IC-LoRA do ComfyUI#
- Lightricks LTX-2.3. Um transformador de difusão que gera vídeo e áudio conjuntamente, proporcionando forte coerência temporal e som sincronizado em uma única passagem. É o gerador principal neste fluxo de trabalho e o alvo para a orientação do IC-LoRA. Model card
- LTX-Video VAE. O VAE de vídeo espaço-temporal usado pelo LTX comprime quadros em um espaço latente compacto para despoluição eficiente, depois decodifica quadros de alta qualidade no final da amostragem. Veja o contexto da arquitetura nos relatórios técnicos para LTX-Video e LTX-2.
- Codificador de texto ajustado por instrução Gemma. Um codificador de texto Gemma ajustado por instrução converte suas sugestões em vetores de condicionamento que o gerador pode seguir, permitindo descrições de tomadas detalhadas e controle de estilo.
- LTX 2.3 IC-LoRA para Controle de Câmera. Um adaptador In-Context LoRA especializado que extrai dicas de movimento de câmera do vídeo de referência e as injeta no LTX-2.3, alinhando a câmera virtual da nova cena com o caminho de referência.
Como usar o fluxo de trabalho de Controle de Câmera LTX 2.3 IC-LoRA do ComfyUI#
Este fluxo de trabalho é organizado em grupos que preparam sua referência, constroem o condicionamento e executam a amostragem antes de juntar áudio e vídeo. O IC-LoRA extrai o movimento da câmera da referência enquanto sua sugestão define o que aparece na tela.
Configuração de Vídeo de Entrada#
Use as entradas neste grupo para definir quadros por segundo, duração do clipe e a dimensão do lado mais longo. Esses três valores determinam o orçamento de quadros e a resolução de trabalho para toda a execução. Manter FPS e duração alinhados à sua referência ajuda o IC-LoRA a reproduzir o tempo e a velocidade do movimento original. Escolha uma dimensão que se ajuste à sua proporção de aspecto de entrega e ao orçamento de desempenho. Se você estiver experimentando, comece modestamente e aumente uma vez que o movimento pareça correto.
Preparar Vídeo de Referência#
Carregue sua referência de câmera com VHS_LoadVideo (#5983). O pipeline dimensiona e normaliza os quadros para o modelo, depois os analisa para calcular tamanhos e contagens, garantindo dimensões que funcionam bem com o LTX-2.3. Tomadas suaves, de uma única vez, sem cortes, funcionam melhor para o Controle de Câmera LTX 2.3 IC-LoRA, já que o adaptador está aprendendo o caminho da câmera em vez de edições de história. Panorâmicas, inclinações, movimentos de dolly, zooms e órbitas são todos suportados; evite clipes instáveis ou mudanças rápidas de cena. Se sua referência for mais longa do que seu alvo, corte-a para o segmento mais representativo.
Pré-processamento#
O fluxo de trabalho cria um vídeo latente vazio alinhado à resolução e duração escolhidas, depois opcionalmente ancora a aparência a partir de uma imagem estática usando LTXVImgToVideoConditionOnly (#5904). Fornecer uma imagem estática no estilo pode melhorar a consistência do sujeito e da paleta enquanto deixa o movimento para o IC-LoRA. Esta etapa também calcula dimensões seguras e amigáveis ao modelo e garante que a linha do tempo latente corresponda ao ritmo da referência. O resultado é um ponto de partida limpo pronto para o controle de câmera.
Condicionamento#
Escreva sua descrição principal da tomada na sugestão positiva e liste artefatos indesejados na sugestão negativa. As sugestões são codificadas e o condicionamento sensível ao tempo é montado em LTXVConditioning (#164). O LTX 2.3 IC-LoRA Camera Control então aumenta esse condicionamento com tokens de movimento de câmera extraídos do vídeo de referência. Foque seu texto no sujeito, cenário, iluminação e direção de arte; deixe os movimentos de câmera para a referência para que a orientação não entre em conflito. Você pode iterar no tom e estilo sem tocar na referência a cada vez.
Modelos#
O fluxo de trabalho carrega o modelo base LTX-2.3, aplica um patch de atenção amigável ao desempenho e divisão de feed-forward para grandes resoluções, e injeta o IC-LoRA com LTXICLoRALoaderModelOnly (#5924). Isso mantém o uso de VRAM prático enquanto preserva a fidelidade e a coerência do movimento. O IC-LoRA também expõe um fator de redução latente que o gráfico usa para equilibrar velocidade e detalhe. Pense neste grupo como a sala de máquinas em tempo de execução do Controle de Câmera LTX 2.3 IC-LoRA.
Amostragem#
SamplerCustom (#561) executa o processo de despoluição usando o amostrador escolhido em KSamplerSelect (#154) e uma programação de sigma ajustada. Durante a amostragem, LTXAddVideoICLoRAGuide (#5899) funde o condicionamento da sugestão, a âncora de aparência e o caminho da câmera orientado por referência no latente. Após a conclusão da despoluição, os latentes de vídeo e áudio são divididos e decodificados, depois VHS_VideoCombine (#604) junta quadros e áudio na taxa de quadros escolhida. Você acaba com um MP4 pronto para compartilhar que carrega tanto o conteúdo que você descreveu quanto o movimento de câmera que você referenciou. Se a câmera parecer muito rígida ou muito solta, ajuste a força do movimento e reamostre.
Áudio Vazio#
Um áudio latente alinhado é criado para que o LTX-2.3 possa sintetizar som em sincronia com o vídeo gerado. Isso proporciona trilhas sonoras ambientes, semelhantes a foley, que correspondem ao tempo do movimento sem trabalho extra. Se você planeja sonorizar o clipe na pós-produção, pode ignorar o áudio gerado e silenciar ou substituir mais tarde. Para testes de movimento, deixar o áudio ligado pode ajudar a avaliar o tempo e a intensidade.
Nós principais no fluxo de trabalho de Controle de Câmera LTX 2.3 IC-LoRA do ComfyUI#
VHS_LoadVideo (#5983)#
Carrega o clipe de referência que fornece movimento de câmera. Use-o para escolher o segmento exato cuja trajetória você deseja transferir e para alinhar a taxa de quadros efetiva com seu alvo. Entradas curtas, estáveis e de uma única tomada oferecem a transferência de movimento mais previsível. Se necessário, corte a referência ou reduza o limite de quadros para iterar mais rápido.
LTXICLoRALoaderModelOnly (#5924)#
Injeta o adaptador de Controle de Câmera LTX 2.3 IC-LoRA no modelo base e expõe um fator de redução latente que o gráfico usa para eficiência. Aumente sua força para aderir mais estritamente ao caminho da câmera de referência; diminua quando quiser que a sugestão afrouxe o movimento. Mantenha as versões do modelo e do adaptador combinadas para melhores resultados. Mudar adaptadores no meio do projeto alterará como a câmera é interpretada.
LTXAddVideoICLoRAGuide (#5899)#
Anexa a orientação do IC-LoRA tanto ao condicionamento quanto ao latente. O controle chave aqui é a força do movimento, que governa quão fielmente a câmera gerada segue a referência. Aumente para transferências exatas e correspondências técnicas, diminua para reinterpretações criativas. Combine com uma sugestão de sujeito forte para preservar a composição enquanto permite micro-variação.
LTXVImgToVideoConditionOnly (#5904)#
Transforma uma imagem estática em orientação apenas de aparência, sem impor movimento, ideal para fixar personagem, paleta ou direção de arte. Aumente a adesão se o primeiro quadro se afastar de sua imagem estática, diminua se o visual estiver muito restrito. Este nó é opcional; omita a imagem estática quando quiser que a sugestão e o IC-LoRA dirijam o visual inteiramente.
SamplerCustom (#561)#
Executa a despoluição com seu amostrador escolhido e curva de sigma. Combine amostradores como euler_ancestral_cfg_pp de KSamplerSelect (#154) com a programação de sigma fornecida para detalhe equilibrado e estabilidade temporal. Se você aumentar muito a força do movimento, considere programações mais suaves para evitar correção excessiva. Re-seed para explorar alternativos enquanto mantém o mesmo caminho de câmera.
VHS_VideoCombine (#604)#
Junta quadros e áudio decodificados em um MP4 para visualização ou entrega. Use-o para definir formato e taxa de quadros de saída para combinar com seu pipeline. Para dailies, exporte com compressão mais alta; para finalização, aumente a qualidade para preservar destaques e cadência de movimento. A saída inclui metadados para que você possa rastrear configurações mais tarde.
Extras opcionais#
- Para transferências limpas no Controle de Câmera LTX 2.3 IC-LoRA, escolha uma referência com um único movimento contínuo, movimento mínimo do sujeito e sem cortes.
- Combine FPS e duração alvo à sua referência para tempo 1:1; diverja de propósito se quiser rendições lentas ou rápidas.
- Mantenha as sugestões focadas em conteúdo e estilo; deixe o IC-LoRA lidar com a linguagem da câmera para evitar sinais conflitantes.
- Se você vir artefatos de borda, tente uma dimensão um pouco menor do lado mais longo ou um amostrador mais suave para melhorar a estabilidade.
- Explore recursos e exemplos do LTX para aprofundar sua compreensão do comportamento e dos controles do modelo: Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
Agradecimentos#
Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos inovadoramente ao Innovate Futures @ Benji por LTX 2.3 IC-LoRA Camera Control Workflow Source por suas contribuições e manutenção. Para detalhes autorizados, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Camera Control Workflow Source
- Docs / Release Notes: LTX 2.3 IC-LoRA Camera Control Workflow Source
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
