LTX 2.3 IC-LoRA Control de Cámara para ComfyUI#
El control de cámara LTX 2.3 IC-LoRA es un flujo de trabajo de movimiento de cámara impulsado por referencia para LTX-Video 2.3 en ComfyUI. Dale un breve video de referencia y una indicación creativa y transferirá la trayectoria de la cámara de la referencia a una escena recién generada, preservando la composición del sujeto y la coherencia temporal mientras te enfocas en contenido, iluminación y ambiente.
Diseñado para cineastas, artistas de VFX y creadores de IA, este flujo de trabajo de ComfyUI reproduce paneos, inclinaciones, movimientos de dolly, zooms y órbitas con fuerza de movimiento ajustable. Combina la generación unificada de audio-video del LTX-2.3 con un LoRA en contexto adaptado para el control de cámara, de modo que obtienes un movimiento suave, un encuadre consistente y audio sincronizado en una sola pasada.
Modelos clave en el flujo de trabajo de control de cámara Comfyui LTX 2.3 IC-LoRA#
- Lightricks LTX-2.3. Un transformador de difusión que genera conjuntamente video y audio, proporcionando una fuerte coherencia temporal y sonido sincronizado en una sola pasada. Es el generador principal en este flujo de trabajo y el objetivo para la guía IC-LoRA. Model card
- LTX-Video VAE. El VAE de video espaciotemporal utilizado por LTX comprime los fotogramas en un espacio latente compacto para una eliminación de ruido eficiente, luego decodifica fotogramas de alta calidad al final del muestreo. Ve el trasfondo de la arquitectura en los informes técnicos de LTX-Video y LTX-2.
- Codificador de texto ajustado por instrucciones Gemma. Un codificador de texto Gemma ajustado por instrucciones convierte tus indicaciones en vectores de acondicionamiento que el generador puede seguir, permitiendo descripciones detalladas de tomas y control de estilo.
- LTX 2.3 IC-LoRA para Control de Cámara. Un adaptador LoRA en contexto especializado que extrae señales de movimiento de cámara del video de referencia e inyecta en LTX-2.3, alineando la cámara virtual de la nueva escena con la trayectoria de la referencia.
Cómo usar el flujo de trabajo de control de cámara Comfyui LTX 2.3 IC-LoRA#
Este flujo de trabajo está organizado en grupos que preparan tu referencia, construyen el acondicionamiento y ejecutan el muestreo antes de combinar audio y video. El IC-LoRA extrae el movimiento de cámara de la referencia mientras tu indicación define lo que aparece en la pantalla.
Configuración de Video de Entrada#
Usa las entradas en este grupo para establecer los fotogramas por segundo, la duración del clip y la dimensión del lado más largo objetivo. Estos tres valores determinan el presupuesto de fotogramas y la resolución de trabajo para toda la ejecución. Mantener los FPS y la duración alineados con tu referencia ayuda al IC-LoRA a reproducir el tiempo y la velocidad del movimiento original. Elige una dimensión que se ajuste a tu relación de aspecto de entrega y presupuesto de rendimiento. Si estás experimentando, comienza modestamente y aumenta una vez que el movimiento se vea correcto.
Preparar Video de Referencia#
Carga tu referencia de cámara con VHS_LoadVideo (#5983). La tubería escala y normaliza los fotogramas para el modelo, luego los analiza para calcular tamaños y conteos, asegurando dimensiones que funcionen bien con LTX-2.3. Las tomas suaves, de una sola toma sin cortes funcionan mejor para el control de cámara LTX 2.3 IC-LoRA, ya que el adaptador está aprendiendo la trayectoria de la cámara en lugar de las ediciones de la historia. Se admiten paneos, inclinaciones, movimientos de dolly, zooms y órbitas; evita clips inestables o cambios de escena rápidos. Si tu referencia es más larga que tu objetivo, recórtala al segmento más representativo.
Preprocesar#
El flujo de trabajo crea un video latente vacío alineado a tu resolución y duración elegidas, luego opcionalmente ancla la apariencia desde una imagen fija usando LTXVImgToVideoConditionOnly (#5904). Proveer una imagen fija en estilo puede mejorar la consistencia del sujeto y la paleta mientras deja el movimiento al IC-LoRA. Esta etapa también calcula dimensiones seguras y amigables con el modelo y asegura que la línea de tiempo latente coincida con el ritmo de la referencia. El resultado es un punto de partida limpio listo para el control de cámara.
Acondicionamiento#
Escribe tu descripción principal de la toma en la indicación positiva y enumera los artefactos no deseados en la indicación negativa. Las indicaciones se codifican y el acondicionamiento consciente del tiempo se ensambla en LTXVConditioning (#164). El control de cámara LTX 2.3 IC-LoRA luego aumenta este acondicionamiento con tokens de movimiento de cámara extraídos del video de referencia. Concéntrate en el texto sobre el sujeto, el escenario, la iluminación y la dirección artística; deja los movimientos de cámara a la referencia para que la guía no entre en conflicto. Puedes iterar en tono y estilo sin tocar la referencia cada vez.
Modelos#
El flujo de trabajo carga el modelo base LTX-2.3, aplica un parche de atención amigable con el rendimiento y una segmentación de avance para resoluciones grandes, e inyecta el IC-LoRA con LTXICLoRALoaderModelOnly (#5924). Esto mantiene el uso de VRAM práctico mientras preserva la fidelidad y la coherencia del movimiento. El IC-LoRA también expone un factor de reducción de escala latente que el gráfico utiliza para equilibrar velocidad y detalle. Piensa en este grupo como la sala de máquinas de ejecución del control de cámara LTX 2.3 IC-LoRA.
Muestreo#
SamplerCustom (#561) ejecuta el proceso de eliminación de ruido usando el muestreador elegido en KSamplerSelect (#154) y un programa de sigma ajustado a mano. Durante el muestreo, LTXAddVideoICLoRAGuide (#5899) fusiona el acondicionamiento de la indicación, el ancla de apariencia y la trayectoria de la cámara impulsada por referencia en el latente. Después de completar la eliminación de ruido, los latentes de video y audio se dividen y decodifican, luego VHS_VideoCombine (#604) combina los fotogramas y el audio a tu tasa de fotogramas elegida. Terminas con un MP4 listo para compartir que lleva tanto el contenido que describiste como el movimiento de cámara que referiste. Si la cámara se siente demasiado rígida o demasiado suelta, ajusta la fuerza del movimiento y vuelve a muestrear.
Audio Vacío#
Se crea un latente de audio alineado para que LTX-2.3 pueda sintetizar sonido en sincronía con el video generado. Esto te da pistas ambientales, similares a efectos de sonido, que coinciden con el tiempo del movimiento sin trabajo adicional. Si planeas puntuar el clip en postproducción, puedes ignorar el audio generado y silenciarlo o reemplazarlo más tarde. Para pruebas de movimiento, dejar el audio encendido puede ayudarte a juzgar el tiempo y la intensidad.
Nodos clave en el flujo de trabajo de control de cámara Comfyui LTX 2.3 IC-LoRA#
VHS_LoadVideo (#5983)#
Carga el clip de referencia que proporciona el movimiento de cámara. Úsalo para elegir el segmento exacto cuya trayectoria deseas transferir y para alinear la tasa de fotogramas efectiva con tu objetivo. Las entradas cortas, estables y de una sola toma dan la transferencia de movimiento más predecible. Si es necesario, recorta la referencia o reduce el límite de fotogramas para iterar más rápido.
LTXICLoRALoaderModelOnly (#5924)#
Inyecta el adaptador de control de cámara LTX 2.3 IC-LoRA en el modelo base y expone un factor de reducción de escala latente que el gráfico utiliza para la eficiencia. Aumenta su fuerza para adherirse más estrictamente a la trayectoria de la cámara de referencia; redúcelo cuando quieras que la indicación afloje el movimiento. Mantén las versiones de modelo y adaptador emparejadas para obtener los mejores resultados. Cambiar adaptadores a mitad de proyecto cambiará cómo se interpreta la cámara.
LTXAddVideoICLoRAGuide (#5899)#
Adjunta la guía IC-LoRA tanto al acondicionamiento como al latente. El control clave aquí es la fuerza del movimiento, que gobierna cuán fielmente la cámara generada sigue la referencia. Auméntalo para transferencias exactas y coincidencias técnicas, redúcelo para reinterpretaciones creativas. Combina con una indicación de sujeto fuerte para preservar la composición mientras permites micro-variaciones.
LTXVImgToVideoConditionOnly (#5904)#
Convierte una imagen fija en una guía solo de apariencia sin imponer movimiento, ideal para fijar personaje, paleta o dirección artística. Aumenta la adherencia si el primer fotograma se desvía de tu imagen fija, disminúyela si el aspecto está demasiado restringido. Este nodo es opcional; omite la imagen fija cuando quieras que la indicación y el IC-LoRA conduzcan completamente el aspecto.
SamplerCustom (#561)#
Ejecuta la eliminación de ruido con tu muestreador elegido y curva de sigma. Empareja muestreadores como euler_ancestral_cfg_pp de KSamplerSelect (#154) con el programa de sigma proporcionado para un detalle equilibrado y estabilidad temporal. Si empujas la fuerza del movimiento alta, considera programas más suaves para evitar la sobrecorrección. Reseed para explorar alternativos mientras mantienes la misma trayectoria de cámara.
VHS_VideoCombine (#604)#
Combina fotogramas decodificados y audio en un MP4 para previsualización o entrega. Úsalo para establecer el formato y la tasa de fotogramas de salida para que coincida con tu línea de producción. Para diarios, exporta con mayor compresión; para finalización, aumenta la calidad para preservar los detalles destacados y la cadencia del movimiento. La salida incluye metadatos para que puedas rastrear configuraciones más tarde.
Extras opcionales#
- Para transferencias limpias en el control de cámara LTX 2.3 IC-LoRA, elige una referencia con un solo movimiento continuo, movimiento mínimo del sujeto y sin cortes.
- Coincide la tasa de fotogramas objetivo y la duración con tu referencia para un tiempo 1:1; diverge a propósito si deseas versiones lentas o rápidas.
- Mantén las indicaciones enfocadas en contenido y estilo; deja que el IC-LoRA maneje el lenguaje de la cámara para evitar señales conflictivas.
- Si ves artefactos en los bordes, intenta una dimensión del lado más largo ligeramente más pequeña o un muestreador más suave para mejorar la estabilidad.
- Explora recursos y ejemplos de LTX para profundizar tu comprensión del comportamiento y controles del modelo: Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
Agradecimientos#
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Innovate Futures @ Benji por el flujo de trabajo de control de cámara LTX 2.3 IC-LoRA y su mantenimiento. Para detalles autorizados, por favor consulte la documentación original y los repositorios vinculados a continuación.
Recursos#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Camera Control Workflow Source
- Documentos / Notas de Lanzamiento: LTX 2.3 IC-LoRA Camera Control Workflow Source
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las licencias y términos respectivos proporcionados por sus autores y mantenedores.
