LTX 2.3 IC-LoRA: Generación de video de Seguimiento de Movimiento en ComfyUI
Este flujo de trabajo lleva el sistema LTX 2.3 IC-LoRA a ComfyUI para que puedas guiar el movimiento y la estructura de la escena mientras estilizas libremente con indicaciones o LoRAs adicionales. Condiciona el generador de video LTX-2.3 en señales de referencia como profundidad, pose y bordes, permitiendo transferencia de movimiento, bloqueo de cámara y composición predecible.
Los creadores que trabajan en video-a-video, retargetización de movimiento y animación AI controlada encontrarán que LTX 2.3 IC-LoRA separa el control de movimiento del estilo visual. Diriges la apariencia con texto y LoRAs de estilo, y diriges el movimiento con guías estructuradas, todo dentro de un solo gráfico de ComfyUI.
Modelos clave en el flujo de trabajo ComfyUI LTX 2.3 IC-LoRA
- LTX-2.3 de Lightricks. Un transformador de difusión de video latente de alta fidelidad que genera secuencias temporalmente consistentes y admite condicionamiento para control de estructura y movimiento. Hugging Face: Lightricks/LTX-2.3
- Pesos de control de unión LTX 2.3 IC-LoRA. Pesos LoRA en contexto diseñados para inyectar señales de guía estructurada en LTX-2.3 para control preciso de movimiento y geometría. Proporcionado con la cadena de modelos del flujo de trabajo y cargado antes de la generación.
- VAEs LTX-2.3 para video y audio. Codificadores/decodificadores latentes emparejados con LTX-2.3 para comprimir y reconstruir características de video y audio utilizadas durante el muestreo. Preconfigurado en el gráfico y conmutables al usar compilaciones cuantizadas. Ejemplos de paquetes divididos están disponibles aquí: Hugging Face: unsloth/LTX-2.3-GGUF
- Depth Anything V2. Estimación de profundidad monocular robusta utilizada para bloquear el movimiento de la cámara o preservar el diseño de la escena durante la generación. Hugging Face: LiheYoung/Depth-Anything-V2
- DWPose. Estimador de pose multipersona ligero utilizado para retargetizar o preservar el movimiento de personajes a través de puntos clave. Hugging Face: yzd-v/DWPose
Cómo usar el flujo de trabajo ComfyUI LTX 2.3 IC-LoRA
El gráfico está organizado en grupos claros. Preparas indicaciones y un video de referencia, eliges una o más guías estructurales, luego generas y exportas.
Configurar indicaciones
Usa CLIP Text Encode (Positive Prompt) (#2483) y CLIP Text Encode (Negative Prompt) (#2612) para describir el estilo visual y excluir rasgos no deseados. Los codificadores de texto están cargados en el grupo de modelos y dirigidos a LTXVConditioning (#1241), que también recibe la tasa de cuadros de trabajo para que el condicionamiento coincida con el tiempo de tu clip. Mantén las indicaciones enfocadas en la apariencia porque LTX 2.3 IC-LoRA manejará el movimiento y la estructura.
Preprocesar
Carga o pasa un clip de referencia a VHS_LoadVideo (#5182). Los cuadros se redimensionan en ImageResizeKJv2 (#5080) y se alimentan a los extractores de guía: DepthAnythingV2Preprocessor (#5064) para profundidad, DWPreprocessor (#4986) para pose, y CannyEdgePreprocessor (#4991) para bordes. Un nodo de redimensionamiento posterior asegura que los mapas de guía coincidan con los múltiplos amigables del modelo, y GetImageSize (#5029) registra ancho, altura y conteo de cuadros para el resto de la tubería. La secuencia de imágenes de guía resultante se almacena por Set_video_controlnet (#5100) para que IC-LoRA la consuma.
Cargar Modelos
El modelo base y LoRAs se ensamblan en este grupo. CheckpointLoaderSimple (#3940) carga LTX-2.3; LoraLoaderModelOnly (#4922) aplica un LTX LoRA destilado para calidad y velocidad; LTXICLoRALoaderModelOnly (#5011) añade los pesos LTX 2.3 IC-LoRA y publica el factor de reducción latente requerido. Se cargan VAEs para video y audio, y Boolean - Use GGUF? (#5158) puede cambiar a una compilación GGUF cuantizada a través de GGUFLoaderKJ (#5150) con codificadores de texto compatibles y VAEs cuando la VRAM es limitada.
Cargar Imagen (establecer bypass=True si t2v)
Si quieres anclar la composición con una referencia fija o primer cuadro, usa LoadImage (#2004). Se redimensiona por ImageResizeKJv2 (#5076) y se previsualiza para comprobaciones rápidas. El booleano bypass_i2v controla si la imagen se usa en absoluto; configúralo en True para texto-a-video puro con LTX 2.3 IC-LoRA.
Generar
EmptyLTXVLatentVideo (#3059) crea el lienzo latente. Si el anclaje de imagen está habilitado, LTXVImgToVideoConditionOnly (#3159) inyecta solo información estructural de tu imagen sin grabar estilo. El paso central ocurre en LTXAddVideoICLoRAGuide (#5012), que adjunta tu secuencia de guía elegida al modelo usando el factor de reducción latente del cargador IC-LoRA. El condicionamiento de audio también fluye en el latente a través de LTXVEmptyLatentAudio (#3980) o el camino de audio personalizado. CFGGuider (#4828), KSamplerSelect (#4831), ManualSigmas (#5025), y SamplerCustomAdvanced (#4829) luego realizan la eliminación de ruido para sintetizar el video latente final mientras respetan tanto las indicaciones como los controles de LTX 2.3 IC-LoRA.
Decodificar
LTXVSeparateAVLatent (#4845) divide los latentes de audio y video generados para la decodificación. LTXVCropGuides (#5013) alinea y recorta si es necesario, luego VAEDecodeTiled (#4851) reconstruye los cuadros de manera eficiente. VHS_VideoCombine (#5070) mezcla los cuadros en un MP4, usando el audio del clip de referencia por defecto. También puedes decodificar el latente de audio generado con LTXVAudioVAEDecode (#4848) si deseas audicionarlo por separado.
Preparar Video de Referencia
Esta área de ayuda muestra la tubería de cuadros de referencia. VHS_VideoInfoLoaded (#5073) extrae fps y duración, que se propagan a los nodos de condicionamiento y a los exportadores para que el tiempo se mantenga sincronizado. Un pequeño nodo de combinación proporciona una vista previa visual rápida de la secuencia fuente para comprobaciones de cordura.
Audio Personalizado
Si deseas una generación consciente del audio, el audio de referencia se codifica con LTXVAudioVAEEncode (#5146) y se aplica una máscara simple en SetLatentNoiseMask (#5148). El interruptor titulado Switch - Custom Audio? (#5149) selecciona entre latentes de audio vacíos o codificados antes de la concatenación en LTXVConcatAVLatent (#4528). La exportación final aún utiliza el audio de referencia por defecto; si prefieres el audio decodificado del modelo, dirige la salida de LTXVAudioVAEDecode a la entrada de audio del exportador.
Configuración de Sigma Oficial de LTX
El nodo de programación ManualSigmas (#5025) define un perfil de sigma conciso ajustado para LTX-2.3, y SigmasPreview (#5142) lo visualiza para que puedas razonar sobre la asignación de ruido a lo largo del tiempo. Esto te permite intercambiar velocidad por detalle mientras mantienes la estabilidad temporal característica de LTX 2.3 IC-LoRA.
Nodos clave en el flujo de trabajo ComfyUI LTX 2.3 IC-LoRA
LTXICLoRALoaderModelOnly(#5011). Carga los pesos LTX 2.3 IC-LoRA y produce el factor de reducción latente requerido por el inyector de guía. Si añades LoRAs de estilo adicionales, colócalos antes de este cargador para mantener la guía de movimiento dominante.LTXAddVideoICLoRAGuide(#5012). El punto donde las secuencias de profundidad, pose o borde entran al modelo como guía en contexto. Ajusta su fuerza para equilibrar entre la adhesión estructural estricta y la libertad estilística de tu indicación y LoRAs de estilo.LTXVImgToVideoConditionOnly(#3159). Proporciona un condicionamiento opcional de imagen-a-video que transfiere solo la composición y estructura gruesa de una imagen fija. Usa su conmutadorbypassal cambiar entre i2v y texto-a-video puro.CFGGuider(#4828). Controla cuán fuertemente el modelo sigue tus indicaciones en relación con la guía LTX 2.3 IC-LoRA. Aumenta la guía cuando la fidelidad de estilo es lo más importante, disminúyela para preservar movimiento y geometría con desviación mínima.SamplerCustomAdvanced(#4829) conManualSigmas(#5025). Un programa compacto y un muestreador multietapa que ofrece buena coherencia temporal para LTX-2.3. Si modificas el programa, mantenlo disminuyendo suavemente y prueba clips cortos antes de renderizados más largos.
Extras opcionales
- Elige la guía correcta. Usa profundidad para bloquear cámara y diseño, pose para movimiento de personajes, y bordes para objetos rígidos o siluetas limpias. Es posible mezclar dos guías si describen diferentes aspectos.
- Mantén dimensiones amigables para el muestreador. Los preprocesadores ya redondean tamaños a múltiplos amigables para el modelo; mantén tu fuente cerca de la relación de aspecto objetivo para minimizar el relleno.
- Estilo sin romper el movimiento. Añade un LoRA de estilo ligero antes del cargador IC-LoRA y mantén su peso moderado para que LTX 2.3 IC-LoRA pueda mantener geometría y tiempo.
- Modo de baja VRAM. Alterna Usar GGUF para ejecutar el modelo destilado cuantizado y los codificadores de texto/VAEs correspondientes del paquete GGUF si tu GPU está limitada. Hugging Face: unsloth/LTX-2.3-GGUF
- Tiempo estable. La tasa de cuadros leída del video de referencia se inyecta en el condicionamiento y los exportadores para que el movimiento y el audio se mantengan alineados. Si sobrescribes fps, hazlo consistentemente en todo el condicionamiento y la exportación.
Agradecimientos
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a @Benji’s AI Playground de LTX 2.3 IC-LoRA Source por proporcionar materiales de origen y orientación. Para detalles autorizados, consulte la documentación original y los repositorios enlazados a continuación.
Recursos
- LTX 2.3 IC-LoRA Source
- Docs / Release Notes: YouTube @Benji’s AI Playground
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
