Pipeline de Películas 3D | Creador de Videos Cinematográficos

Pipeline de Películas 3D para ComfyUI#

El Pipeline de Películas 3D es un flujo de trabajo de ComfyUI enfocado en la producción por Mickmumpitz.ai que convierte pases de escena 3D estructurados en video cinematográfico con IA. Combina diseños de profundidad, renders de arcilla, movimientos de cámara y máscaras de boca opcionales con el modelo de video LTX‑2.3 para preservar el diseño espacial, el enfoque y la continuidad mientras diriges el movimiento, la apariencia y el tiempo.

Diseñado para cineastas, animadores y narradores visuales, el Pipeline de Películas 3D agiliza la producción de múltiples tomas. Obtienes controles de colocación de cuadros, atención avanzada para la guía de objetos y regiones, sincronización labial opcional a partir de una pista de voz y una etapa de imagen auxiliar para previsualización rápida de la apariencia de las tomas, todo dentro de ComfyUI.

Modelos clave en el flujo de trabajo de Pipeline de Películas 3D de Comfyui#

Pila de video principal

• LTX‑2.3 (22B) por Lightricks. El modelo principal de generación de video que sigue señales de texto, control y guías 3D para sintetizar metraje temporalmente coherente. Model card
• LTX Audio VAE (incluido con LTX‑2.3). Codifica y decodifica audio como un latente de audio para que el modelo pueda sincronizar la forma de la boca y el movimiento con el habla. Model bundle
• Codificador de texto Instruct de Gemma 3 12B para LTX‑2.x. Proporciona la incrustación de lenguaje utilizada por LTX‑2.3 para indicaciones. Preempaquetado para ComfyUI. Files
• LTX‑2.3 Distilled LoRA 384‑1.1. Acelera el muestreo de pocos pasos y estabiliza las apariencias cuando se usa con el punto de control de desarrollo. LoRA
• Detallador IC‑LoRA LTX‑2 19B. Mejora el detalle local y la fidelidad de los bordes en el video generado. LoRA
• LTX‑2.3 OmniNFT RL LoRA. Refuerzo de estilo y asistente de consistencia para la pila de video. LoRA
• Control de Unión IC‑LoRA (ref 0.5). Un LoRA de alineación de referencia utilizado para mantener el color y la estructura fieles a las guías; la compilación 19B es a menudo preferida para LTX‑2.3. LoRA family

Pila de imagen de previsualización opcional

• FLUX.2 Klein 9B (FP8). Generador de imágenes rápido utilizado aquí para convertir Canny + Depth en un cuadro estilizado para desarrollo de apariencia. Model card
• Codificador de texto Qwen 3 8B para FLUX‑2. Files
• VAE de Flux‑2. VAE de imagen emparejado con FLUX‑2. Files
• LoRA de Consistencia Flux2‑Klein‑9B‑Consistency‑V2. Mejora la consistencia de color y contenido en cuadros de previsualización. LoRA

Implementación de referencia de nodos LTX para ComfyUI: ComfyUI‑LTXVideo

Cómo usar el flujo de trabajo de Pipeline de Películas 3D de Comfyui#

El Pipeline de Películas 3D fusiona tres entradas de tu herramienta DCC o de diseño: una película de profundidad, una película de arcilla/diseño y una película de máscara de boca opcional, luego ejecuta LTX‑2.3 con atención avanzada, cuadros de referencia y sincronización labial opcional para renderizar la toma final. Una rama de previsualización de imagen con FLUX.2 te ayuda a ajustar la apariencia antes de comprometerte a un pase completo.

Resolución y configuración de tomas#

Usa ResolutionPicker (#6082) para establecer tu ancho y altura de trabajo. El pipeline espera dimensiones divisibles por 64 para un mosaico eficiente y atención estable. Mantén el mismo aspecto en todas las entradas para que el Pipeline de Películas 3D pueda alinear los pases sin recortes no deseados o franjas negras. Si deseas pruebas rápidas, reduce el conteo de cuadros usando FRAME LOAD CAP (#6214).

Cuadros de entrada (Inicio, Medio, Fin)#

Carga imágenes de referencia en START (LoadImage (#6108)), MIDDLE (#6139) y END (#6102). El flujo de trabajo lee su tamaño con GetImageSize+ (#6071) y redimensiona las guías en consecuencia. Estos cuadros pueden colocarse en índices específicos en la línea de tiempo para bloquear poses clave, establecer ritmos de historia o forzar una transición de apariencia. El Pipeline de Películas 3D utiliza estas referencias como anclas mientras interpola movimiento y continuidad entre ellas.

Pasadas de renderizado: Profundidad, Arcilla/Diseño, Máscara de Boca#

• DEPTH (VHS_LoadVideo (#5893)) trae tu película de profundidad desde la aplicación 3D. Esto guía la perspectiva, oclusión y colocación volumétrica para que LTX‑2.3 respete los movimientos de cámara y el bloqueo.
• CLAY / LAYOUT (VHS_LoadVideo (#6094)) proporciona un renderizado sombreado plano o en tonos grises para impulsar siluetas, diseño de escenarios e indicaciones de iluminación. Un pase de borde Canny (CannyEdgePreprocessor (#6095)) se deriva de él para afilar la guía estructural.
• MOUTH MASK (VHS_LoadVideo (#6059)) es opcional y marca la región de la boca por cuadro. El Pipeline de Películas 3D la utiliza como una máscara de atención para que el movimiento de labios pueda refinarse sin alterar el resto de la cara.

Ajuste de máscara de boca#

Si proporcionas un video de máscara, ImageToMask (#6060) convierte cuadros en máscaras y GrowMaskWithBlur (#6197) expande y suaviza bordes para un repintado más indulgente. USE MASK VIDEO? (#6244) te permite alternar entre una máscara sólida generada y el video de máscara entrante. Esto mantiene las ediciones de sincronización labial bien delimitadas y reduce artefactos fuera del área de habla.

Ensamblaje de video conductor#

Las corrientes de profundidad y diseño se normalizan con ImageResizeKJv2 (#6097, #6099, #6103). BatchColorCorrector (#6100) equilibra la tonalidad y el color para que el modelo vea una exposición y paleta consistentes a lo largo de la secuencia. Luego, el Pipeline de Películas 3D mezcla el contorno de Canny con el diseño corregido usando ImageBlend (#6096) para formar un video conductor unificado que sigue el generador.

Voz en off#

Agrega narración o diálogo usando LoadAudio (#5883). Se enruta al modelo a través de Set_VoiceOver (#6248) y Get_VoiceOver (#6249). Cuando la sincronización labial está habilitada en el muestreador, el Pipeline de Películas 3D utiliza este audio para sincronizar la forma de la boca y el micromovimiento con el contenido hablado.

Generar con LTX‑2.3#

El nodo muestreador LTX 2.3 (#6202) es el corazón del Pipeline de Películas 3D. Recibe modelo, codificador de texto, VAE y VAE de audio; el video conductor mezclado; máscara de atención opcional; y tu indicación de PROMPT (#6203). Los interruptores te permiten colocar cuadros de Inicio/Medio/Fin en posiciones definidas, mezclar su influencia, habilitar o omitir señales de control y activar la sincronización labial. La ruta de atención avanzada pasa por los nodos guía de video LTX para ponderar cuadros y regiones para que los sujetos importantes se mantengan en el modelo.

Salida#

El nodo escribe una película lista para editar con SaveVideo (#6109). Para pipelines alternativos o previsualizaciones lado a lado, el flujo de trabajo también incluye VHS_VideoCombine (#6057). Usa la misma tasa de cuadros en todos los pasos para mantener el audio, la máscara y la guía perfectamente alineados en el Pipeline de Películas 3D.

Previsualización de imagen opcional con FLUX.2#

Para desarrollo de apariencia rápida sin volver a renderizar una toma completa, la rama de imagen carga imágenes fijas de Canny (CANNY (#7468)) y Profundidad (DEPTH (#7469)), las mezcla (ImageBlend (#7466)) y solicita FLUX.2 Klein 9B (SAMPLER (#7465)). El LoRA de consistencia ayuda a mantener los colores y detalles fieles a tus guías. Usa SaveImage (#7444) para exportar cuadros de previsualización que informan tu indicación y elecciones de LoRA antes de ejecutar el Pipeline de Películas 3D completo.

Nodos clave en el flujo de trabajo de Pipeline de Películas 3D de Comfyui#

LTX 2.3 (#6202)

• Función: Generador de video principal que fusiona texto, guías 3D, pases de control y audio en la secuencia final.
• Qué ajustar: Activa la sincronización labial al proporcionar audio; cambia la guía estilo ControlNet encendida o apagada y ajusta la fuerza general; coloca cuadros de START, MIDDLE y END y mezcla su influencia para bloquear ritmos importantes. Mantén la tasa de cuadros consistente con tus entradas para evitar desviaciones de tiempo.

DEPTH (#5893)

• Función: Carga la película de profundidad que establece la geometría de la escena y el movimiento de la cámara.
• Qué ajustar: Coincide la resolución con ResolutionPicker y mantén la misma longitud que los clips de diseño y máscara. Usa FRAME LOAD CAP para iteraciones rápidas durante el desarrollo de apariencia.

CLAY / LAYOUT (#6094)

• Función: Proporciona el diseño o renderizado de arcilla utilizado para extraer bordes y dirigir la composición, intención de iluminación y siluetas.
• Qué ajustar: Alinea con la resolución del pase de profundidad; si cambias la gradación en la parte superior, vuelve a ejecutar BatchColorCorrector para que la guía se mantenga consistente.

USE MASK VIDEO? (#6244)

• Función: Cambia entre una máscara de boca sólida generada y el video de máscara entrante.
• Qué ajustar: Usa el video de máscara cuando la sincronización labial necesita precisión por cuadro; cambia a la máscara sólida cuando solo necesitas una región protegida amplia.

LTXICLoRALoaderModelOnly (#6223)

• Función: Carga el IC‑LoRA de control de unión utilizado para la alineación de referencia y la fidelidad de color/estructura.
• Qué ajustar: Elige la variante que mejor coincida con LTX‑2.3 en tus pruebas; muchas producciones prefieren la compilación 19B para una adherencia más estricta al ejecutar el Pipeline de Películas 3D.

Extras opcionales#

• Mantén todas las entradas con la misma duración y tasa de cuadros para mantener la sincronización en todo el Pipeline de Películas 3D.
• La profundidad debe ser limpia y temporalmente estable. Si tu DCC exporta EXR o PNG de 16 bits, conviértelo una vez a un formato de mezzanine y reutilízalo para todas las iteraciones.
• Los cuadros de Inicio/Medio/Fin funcionan mejor cuando muestran poses o estados de iluminación distintos y relevantes para la historia; evita duplicados cercanos.
• Si la región de la boca parpadea, expande ligeramente la máscara en GrowMaskWithBlur para incluir labios, dientes y un borde delgado de piel.
• Para tomas grandes, itera con FRAME LOAD CAP y una resolución más pequeña, luego cambia de nuevo a resolución completa para finales.
• Al cambiar del punto de control de desarrollo al punto de control destilado, desactiva el LoRA destilado para evitar una sobre restricción.
• Usa la rama de previsualización FLUX.2 para probar la paleta y el estilo con tus guías reales de Canny y Profundidad antes de ejecutar el Pipeline de Películas 3D completo.

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos profundamente a MickMumpitz.ai por el Pipeline de Películas 3D Workflow Source por sus contribuciones y mantenimiento. Para obtener detalles autorizados, consulta la documentación y los repositorios originales vinculados a continuación.

Recursos#

• MickMumpitz.ai/3D Movie Pipeline Workflow Source
  • Docs / Release Notes: 3D Movie Pipeline Workflow Source

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.