Blender a ComfyUI AI Renderer 2.0 | Creador de Videos de Movimiento

Blender a ComfyUI AI Renderer 2.0

Blender a ComfyUI AI Renderer 2.0 convierte las salidas de Blender en videos cinematográficos guiados por prompts de IA mientras preserva el movimiento y el diseño de la escena. Lee la estructura de pases de profundidad, contorno o pose y utiliza eso para impulsar la generación de video Wan VACE, de modo que tu metraje final se mantenga alineado con la intención de la animación original. El flujo de trabajo también incluye una ruta rápida de imágenes fijas para el desarrollo de apariencia y verificaciones de fotogramas clave, lo que lo hace ideal para animadores, artistas de VFX, equipos de previsión y creadores de contenido.

En su núcleo, Blender a ComfyUI AI Renderer 2.0 construye o ingiere videos de control, los fusiona con fotogramas de inicio o referencia y renderiza una secuencia coherente con fuerte estabilidad temporal. Obtienes control creativo a través de prompts e imágenes de referencia mientras la profundidad y los bordes mantienen la composición y el movimiento intactos.

Modelos clave en el flujo de trabajo de Comfyui Blender a ComfyUI AI Renderer 2.0

• Wan 2.1 VACE 14B (SkyReels V3 R2V merge). Difusión de video de base utilizada para generación consciente de la estructura y alineación de movimiento. Checkpoint alojado como una fusión para VACE y SkyReels R2V, adecuado para control de fotograma de inicio a fin y consistencia guiada por referencia. Model
• Codificador de texto uMT5‑XXL para Wan 2.1. Proporciona un acondicionamiento de texto de alta capacidad empaquetado para ComfyUI. Files
• Wan 2.1 VAE. Usado para codificar y decodificar latentes de video limpiamente para el pipeline Wan. Files
• Depth Anything 3 DA3‑BASE. Estimador de profundidad monocular utilizado para derivar control de profundidad de alta calidad y temporalmente consistente del metraje. Model
• Z‑Image Turbo. Un backbone de difusión de imagen rápida para exploración de fotogramas individuales con acondicionamiento de múltiples controles. Model
• Z‑Image‑Fun ControlNet Union 2.1. Pesos de control múltiple para canny, profundidad, pose y más al usar la ruta Z‑Image Turbo. Model
• OpenPose (algoritmo). Detector clásico de puntos clave 2D utilizado para derivar líneas de pose como una señal de control opcional. Paper • GitHub

Cómo usar el flujo de trabajo de Comfyui Blender a ComfyUI AI Renderer 2.0

El flujo de trabajo tiene dos pistas que puedes ejecutar independientemente o juntas. Primero, una pista de Preprocesamiento construye un video de control a partir de tu metraje (profundidad, bordes o pose). En segundo lugar, AI Renderer 2.0 fusiona imágenes de inicio o referencia con ese video de control para sintetizar la secuencia final. Una ruta separada Z‑IMAGE TURBO CN 1.0 te permite iterar rápidamente en imágenes fijas que reflejan tu estrategia de control.

• ENTRADA DE VIDEO Y SELECCIÓN DE TAMAÑO (Preprocesamiento)
  • Este grupo importa un video y estandariza dimensiones y presupuestos de fotogramas para el constructor de pases de control. El nodo VHS_LoadVideo (#32) lee tu clip y expone información como fps y conteo de fotogramas a los nodos posteriores. Un bloque de configuración compacto conecta ancho, alto y límites de fotogramas para que cada preprocesador posterior opere a la misma resolución. Usa esto primero para alinear todas las salidas de Preprocesamiento antes de elegir un tipo de control.
• PROFUNDIDAD (Preprocesamiento)
  • Este grupo convierte los fotogramas de entrada en una secuencia de mapas de profundidad usando DepthAnything_V3 (#37). El objetivo es preservar la geometría de la escena para que la generación de video posterior respete la escala, la oclusión y el paralaje. Un nodo de redimensionamiento interno adapta los mapas al tamaño de trabajo, y un bloque de guardado puede previsualizar el clip de control. Elige esto cuando desees una fidelidad fuerte en el diseño y el movimiento de la cámara.
• CANNY (Preprocesamiento)
  • Este grupo extrae líneas de borde limpias con CannyEdgePreprocessor (#39) para proporcionar estructura sin sombreado. Los bordes se redimensionan para coincidir con la configuración del proyecto y se pueden guardar como una previsualización. Usa esto cuando desees siluetas nítidas, líneas arquitectónicas o control similar a dibujos animados que mantenga la composición pero permita flexibilidad de estilo.
• POSE (Preprocesamiento)
  • Este grupo calcula esqueletos humanos con OpenposePreprocessor (#42), produciendo figuras de líneas ligeras para la transferencia de movimiento. Es útil cuando el movimiento del personaje es la prioridad y deseas que el detalle generativo se mantenga consistente con la actuación y el tiempo. Como con otros tipos de control, la salida se redimensiona y se puede previsualizar como un video corto.
• Z‑IMAGE TURBO CN 1.0
  • Esta ruta es para exploración rápida de imágenes fijas desde un solo fotograma o una imagen cargada. QwenImageDiffsynthControlnet (#3) aplica Z‑Image Turbo con el parche de control múltiple, guiado por un prompt de CLIPTextEncode (#23). Usa el interruptor USE VIDEO? (#20) para alimentar un fotograma de video o una imagen desde el disco; luego, muestra y guarda un fotograma rápido para validar tu prompt, dirección artística o fuerza de control antes de ejecutar la secuencia completa.
• STARTIMAGE (AI Renderer 2.0)
  • Este grupo acepta una imagen de inicio y hasta tres imágenes de referencia adicionales. El flujo de trabajo las redimensiona automáticamente, opcionalmente las mezcla y construye una pila de referencia que siembra el video para una mejor consistencia de identidad y estilo. Si hay múltiples referencias presentes, un pequeño bloque de lógica desactiva la entrada de fotograma de inicio en el constructor de inicio a fin de VACE para que las referencias tengan prioridad.
• ENTRADA DE VIDEO Y SELECCIÓN DE TAMAÑO (AI Renderer 2.0)
  • Este segundo grupo de redimensionamiento impulsa el render final. Establece ancho, alto, fps y longitud de fotograma que son leídos por los nodos Wan posteriores. VHS_LoadVideo (#93 y #105) también puede importar un clip auxiliar cuyas propiedades se utilizan para reflejar fps en el escritor de salida final. Mantén este grupo sincronizado con tu exportación de Blender para evitar re-muestreo no intencionado.
• CARGADORES DE MODELO FP8
  • Aquí se cargan principalmente Wan 2.1 VACE UNet, el codificador de texto uMT5‑XXL y el Wan VAE, junto con pesos LoRA opcionales. Estos cargadores aseguran que la ruta AI Renderer 2.0 funcione con precisión consistente, tokenizador y códec latente. Intercambia modelos aquí para cambiar familias de estilo o checkpoints sin tocar el resto del gráfico.
• MUESTREADOR
  • El corazón de Blender a ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) forma un video de control desde imágenes de inicio y referencia más el pase de control elegido, luego WanVacePhantomSimpleV2 (#3255) conecta el modelo Wan, el acondicionamiento, las referencias y el control generado juntos. Un KSampler (#3253) renderiza fotogramas coherentes, luego VAEDecode y VHS_VideoCombine (#109) guardan el MP4 a tu fps objetivo. Introduce tus prompts positivos y negativos una vez; el mismo texto impulsa toda la secuencia.

Nodos clave en el flujo de trabajo de Comfyui Blender a ComfyUI AI Renderer 2.0

• WanVacePhantomSimpleV2 (#3255)
  • Orquesta la generación Wan 2.1 VACE enrutando modelo, VAE, prompts, video de control y fotogramas de referencia. Ajusta solo lo esencial: ancho y alto de trabajo para que coincida con tu control, y longitud de secuencia para que coincida con la toma objetivo. Si usas varias referencias fuertes, mantén los prompts descriptivos en lugar de sobre‑específicos para evitar pelear con la orientación de referencia.
• WanVideoVACEStartToEndFrame (#3261)
  • Construye el video de control que sigue VACE. Proporciona una imagen de inicio, pila de referencia u opcional final, y el video de control preprocesado. Establece el número de fotogramas usando la regla de Wan de 4n+1 para que el recorte se mantenga consistente a través del muestreador; esto evita artefactos de uno menos al final.
• PreprocessSwitch (#3239)
  • Selecciona qué alimentación de control llega al muestreador. Alterna entre fotogramas originales, profundidad, canny o pose dependiendo de lo que exportaste de Blender o construiste en Preprocesamiento. Usa profundidad cuando necesites fidelidad espacial, canny para control de composición limpia y pose para movimiento enfocado en el personaje.
• VHS_LoadVideo (#93)
  • Maneja la ingesta de video y expone propiedades de fotogramas utilizadas en todo el gráfico. Es la forma confiable de mantener fps y tamaño consistentes desde Blender hasta el render. Si necesitas recortar o saltar cabezas y colas, hazlo aquí para que todos los caminos posteriores permanezcan alineados.
• KSampler (#3253)
  • Produce la secuencia latente final dado el modelo Wan y el acondicionamiento. Si cambias la fuerza de la guía o el método de muestreo, verifica los primeros y últimos 10 fotogramas para la estabilidad, luego renderiza la toma completa.

Extras opcionales

• Puedes reemplazar el pase de control generado con los propios pases de render de Blender. Conecta tu pase de profundidad, contorno o pose en la entrada de control utilizada por WanVideoVACEStartToEndFrame (#3261) para impulsar VACE directamente desde las salidas de Blender.
• Mantén la relación de aspecto y fps idénticos entre Blender y el flujo de trabajo. El escritor de salida refleja fps de la configuración de entrada para que el tiempo editorial permanezca bloqueado.
• Para la preservación de identidad o estilo, proporciona múltiples imágenes de referencia limpias en STARTIMAGE. El flujo de trabajo priorizará el conjunto de referencias y manejará el interruptor de fotograma de inicio automáticamente.

Este flujo de trabajo de Blender a ComfyUI AI Renderer 2.0 te permite ser fiel al diseño y movimiento mientras usas prompts y referencias para elevar el valor de producción. Usa Preprocesamiento para decidir cuánto de la estructura deseas preservar, valida la dirección rápidamente con Z‑IMAGE TURBO CN 1.0, luego renderiza secuencias confiadas y coherentes con AI Renderer 2.0.

Agradecimientos

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos sinceramente a @Mickmumpitz, los creadores de "Blender a ComfyUI AI Renderer 2.0 Source" por su flujo de trabajo y orientación. Para detalles autorizados, consulta la documentación original y los repositorios enlazados a continuación.

Recursos

• Blender a ComfyUI AI Renderer 2.0 Source
  • Docs / Notas de Lanzamiento: YouTube @ Mickmumpitz

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.