Wan 2.2 Prompt Relay | Creador de Videos Controlados por Escena

Wan 2.2 Prompt Relay: imagen a video controlada por línea de tiempo en ComfyUI#

Este flujo de trabajo lleva la dirección de escena a nivel de segmento a Wan 2.2 de imagen a video. Utiliza Wan 2.2 para la generación y el método Prompt Relay para enrutar diferentes indicaciones a lo largo de una única línea de tiempo, de modo que puedas transferir el control de una escena a la siguiente sin cortar el renderizado. El resultado es un video de múltiples eventos fluido donde cada segmento sigue su propia indicación mientras la identidad del objeto y el estilo se mantienen consistentes.

Wan 2.2 Prompt Relay es una técnica de enrutamiento en tiempo de inferencia, no un modelo independiente o LoRA. El gráfico está diseñado para RunComfy cloud e incluye una cadena de muestreo de dos etapas más una interpolación de cuadros RIFE opcional. Úsalo cuando desees un control de escena temporal ajustado con una configuración mínima: proporciona una imagen de inicio, define una indicación global y por segmento, establece la duración del video y renderiza.

Modelos clave en el flujo de trabajo Comfyui Wan 2.2 Prompt Relay#

• Modelo de difusión de imagen a video Wan 2.2 14B. Las variantes de alto ruido y bajo ruido se combinan para equilibrar movimiento y detalle en un paso de dos etapas. Los modelos están disponibles en el conjunto reempaquetado de Comfy-Org en Hugging Face. Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• Codificador de texto UMT5-XXL para Wan. Este codificador traduce tus indicaciones globales y locales en condicionamiento utilizado por Wan 2.2. Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. Utilizado para decodificar latentes de vuelta a cuadros después del muestreo. Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• Modelo de interpolación de cuadros RIFE (opcional). Aumenta la suavidad temporal o la tasa de cuadros objetivo después de la generación. hzwer/Practical-RIFE

Cómo usar el flujo de trabajo Comfyui Wan 2.2 Prompt Relay#

El flujo de trabajo enruta indicaciones de texto a lo largo del tiempo, genera un video latente desde una imagen de inicio, luego refina y decodifica cuadros antes de la interpolación y codificación opcionales. Está organizado en unos pocos grupos claros que cooperan para producir el MP4 final.

• Paso 1 - Cargar modelos Esta sección inicializa Wan 2.2, el codificador de texto y el VAE. Los modelos Wan de alto ruido y bajo ruido están preparados para que el pipeline pueda establecer primero el movimiento y luego mejorar el detalle. Si hay una LoRA presente, se aplica al modelo base antes del muestreo. No necesitas cambiar nada aquí a menos que quieras intercambiar puntos de control.
• Paso 2 - Subir imagen_de_inicio Importa una sola imagen de referencia que define la composición, la identidad del sujeto y la iluminación para el primer cuadro usando LoadImage (#85). La imagen de inicio ancla el aspecto del video y ayuda a mantener la continuidad a través de los segmentos. Usa una referencia limpia y en modelo para obtener los mejores resultados. Reemplázala siempre que desees un sujeto o diseño diferente.
• Paso 3 - Tamaño y duración del video Establece la resolución objetivo y el conteo total de cuadros en el inicializador de video latente (EmptyHunyuanLatentVideo (#121)) y mantenlo consistente con tu plan de segmento. La suma de tus longitudes de segmento debe ser igual al total de cuadros. Haz coincidir la tasa de cuadros que pretendes exportar con la configuración de Prompt Relay y el escritor de video más adelante en el gráfico.
• Lightx2v + i2v La ruta de renderizado principal utiliza una cadena de muestreo de dos etapas. La primera etapa con el modelo de alto ruido establece movimiento y transiciones de escena. La segunda etapa con el modelo de bajo ruido refina detalle y textura mientras preserva la ruta de movimiento de la primera etapa. Esta combinación es lo que hace que Wan 2.2 Prompt Relay sea tanto controlable como estable para transferencias de escena a escena.
• Enrutamiento de indicaciones Introduce una indicación_global fuerte que se aplique a todo el clip en PromptRelayEncodeTimeline (#117). Luego define indicaciones de segmento ya sea como datos de línea de tiempo JSON o como una lista separada por tuberías. Prompt Relay codifica el condicionamiento por cuadro que cambia solo en los límites de los segmentos, facilitando opcionalmente las transiciones para transferencias naturales. El nodo alimenta el condicionamiento de Wan y asegura que cada segmento siga su dirección prevista.
• Muestreo y decodificación El pipeline pasa por WanImageToVideo (#79), luego un KSamplerAdvanced (#73) grueso seguido de un KSamplerAdvanced (#83) fino. Los cuadros se decodifican con VAEDecode (#74) y se escriben en video con VHS_VideoCombine (#108). Opcionalmente, usa RIFE VFI (#131) antes de un segundo VHS_VideoCombine (#132) si deseas un movimiento más suave o una tasa de cuadros de salida más alta.

Nodos clave en el flujo de trabajo Comfyui Wan 2.2 Prompt Relay#

• PromptRelayEncodeTimeline (#117) Central en Wan 2.2 Prompt Relay, este nodo transforma tu indicación_global y las indicaciones por segmento en un flujo de condicionamiento positivo consciente del tiempo. Puedes crear segmentos en el JSON timeline_data o en local_prompts usando una sintaxis de tubería. Usa max_frames para igualar la longitud del video, elige time_units que se alineen con tu plan y ajusta epsilon para suavizar o endurecer las transferencias de indicaciones entre segmentos. Mantén fps consistente con tu exportación final.
• WanImageToVideo (#79) Convierte la imagen de inicio más el condicionamiento en una línea de tiempo latente inicial para Wan 2.2. Conecta tu referencia de inicio a start_image y mantén el ancho, alto y longitud alineados con el inicializador latente. El condicionamiento negativo en este gráfico está intencionadamente reducido a cero para reducir la sobre-restricción y mantener la identidad estable; introduce una indicación negativa explícita solo si ves artefactos recurrentes que deseas suprimir.
• KSamplerAdvanced (#73) Primer muestreador que enfatiza el movimiento y el diseño. Funciona con el modelo Wan de alto ruido configurado a través de ModelSamplingSD3 para explorar trayectoria mientras respeta el condicionamiento de Prompt Relay. Ajusta steps y cfg para la fuerza de la guía, y mantén una noise_seed fija cuando desees un movimiento reproducible a través de iteraciones de edición.
• KSamplerAdvanced (#83) Segundo muestreador que mejora detalle y consistencia temporal usando el modelo Wan de bajo ruido. Refina textura, bordes y micro-movimiento sin luchar contra la trayectoria gruesa establecida por el primer paso. Si aumentas la fidelidad aquí, considera equilibrar la guía para evitar el sobre-enfoque que puede desestabilizar el movimiento.
• EmptyHunyuanLatentVideo (#121) Crea el video latente en blanco que define resolución espacial, presupuesto de cuadros y tamaño de lote. Establece cuadros totales a la suma de todas las longitudes de segmentos para que Prompt Relay pueda mapear indicaciones limpiamente. Cambiar la resolución afecta la memoria y el aspecto de la cadencia de movimiento, así que escala cuidadosamente.
• VHS_VideoCombine (#108, #132) Codifica cuadros a MP4. Haz coincidir frame_rate con el fps de Prompt Relay cuando no estés usando interpolación. Si usas RIFE VFI, ajusta la tasa de cuadros del escritor a los nuevos fps efectivos. Ajusta crf para el equilibrio entre tamaño y calidad.

Extras opcionales#

• Escribe la indicación_global para fijar el tono, el lenguaje de la cámara y las etiquetas de calidad, luego mantén las indicaciones de segmento cortas y centradas en la acción.
• Asegúrate de que la suma de las longitudes de tus segmentos sea igual a la longitud del video para evitar desalineaciones de indicaciones.
• Mantén las semillas fijas mientras iteras en las indicaciones, luego aleatoriza las semillas solo cuando desees una nueva perspectiva.
• Usa imágenes de inicio más altas o más anchas para sugerir preferencia de aspecto, pero siempre establece explícitamente el ancho y la altura para la predictibilidad.
• Si ves un deslizamiento de identidad a través de segmentos, fortalece la indicación_global con descriptores de objetos salientes y simplifica las indicaciones locales.

Recursos para explorar los componentes utilizados aquí:

• Nodo de Prompt Relay para ComfyUI por kijai GitHub
• Modelos reempaquetados de Wan 2.2 Hugging Face
• Codificador de texto UMT5-XXL reempaquetado para Wan 2.x Hugging Face

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a kijai por el nodo ComfyUI-PromptRelay, a gordonchen19 por el proyecto Prompt-Relay, y a Comfy-Org por los modelos Wan_2.2_ComfyUI_Repackaged por sus contribuciones y mantenimiento. Para detalles autoritarios, por favor refiérase a la documentación original y repositorios enlazados a continuación.

Recursos#

• YouTube/Workflow @Ai Verse source tutorial
  • Docs / Release Notes: @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • Docs / Release Notes: AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub: gordonchen19/Prompt-Relay
  • Docs / Release Notes: Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.