Este flujo de trabajo de ComfyUI Wan 2.2 VACE convierte una sola imagen de referencia en un video que sigue la pose, el ritmo y el movimiento de cámara de un clip fuente. Usa Wan 2.2 VACE para preservar la identidad mientras traduce el movimiento corporal complejo en animación suave y realista.
Diseñado para generación de danza, transferencia de movimiento y animación creativa de personajes, el flujo de trabajo automatiza la sugerencia de estilo desde la imagen de referencia, extrae señales de movimiento del video fuente y ejecuta un muestreador Wan 2.2 de dos etapas que equilibra la coherencia del movimiento y el detalle fino.
El flujo de trabajo tiene cinco etapas agrupadas: Entradas, PROMPT, Modelos, MUESTREO y Salida. Proporcionas una imagen de referencia y un corto video de movimiento. El gráfico luego calcula la guía de movimiento, codifica las características de identidad VACE, ejecuta un muestreador Wan 2.2 de dos pasos y guarda tanto la animación final como una vista previa opcional lado a lado.
Carga un clip fuente de movimiento en VHS_LoadVideo (#141). Puedes recortar con controles simples y limitar fotogramas para memoria. Los fotogramas se redimensionan para consistencia, luego DepthAnythingV2Preprocessor (#135) calcula una secuencia de profundidad densa que captura pose, distribución y movimiento de cámara. Carga tu imagen de identidad con LoadImage (#113); se redimensiona automáticamente y se previsualiza para que puedas verificar el encuadre antes del muestreo.
Florence2Run (#137) analiza la imagen de referencia y devuelve una leyenda detallada. Style Prompt (#138) concatena esa leyenda con una breve frase de estilo, luego WanVideoTextEncode (#16) codifica los prompts positivos y negativos finales usando UMT5-XXL. Puedes editar libremente la frase de estilo o reemplazar el prompt positivo por completo si deseas una dirección creativa más fuerte. Este embedding de prompt condiciona ambas etapas del muestreador para que el video generado sea fiel a tu referencia.
WanVideoVAELoader (#38) carga el Wan VAE usado en toda la codificación/decodificación. Dos nodos WanVideoModelLoader preparan los modelos Wan 2.2 14B: uno de alto ruido y uno de bajo ruido, cada uno aumentado con un módulo VACE seleccionado en WanVideoExtraModelSelect (#99, #107). La refinación opcional LoRA se adjunta a través de WanVideoLoraSelect (#56, #97), permitiéndote ajustar nitidez o estilo sin cambiar los modelos base. La configuración está diseñada para que puedas intercambiar pesos VACE, LoRA o la variante de ruido sin tocar el resto del gráfico.
WanVideoVACEEncode (#100) fusiona tres señales en embeddings VACE: la secuencia de movimiento (fotogramas de profundidad), tu imagen de referencia y la geometría del video objetivo. El primer WanVideoSampler (#27) ejecuta el modelo de alto ruido hasta un paso de división para establecer movimiento, perspectiva y estilo global. El segundo WanVideoSampler (#90) retoma desde ese latente y termina con el modelo de bajo ruido para recuperar texturas, bordes y pequeños detalles mientras mantiene el movimiento bloqueado a la fuente. Un corto programa de CFG y la división de pasos controlan cuánto influye cada etapa en el resultado.
WanVideoDecode (#28) convierte el latente final de nuevo en fotogramas. Obtienes dos videos guardados: un render limpio y un concat lado a lado que coloca los fotogramas generados junto a la referencia para una rápida QA. Una "Vista previa del mapa de profundidad" separada muestra la secuencia de profundidad inferida para que puedas diagnosticar la guía de movimiento de un vistazo. Las configuraciones de velocidad de fotogramas y nombre de archivo están disponibles en las salidas VHS_VideoCombine (#139, #60, #144).
WanVideoVACEEncode (#100)Crea los embeddings de identidad y geometría VACE usados por ambos muestreadores. Proporciona tus fotogramas de movimiento y la imagen de referencia; el nodo maneja ancho, alto y cuenta de fotogramas. Si cambias la duración o el aspecto, mantén este nodo sincronizado para que los embeddings coincidan con la disposición de tu video objetivo.
WanVideoSampler (#27)Muestreador de primera etapa usando el modelo de alto ruido Wan 2.2. Ajusta steps, un corto programa cfg, y la división end_step para decidir cuánto de la trayectoria se asigna a la configuración de movimiento. Los cambios de movimiento o cámara más grandes se benefician de una división ligeramente más tardía.
WanVideoSampler (#90)Muestreador de segunda etapa usando el modelo de bajo ruido Wan 2.2. Establece start_step en el mismo valor de división para que continúe sin problemas desde la primera etapa. Si ves sobreafilado de textura o deriva, reduce los valores cfg posteriores o baja la fuerza LoRA.
DepthAnythingV2Preprocessor (#135)Extrae una secuencia de profundidad estable del video fuente. Usar profundidad como guía de movimiento ayuda a Wan 2.2 VACE a retener la disposición de la escena, la pose de la mano y la oclusión. Para iteración rápida, puedes redimensionar fotogramas de entrada más pequeños; para renders finales, alimenta fotogramas de mayor resolución para mejor fidelidad estructural.
WanVideoTextEncode (#16)Codifica los prompts positivos y negativos con UMT5-XXL. El prompt se autoconstruye desde Florence2Run, pero puedes sobrescribirlo para dirección artística. Mantén los prompts concisos; con guía de identidad VACE, menos palabras clave a menudo producen una transferencia de movimiento más limpia y menos restringida.
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos profundamente a los creadores de la comunidad ComfyUI de Wan 2.2 VACE Source por el flujo de trabajo, por sus contribuciones y mantenimiento. Para obtener detalles autorizados, consulta la documentación original y los repositorios vinculados a continuación.
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
RunComfy es la principal ComfyUI plataforma, ofreciendo ComfyUI en línea entorno y servicios, junto con flujos de trabajo de ComfyUI con impresionantes imágenes. RunComfy también ofrece AI Playground, permitiendo a los artistas aprovechar las últimas herramientas de AI para crear arte increíble.
