Wan2.2 Animate | Foto a Video de Movimiento Realista

Wan2.2 Animate: animación de referencia a video de movimiento completo en ComfyUI

Wan2.2 Animate convierte una sola imagen de referencia en una actuación realista que sigue el movimiento corporal completo y las expresiones faciales de un video de conducción. Este flujo de trabajo de ComfyUI Wan2.2 Animate fusiona transferencia de pose, captura facial, control de fondo y complementos LoRA para que los personajes se muevan naturalmente mientras la identidad se mantiene intacta.

Diseñado para avatares, recreaciones de actuaciones, videos musicales y ritmos de historia, Wan2.2 Animate produce clips limpios y temporalmente estables con paso de audio opcional, escalado de calidad e interpolación. Se envía como un gráfico guiado con valores predeterminados sensatos, para que puedas centrarte en las elecciones creativas en lugar de en la fontanería.

Modelos clave en el flujo de trabajo Comfyui Wan2.2 Animate

• Wan 2.2 Animate 14B (I2V) fp8 escalado. El modelo de video principal que interpreta pose, cara, imagen y guía de texto para sintetizar la pista de movimiento con preservación de identidad. Model set
• Wan 2.1 VAE bf16. El VAE coincidente utilizado para codificar/decodificar latentes para la familia Wan, asegurando fidelidad de color y nitidez. VAE
• UMT5‑XXL codificador de texto. Proporciona una robusta condicionamiento de texto multilingüe para indicaciones positivas y negativas. Encoder
• CLIP ViT‑H/14 codificador de visión. Extrae incrustaciones visuales de la imagen de referencia para preservar la identidad y el estilo. Paper
• LoRAs opcionales de Wan. Adaptadores ligeros para control de iluminación y comportamiento I2V, como Lightx2v I2V 14B y Relight. Lightx2v • Relight
• Segment Anything 2 (SAM 2). Segmentación de imagen/video de alta calidad utilizada para aislar el sujeto o el fondo. Paper
• DWPose. Estimación precisa de pose 2D utilizada para cortes y máscaras conscientes de la cara/pose. Repo
• RIFE. Interpolación rápida de cuadros de video para aumentar la suavidad de la reproducción. Paper

Cómo usar el flujo de trabajo Comfyui Wan2.2 Animate

Flujo general. El gráfico ingiere un video de conducción y una sola imagen de referencia, prepara un sujeto/fondo limpio y un recorte consciente de la cara, luego alimenta poses, caras, imágenes e incrustaciones de texto en Wan2.2 Animate para muestreo y decodificación. Una etapa final mejora los detalles y opcionalmente interpola cuadros antes de la exportación.

• Modelos
  • Este grupo carga la base Wan2.2 Animate, el VAE coincidente, codificadores de texto/visión y cualquier LoRAs seleccionado. El WanVideoModelLoader (#22) y WanVideoSetLoRAs (#48) conectan el modelo y los adaptadores, mientras que WanVideoVAELoader (#38) y CLIPLoader (#175) proporcionan las bases de VAE y texto.
  • Si planeas ajustar LoRAs (por ejemplo, relight o estilo I2V), mantén solo uno o dos activos a la vez para evitar conflictos, luego previsualiza con los nodos collage proporcionados.

Tamaño

• Establece tu width y height objetivo en el grupo de tamaño y confirma que el frame_count coincida con los cuadros que planeas cargar desde el video de conducción. VHS_LoadVideo (#63) informa el conteo; mantén el num_frames del muestreador consistente para evitar truncamiento de cola.
• El PixelPerfectResolution (#152) ayuda a leer el clip de conducción para sugerir un tamaño de generación estable.

Enmascaramiento de Fondo

• Carga tu video de conducción en VHS_LoadVideo (#63); el audio se extrae automáticamente para un paso posterior. Usa PointsEditor (#107) para colocar algunos puntos positivos en el sujeto y ejecuta Sam2Segmentation (#104) para generar una máscara limpia.
• GrowMask (#100) y BlockifyMask (#108) estabilizan y expanden los bordes, y DrawMaskOnImage (#99) proporciona una verificación rápida de cordura. Esta máscara permite que Wan2.2 Animate se concentre en el intérprete mientras respeta el fondo original.

Imagen de Referencia

• Inserta un retrato o cuerpo completo bien iluminado. ImageResizeKJv2 (#64) lo ajusta a tu resolución de trabajo, y la salida se almacena para la etapa de animación.
• Para una mejor retención de identidad, elige una imagen de referencia con una cara clara y mínimas oclusiones.

Imágenes Faciales

• La canalización construye un recorte consciente de la cara para impulsar microexpresiones. DWPreprocessor (#177) encuentra puntos clave de pose, FaceMaskFromPoseKeypoints (#120) aísla la región facial, y ImageCropByMaskAndResize (#96) produce recortes faciales alineados. Se incluye un exportador de vista previa pequeña para control de calidad rápido (VHS_VideoCombine (#112)).

Muestreo y Decodificación

• La imagen de referencia se incrusta a través de WanVideoClipVisionEncode (#70), las indicaciones se codifican con CLIPTextEncode (#172, #182, #183), y todo se fusiona por WanVideoAnimateEmbeds (#62).
• WanVideoSampler (#27) ejecuta la difusión central de Wan2.2 Animate. Puedes trabajar en modo "ventana de contexto" para clips muy largos o usar la ruta original de generación larga; la nota incluida explica cuándo hacer coincidir la ventana de contexto con el conteo de cuadros para la estabilidad. La salida del muestreador se decodifica por WanVideoDecode (#28) y se guarda con paso de audio opcional (VHS_VideoCombine (#30)).

Collage de Resultados

• ImageConcatMulti (#77, #66) y GetImageSizeAndCount (#42) ensamblan un panel lado a lado de referencia, cara, pose y salida. Úsalo para verificar la identidad y la alineación de movimiento antes de la exportación final.

Escalado e Interpolación

• UltimateSDUpscaleNoUpscale (#180) refina bordes y texturas con el UNet proporcionado (UNETLoader (#181)) y VAE (VAELoader (#184)); las indicaciones positivas/negativas pueden guiar suavemente el detalle.
• RIFEInterpolation (#188) opcionalmente duplica la suavidad del movimiento, y VHS_VideoCombine (#189) escribe el clip final de Wan2.2 Animate.

Nodos clave en el flujo de trabajo Comfyui Wan2.2 Animate

• VHS_LoadVideo (#63)
  • Rol. Carga el video de conducción, genera cuadros, extrae audio e informa el conteo de cuadros para la consistencia aguas abajo.
  • Consejo. Mantén el total de cuadros informado alineado con la longitud de generación del muestreador para evitar cortes anticipados o cuadros negros.
• Sam2Segmentation (#104) + PointsEditor (#107)
  • Rol. Enmascaramiento interactivo del sujeto que ayuda a Wan2.2 Animate a centrarse en el intérprete y evitar enredos de fondo.
  • Consejo. Algunos puntos positivos bien colocados más un GrowMask modesto tienden a estabilizar fondos complejos sin crear halos. Consulta SAM 2 para orientación sobre segmentación consciente de video. Paper
• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)
  • Rol. Derivar máscaras faciales robustas y recortes alineados de puntos clave detectados para mejorar la fidelidad de labios, ojos y mandíbula.
  • Consejo. Si las expresiones parecen apagadas, verifica que la máscara facial cubra completamente la línea de la mandíbula y las mejillas; vuelve a ejecutar el recorte después de ajustar los puntos. Repo
• WanVideoModelLoader (#22) y WanVideoSetLoRAs (#48)
  • Rol. Cargar Wan2.2 Animate y aplicar LoRAs opcionales para reiluminación o sesgo I2V.
  • Consejo. Activa un LoRA a la vez al diagnosticar artefactos de iluminación o movimiento; apila con moderación para evitar sobreconstricciones. Models • LoRAs
• WanVideoAnimateEmbeds (#62) y WanVideoSampler (#27)
  • Rol. Fusionar imagen, cara, pose y condicionamiento de texto en latentes de video y muestrear la secuencia con Wan2.2 Animate.
  • Consejo. Para clips muy largos, cambia al modo de ventana de contexto y mantén su longitud sincronizada con el conteo de cuadros previsto para preservar la coherencia temporal. Wrapper repo
• UltimateSDUpscaleNoUpscale (#180)
  • Rol. Paso de detalle ligero después de la decodificación con soporte para mosaicos para mantener la memoria estable.
  • Consejo. Si ves costuras de mosaico, aumenta modestamente la superposición y mantén la dirección de la indicación muy suave para evitar texturas fuera de modelo. KJNodes
• RIFEInterpolation (#188)
  • Rol. Suaviza el movimiento insertando cuadros intermedios sin volver a renderizar el clip.
  • Consejo. Aplica la interpolación después del escalado para que el flujo óptico vea el perfil de detalle final. Paper

Extras opcionales

• Para la identidad más limpia, elige una referencia nítida y frontal y mantén los accesorios consistentes con el video de conducción.
• Si aparece parpadeo de fondo, refina la máscara SAM 2 y vuelve a ejecutar; el enmascaramiento suele ser la solución más rápida para fugas de escena.
• Mantén el ancho y la altura alineados con tu plataforma objetivo y la relación de aspecto del input; los píxeles cuadrados, múltiplos de 16 funcionan bien en Wan2.2 Animate.
• El audio del video de conducción puede pasarse en la exportación; si prefieres silencio, desactiva el audio en el nodo de guardado.
• Comienza con un LoRA; si agregas reiluminación e I2V juntos, prueba cada uno por separado primero para entender su influencia.

Enlaces que puedes encontrar útiles:

• Modelo y activos Wan2.2 Animate por Kijai: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• Wrappers y nodos de ComfyUI utilizados: ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

Agradecimientos

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos profundamente a Wan2.2 y @ArtOfficialLabs por Wan2.2 Animate Demo por sus contribuciones y mantenimiento. Para detalles autorizados, por favor consulta la documentación original y los repositorios enlazados a continuación.

Recursos

• Wan2.2/Wan2.2 Animate Demo
  • Documentación / Notas de lanzamiento: Wan2.2 Animate Demo @ArtOfficialLabs

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.