Reemplazo de Personaje & Pose & Fondo V3 — Intercambio de personaje de video Wan2.2 Animate, transferencia de pose y control de fondo#
Este flujo de trabajo de ComfyUI transforma un clip de movimiento fuente y una sola imagen de referencia en un nuevo video donde la identidad del personaje, la pose y el fondo están bajo tu control. El Reemplazo de Personaje & Pose & Fondo V3 mantiene estable la estructura de movimiento fuente mientras intercambia el sujeto, transfiere el comportamiento del cuerpo y la cara, y opcionalmente reemplaza o mezcla la escena.
Diseñado para creadores que necesitan un proceso rápido y guiado, combina Wan2.2 Animate con segmentación SAM 3.1 y SDPose para un enmascaramiento sólido de personas y guía de poses. Úsalo para el reemplazo de personajes, animación de transferencia de poses o refresco de escena completa en un lienzo con prácticas opciones y vistas previas.
Modelos clave en el flujo de trabajo de Reemplazo de Personaje & Pose & Fondo V3 de ComfyUI#
- Wan2.2 Animate 14B. La columna vertebral de video generativo que renderiza los fotogramas finales desde imagen, pose y guía de texto. Soporta acondicionamiento de imagen y adaptadores LoRA para control de estilo o reiluminación. Model card
- SAM 3.1. Un modelo de segmentación de alta calidad usado para extraer o refinar la máscara de la persona a partir de fotogramas o imágenes de referencia, impulsando composites limpios y repintados. Checkpoints
- SDPose. Un conjunto de herramientas de extracción y dibujo de puntos clave de cuerpo completo usado para crear mapas de poses precisos y recortes de cara que guían la transferencia de movimiento y expresión. También proporciona pesos de detección RT-DETR usados en este gráfico. Repository
- ViTPose-L WholeBody ONNX. Un fuerte estimador de puntos clave de múltiples personas usado por los nodos de preprocesamiento para puntos de referencia densos de cuerpo, manos y cara. Checkpoint
Cómo usar el flujo de trabajo de Reemplazo de Personaje & Pose & Fondo V3 de ComfyUI#
El flujo de trabajo tiene tres pilares: construcción de guía, control de fondo y renderización. La guía proviene de tu imagen de identidad más señales de pose y cara extraídas del clip de movimiento. El control de fondo ofrece tres modos intercambiables. La renderización usa Wan2.2 Animate con LoRAs opcionales, luego exporta un video listo para compartir.
Carga de imagen#
Carga tu imagen de identidad o personaje objetivo en el grupo de carga de imagen. Se redimensiona para el modelo y se previsualiza para verificaciones rápidas. Esta imagen establece la apariencia para el Reemplazo de Personaje & Pose & Fondo V3, mientras que el movimiento se toma del clip fuente. Si la imagen tiene un sujeto limpio, los resultados seguirán la identidad más confiablemente.
Carga de video#
Importa la fuente de movimiento en el grupo de carga de video usando VHS_LoadVideo (#63). El nodo expone la tasa de fotogramas y el total de fotogramas para la programación posterior y determina cuántos fotogramas producirá el renderizador. El audio se pasa al exporte final si se proporciona. Usa los widgets de archivo para recortar o sub-muestrear cuando quieras previsualizaciones más cortas.
Zona de cara y pose#
La zona de cara y pose construye dos corrientes clave de guía. Detecta personas y caras, luego extrae puntos clave de cuerpo completo con SDPoseKeypointExtractor (#690) y los dibuja en una imagen de control limpia a través de SDPoseDrawKeypoints (#688). Un detector auxiliar como RTDETR_detect (#771) y el cargador de preprocesamiento suministran cajas robustas para cuerpo y cara. Para tomas de múltiples personas, activa el control de "Detección de múltiples personas" y el interruptor de "Fuente de detección" para elegir si detectar poses en la rama fuente o en la rama de fondo reemplazado.
Máscara y refinamiento SAM 3.1#
El grupo de máscara Sam3.1 crea la máscara del sujeto con SAM3_Detect (#753). Puedes guiarlo con texto a través de CLIPTextEncode (#754) y ajustar la selección con clics usando PointsEditor (#758). Dos refinadores luego hacen la producción mate lista: GrowMaskWithBlur (#502) expande suavemente y difumina los bordes, y BlockifyMask (#401) iguala los límites del bloque para evitar contornos dentados. Una vista previa de superposición en vivo (DrawMaskOnImage (#391)) te ayuda a confirmar el recorte antes de renderizar.
Zona de reemplazo de fondo#
Puedes:
- Mantener la escena original.
- Reemplazar con una foto estática usando
LoadImage(#785). - Reemplazar con un video dinámico usando
VHS_LoadVideo(#790).
Un simple interruptor selecciona el comportamiento, y la rama que elijas se redimensiona para coincidir con los fotogramas de movimiento, luego se compone con la máscara de la persona. Si necesitas un aspecto de escenario de color plano, el subgrupo de pantalla verde proporciona un fondo sólido que permanece estable a través de los fotogramas.
Opciones de movimiento Uni3C#
Para tomas que necesitan un movimiento de cámara adicional o suavizado de movimiento, el grupo Uni3C carga un modelo de control y convierte el clip fuente redimensionado en incrustaciones de movimiento con WanVideoUni3C_ControlnetLoader (#538) y WanVideoUni3C_embeds (#546). Un control de fuerza y programación de inicio o fin te permiten desvanecer el efecto dentro o fuera a lo largo de la secuencia.
Reemplazo de personaje - etapa de incrustación#
WanVideoAnimateEmbeds (#62) fusiona todo para la ruta de reemplazo de personaje: VAE, características de imagen CLIP-Vision, tu imagen de identidad, mapas de poses SDPose, recortes opcionales de cara, la máscara de persona y una guía de fondo opcional. El ancho, la altura y el conteo de fotogramas se heredan del video para que la alineación de movimiento sea exacta. Usa este modo cuando quieras que el nuevo sujeto se mueva exactamente como el actor original.
Transferencia de movimiento - etapa de incrustación#
Un segundo WanVideoAnimateEmbeds (#904) proporciona una ruta de transferencia de movimiento primero que prescinde de fondo y enmascaramiento cuando solo necesitas aplicar la pose y la expresión a un sujeto de imagen. Solo una etapa de incrustación debe estar activa a la vez. Elige el modo que coincida con tu objetivo, luego el Any-Switch aguas arriba envía las incrustaciones seleccionadas hacia adelante.
Zona de muestreo y control de LoRA#
WanVideoSamplerSettings (#530) reúne el modelo Wan2.2, las incrustaciones de imagen elegidas, incrustaciones de texto opcionales, incrustaciones de movimiento Uni3C y tu semilla. Las pilas LoRA se eligen con WanVideoLoraSelectMulti (#467) y se aplican con WanVideoSetLoRAs (#48), lo cual es útil para reiluminación, estilo o estabilización. WanVideoSamplerFromSettings (#531) genera el video latente, y WanVideoDecode (#28) lo convierte en fotogramas.
Vista previa y exportación#
La zona de Vista previa reproduce los fotogramas intermedios para verificaciones, y VHS_VideoCombine (#312) escribe el clip final a la tasa de fotogramas elegida con paso de audio opcional. Ya se ha configurado un macro de prefijo de nombre de archivo para que cada renderizado tenga una marca de tiempo.
Nodos clave en el flujo de trabajo de Reemplazo de Personaje & Pose & Fondo V3 de ComfyUI#
WanVideoAnimateEmbeds (#62, #904) Este es el corazón del ensamblaje de guía para Wan2.2 Animate docs. Fusiona apariencia, pose, máscara y fondo opcional en un solo flujo de imagen incrustado dimensionado para tu video. Ajusta solo lo que importa: aumenta pose_strength para bloquear más cerca del movimiento fuente o aumenta face_strength cuando la identidad y el área de los labios deben seguir más de cerca. Mantén num_frames y el conteo de fotogramas del cargador de video alineados para evitar truncamientos.
SAM3_Detect (#753) Genera el mate de persona usando SAM 3.1 checkpoints. Usa el acondicionamiento de texto o clics de puntos cuando la ropa se mezcle con el fondo. Si el mate es ruidoso, reduce el alcance de selección con cajas delimitadoras de las herramientas de detección antes de refinar.
GrowMaskWithBlur (#502) y BlockifyMask (#401) Del repositorio KJNodes repo, estos preparan máscaras para una composición limpia. Crecer y difuminar ocultará las costuras de los bordes después del reemplazo de fondo, mientras que blockify evita artefactos de escalera en los contornos del sujeto. Ajusta suavemente y previsualiza a menudo.
WanVideoLoraSelectMulti (#467) y WanVideoSetLoRAs (#48) Estos nodos adjuntan adaptadores LoRA dentro de Wan2.2 Animate wrapper. Úsalos para ajustes de reiluminación, recompensa o sensación de movimiento. Mantén la fuerza total equilibrada con tu cfg y pasos de muestreo para que las LoRAs guíen en lugar de dominar.
WanVideoUni3C_ControlnetLoader (#538) y WanVideoUni3C_embeds (#546) Proporcionan retargeting de cámara y movimiento opcional dentro del mismo muestreador docs. Usa la fuerza y la programación de inicio o fin para mezclar el efecto. Para tomas de seguimiento muy ajustado, establece la fuerza más baja para que el movimiento del sujeto siga siendo primario.
VHS_VideoCombine (#312) Del Video Helper Suite repo. Ensambla fotogramas en el video final y puede multiplexar audio de la fuente. Empareja la tasa de fotogramas aquí con la tasa forzada de tu cargador para un tiempo 1:1.
Extras opcionales#
- Si ves presión de memoria a alta resolución o clips largos, habilita el mosaico VAE en los nodos de codificación o decodificación y baja el tamaño de contexto en la configuración del muestreador.
- Cuando los bordes del sujeto se vean dentados, aumenta ligeramente el crecimiento de la máscara, luego ajusta el tamaño del bloque antes de renderizar nuevamente.
- Si el color o la exposición se desvían después del reemplazo, prueba una LoRA de reiluminación a fuerza moderada en lugar de aumentar CFG.
- Para escenas ocupadas, detecta poses primero en la rama fuente, luego cambia la detección a la rama reemplazada solo después de que la máscara sea confiable.
- Para estabilizar renderizados largos, mantén una
seedfija mientras iteras en máscaras y LoRAs, luego randomiza una vez que el aspecto esté bloqueado.
Este flujo de trabajo fue construido alrededor de Wan2.2 Animate y sus compañeros de preprocesamiento, con referencias oficiales para una lectura adicional: Wan2.2 Animate, ComfyUI-WanVideoWrapper, ComfyUI-WanAnimatePreprocess, SAM 3.1, SDPose, y KJNodes.
Agradecimientos#
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos enormemente a RunningHub por la referencia del flujo de trabajo, Wan-AI por el modelo Wan2.2-Animate-14B, kijai por los nodos ComfyUI WanVideoWrapper y WanAnimatePreprocess, y Comfy-Org por los modelos SAM3.1 y SDPose por sus contribuciones y mantenimiento. Para obtener detalles autorizados, consulte la documentación original y los repositorios vinculados a continuación.
Recursos#
- RunningHub/Reemplazo de Personaje & Fondo Transferencia de Pose Wan2.2 Animate SAM3.1 SDPose Flujo de Trabajo Definitivo v3
- Documentos / Notas de Lanzamiento: Publicación del flujo de trabajo
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
