Remplacement de Personnage & Pose & Décor V3 | Wan2.2 Animate + SAM3.1 + SDPose

Remplacement de Personnage & Pose & Décor V3 — Échange de personnage vidéo Wan2.2 Animate, transfert de pose et contrôle de décor#

Ce flux de travail ComfyUI transforme un clip de mouvement source et une image de référence unique en une nouvelle vidéo où l'identité du personnage, la pose et le décor sont sous votre contrôle. Remplacement de Personnage & Pose & Décor V3 maintient la structure du mouvement source stable tout en échangeant le sujet, en transférant le comportement du corps et du visage, et en remplaçant ou mélangeant éventuellement la scène.

Conçu pour les créateurs qui ont besoin d'une pipeline rapide et guidée, il associe Wan2.2 Animate avec la segmentation SAM 3.1 et SDPose pour un masquage robuste des personnes et une orientation des poses. Utilisez-le pour le remplacement de personnage, l'animation de transfert de pose, ou le rafraîchissement complet de scène sur une seule toile avec des bascules pratiques et des aperçus.

Modèles clés dans le flux de travail ComfyUI Remplacement de Personnage & Pose & Décor V3#

• Wan2.2 Animate 14B. L'épine dorsale vidéo générative qui rend les cadres finaux à partir de l'image, de la pose et de l'orientation textuelle. Il prend en charge le conditionnement d'image et les adaptateurs LoRA pour le contrôle de style ou de relighting. Model card
• SAM 3.1. Un modèle de segmentation de haute qualité utilisé pour extraire ou affiner le masque de personne à partir des cadres ou des images de référence, entraînant des composites nets et des repeints. Checkpoints
• SDPose. Un ensemble d'extraction et de dessin de points clés du corps entier utilisé pour créer des cartes de pose précises et des recadrages de visage qui orientent le transfert de mouvement et d'expression. Il fournit également des poids de détection RT‑DETR utilisés dans ce graphique. Repository
• ViTPose-L WholeBody ONNX. Un estimateur de points clés multi-personnes fort utilisé par les nœuds de prétraitement pour les repères denses du corps, des mains et du visage. Checkpoint

Comment utiliser le flux de travail ComfyUI Remplacement de Personnage & Pose & Décor V3#

Le flux de travail repose sur trois piliers : la construction de l'orientation, le contrôle du décor et le rendu. L'orientation provient de votre image d'identité plus les signaux de pose et de visage extraits du clip de mouvement. Le contrôle du décor offre trois modes interchangeables. Le rendu utilise Wan2.2 Animate avec des LoRAs optionnels, puis exporte une vidéo prête à partager.

Chargement d'image#

Chargez votre image d'identité ou de personnage cible dans le groupe Chargement d'image. Elle est redimensionnée pour le modèle et prévisualisée pour des vérifications rapides. Cette image fixe l'apparence pour Remplacement de Personnage & Pose & Décor V3, tandis que le mouvement est extrait du clip source. Si l'image a un sujet propre, les résultats suivront plus fidèlement l'identité.

Chargement de vidéo#

Importez la source de mouvement dans le groupe Chargement de vidéo à l'aide de VHS_LoadVideo (#63). Le nœud expose le taux de trame et le nombre total de cadres pour la planification en aval et détermine combien de cadres le moteur de rendu produira. L'audio est transmis à l'exportation finale si fourni. Utilisez les widgets de fichier pour découper ou sous-échantillonner lorsque vous souhaitez des aperçus plus courts.

Zone de visage et de pose#

La zone de Visage & pose construit deux flux d'orientation clés. Elle détecte les personnes et les visages, puis extrait les points clés du corps entier avec SDPoseKeypointExtractor (#690) et les dessine dans une image de contrôle propre via SDPoseDrawKeypoints (#688). Un détecteur d'aide comme RTDETR_detect (#771) et le chargeur de prétraitement fournissent des boîtes robustes pour le corps et le visage. Pour les prises multi-personnes, activez le contrôle "Détection multi-personnes" et l'interrupteur "Source de détection" pour choisir s'il faut détecter les poses sur la branche source ou la branche remplacée en arrière-plan.

Masque et affinage SAM 3.1#

Le groupe de masque Sam3.1 crée le masque du sujet avec SAM3_Detect (#753). Vous pouvez le guider avec du texte via CLIPTextEncode (#754) et ajuster la sélection avec des clics à l'aide de PointsEditor (#758). Deux affineurs rendent ensuite la découpe prête à la production : GrowMaskWithBlur (#502) étend doucement et adoucit les bords, et BlockifyMask (#401) égalise les contours des blocs pour éviter les contours en escalier. Un aperçu en surimpression en direct (DrawMaskOnImage (#391)) vous aide à confirmer la découpe avant le rendu.

Zone de remplacement de décor#

Vous pouvez :

• Conserver la scène originale.
• Remplacer par une photo statique en utilisant LoadImage (#785).
• Remplacer par une vidéo dynamique en utilisant VHS_LoadVideo (#790).

Un simple commutateur sélectionne le comportement, et la branche que vous choisissez est redimensionnée pour correspondre aux cadres de mouvement, puis composée avec le masque de personne. Si vous avez besoin d'un look de scène en couleur unie, le sous-groupe écran vert fournit un arrière-plan solide qui reste stable à travers les cadres.

Options de mouvement Uni3C#

Pour les prises qui nécessitent un mouvement de caméra supplémentaire ou un lissage de mouvement, le groupe Uni3C charge un modèle de contrôle et transforme le clip source redimensionné en embeddings de mouvement avec WanVideoUni3C_ControlnetLoader (#538) et WanVideoUni3C_embeds (#546). Un contrôle de force et une planification de début ou de fin vous permettent de faire disparaître l'effet au fil de la séquence.

Remplacement de personnage - étape d'intégration#

WanVideoAnimateEmbeds (#62) fusionne tout pour le chemin de remplacement de personnage : VAE, caractéristiques d'image CLIP‑Vision, votre image d'identité, cartes de pose SDPose, recadrages de visage optionnels, le masque de personne, et un guide d'arrière-plan optionnel. La largeur, la hauteur et le nombre de cadres sont hérités de la vidéo pour que l'alignement du mouvement reste précis. Utilisez ce mode lorsque vous souhaitez que le nouveau sujet bouge exactement comme l'acteur original.

Transfert de mouvement - étape d'intégration#

Un second WanVideoAnimateEmbeds (#904) fournit un chemin axé d'abord sur le transfert de mouvement qui abandonne l'arrière-plan et le masquage lorsque vous n'avez besoin que de la pose et de l'expression appliquées à un sujet d'image. Une seule étape d'intégration doit être active à la fois. Choisissez le mode qui correspond à votre objectif, puis l'Any‑Switch en amont achemine les embeddings sélectionnés vers l'avant.

Zone d'échantillonnage et contrôle LoRA#

WanVideoSamplerSettings (#530) rassemble le modèle Wan2.2, les embeddings d'image choisis, les embeddings textuels optionnels, les embeddings de mouvement Uni3C, et votre graine. Les piles LoRA sont choisies avec WanVideoLoraSelectMulti (#467) et appliquées par WanVideoSetLoRAs (#48), ce qui est utile pour le relighting, le style ou la stabilisation. WanVideoSamplerFromSettings (#531) génère la vidéo latente, et WanVideoDecode (#28) la transforme en cadres.

Aperçu et exportation#

La zone d'Aperçu joue les cadres intermédiaires pour des vérifications, et VHS_VideoCombine (#312) écrit le clip final à votre taux de trame choisi avec un passage audio optionnel. Un macro de préfixe de nom de fichier est déjà configuré pour que chaque rendu soit horodaté.

Nœuds clés dans le flux de travail ComfyUI Remplacement de Personnage & Pose & Décor V3#

WanVideoAnimateEmbeds (#62, #904) C'est le cœur de l'assemblage de l'orientation pour Wan2.2 Animate docs. Il fusionne l'apparence, la pose, le masque, et l'arrière-plan optionnel en un flux unique d'images-embeddings dimensionné à votre vidéo. Ajustez uniquement ce qui compte : augmentez pose_strength pour verrouiller plus près du mouvement source ou augmentez face_strength lorsque l'identité et la zone des lèvres doivent suivre plus étroitement. Gardez num_frames et le nombre de cadres du chargeur vidéo alignés pour éviter la troncation.

SAM3_Detect (#753) Génère le matte de personne en utilisant SAM 3.1 checkpoints. Utilisez le conditionnement par invites ou des clics pour indiquer les points lorsque les vêtements se fondent dans l'arrière-plan. Si le matte est bruyant, réduisez la portée de sélection avec des boîtes de détection avant de raffiner.

GrowMaskWithBlur (#502) et BlockifyMask (#401) De KJNodes repo, ces outils préparent les masques pour un compositing propre. L'expansion et le flou masqueront les coutures des bords après le remplacement de l'arrière-plan, tandis que la blockification évite les artefacts en escalier sur les contours des sujets. Ajustez doucement et prévisualisez souvent.

WanVideoLoraSelectMulti (#467) et WanVideoSetLoRAs (#48) Ces nœuds attachent des adaptateurs LoRA à l'intérieur de Wan2.2 Animate wrapper. Utilisez-les pour des ajustements de relight, de récompense ou de sensation de mouvement. Gardez la force totale équilibrée avec votre cfg et les étapes de l'échantillonneur pour que les LoRAs guident plutôt que de dominer.

WanVideoUni3C_ControlnetLoader (#538) et WanVideoUni3C_embeds (#546) Fournissent une reciblage optionnel de la caméra et du mouvement à l'intérieur du même échantillonneur docs. Utilisez la force et la planification de début ou de fin pour mélanger l'effet. Pour des prises de vue très serrées, réglez la force plus bas pour que le mouvement du sujet reste prioritaire.

VHS_VideoCombine (#312) De Video Helper Suite repo. Il assemble les cadres en la vidéo finale et peut muxer l'audio de la source. Faites correspondre le taux de trame ici avec le taux forcé de votre chargeur pour un timing 1:1.

Extras optionnels#

• Si vous voyez une pression mémoire à haute résolution ou sur des clips longs, activez le tiling VAE sur les nœuds d'encodage ou de décodage et réduisez la taille du contexte dans les paramètres de l'échantillonneur.
• Lorsque les bords du sujet semblent dentelés, augmentez légèrement la croissance du masque, puis ajustez la taille du bloc avant de rendre à nouveau.
• Si la couleur ou l'exposition dérive après le remplacement, essayez un relight LoRA à une force modeste plutôt que d'augmenter le CFG.
• Pour les scènes occupées, détectez les poses sur la branche source d'abord, puis basculez la détection sur la branche remplacée uniquement après que le masque soit fiable.
• Pour stabiliser les rendus longs, conservez une seed fixe pendant que vous itérez sur les masques et les LoRAs, puis randomisez une fois le look verrouillé.

Ce flux de travail a été construit autour de Wan2.2 Animate et de ses compagnons de prétraitement, avec des références officielles pour une lecture complémentaire : Wan2.2 Animate, ComfyUI‑WanVideoWrapper, ComfyUI‑WanAnimatePreprocess, SAM 3.1, SDPose, et KJNodes.

Remerciements#

Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement RunningHub pour la référence du flux de travail, Wan-AI pour le modèle Wan2.2-Animate-14B, kijai pour les nœuds ComfyUI WanVideoWrapper et WanAnimatePreprocess, et Comfy-Org pour les modèles SAM3.1 et SDPose pour leurs contributions et maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.

Ressources#

• RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
  • Docs / Notes de version : Workflow post
• Wan-AI/Wan2.2-Animate-14B
  • GitHub : Wan-Video/Wan2.2
  • Hugging Face : Wan-AI/Wan2.2-Animate-14B
  • arXiv : 2503.20314
• kijai/ComfyUI-WanVideoWrapper
  • GitHub : kijai/ComfyUI-WanVideoWrapper
• kijai/ComfyUI-WanAnimatePreprocess
  • GitHub : kijai/ComfyUI-WanAnimatePreprocess
• Comfy-Org/sam3.1
  • GitHub : facebookresearch/sam3
  • Hugging Face : Comfy-Org/sam3.1
• Comfy-Org/SDPose
  • Hugging Face : Comfy-Org/SDPose

Remarque : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.