Wan2.2 Animate | Photo en vidéo réaliste

Wan2.2 Animate : animation de référence à vidéo en plein mouvement dans ComfyUI

Wan2.2 Animate transforme une seule image de référence en une performance réaliste qui suit le mouvement corporel complet et les expressions faciales d'une vidéo de conduite. Ce workflow ComfyUI Wan2.2 Animate fusionne le transfert de pose, le mocap facial, le contrôle de l'arrière-plan et les ajouts LoRA pour que les personnages se déplacent naturellement tout en conservant leur identité.

Conçu pour les avatars, les recréations de performances, les clips musicaux et les séquences narratives, Wan2.2 Animate produit des clips propres et stables dans le temps avec un passage audio optionnel, une mise à l'échelle de la qualité et une interpolation. Il est livré sous forme de graphe guidé avec des paramètres par défaut raisonnables, vous permettant de vous concentrer sur les choix créatifs plutôt que sur la plomberie.

Modèles clés dans le workflow Comfyui Wan2.2 Animate

• Wan 2.2 Animate 14B (I2V) fp8 scaled. Le modèle vidéo principal qui interprète la pose, le visage, l'image et les indications textuelles pour synthétiser la piste de mouvement en préservant l'identité. Model set
• Wan 2.1 VAE bf16. Le VAE correspondant utilisé pour encoder/décoder les latents pour la famille Wan, garantissant la fidélité des couleurs et la netteté. VAE
• UMT5‑XXL text encoder. Fournit un conditionnement textuel multilingue robuste pour les invites positives et négatives. Encoder
• CLIP ViT‑H/14 vision encoder. Extrait des embeddings visuels de l'image de référence pour préserver l'identité et le style. Paper
• Wan LoRAs optionnels. Adaptateurs légers pour le contrôle de l'éclairage et du comportement I2V, tels que Lightx2v I2V 14B et Relight. Lightx2v • Relight
• Segment Anything 2 (SAM 2). Segmentation d'images/vidéos de haute qualité utilisée pour isoler le sujet ou l'arrière-plan. Paper
• DWPose. Estimation précise de la pose 2D utilisée pour les recadrages et masques conscients du visage/pose. Repo
• RIFE. Interpolation rapide des trames vidéo pour améliorer la fluidité de la lecture. Paper

Comment utiliser le workflow Comfyui Wan2.2 Animate

Flux global. Le graphe ingère une vidéo de conduite et une seule image de référence, prépare un sujet/arrière-plan propre et un recadrage conscient du visage, puis alimente les embeddings de pose, visage, image et texte dans Wan2.2 Animate pour l'échantillonnage et le décodage. Une étape finale améliore les détails et interpole éventuellement les trames avant l'exportation.

• Modèles
  • Ce groupe charge la base Wan2.2 Animate, le VAE correspondant, les encodeurs texte/vision, et tous les LoRAs sélectionnés. Le WanVideoModelLoader (#22) et le WanVideoSetLoRAs (#48) connectent le modèle et les adaptateurs, tandis que WanVideoVAELoader (#38) et CLIPLoader (#175) fournissent les bases VAE et texte.
  • Si vous prévoyez d'ajuster les LoRAs (par exemple, relight ou style I2V), gardez-en un ou deux actifs à la fois pour éviter les conflits, puis prévisualisez avec les nœuds de collage fournis.

Taille

• Définissez votre largeur et hauteur cibles dans le groupe de taille et confirmez que le frame_count correspond aux trames que vous prévoyez de charger à partir de la vidéo de conduite. VHS_LoadVideo (#63) rapporte le compte ; gardez le num_frames du sampler cohérent pour éviter la troncation de la queue.
• L'assistant PixelPerfectResolution (#152) lit le clip de conduite pour suggérer une taille de génération stable.

Masquage de l'arrière-plan

• Chargez votre vidéo de conduite dans VHS_LoadVideo (#63) ; l'audio est extrait automatiquement pour un passage ultérieur. Utilisez PointsEditor (#107) pour placer quelques points positifs sur le sujet et exécutez Sam2Segmentation (#104) pour générer un masque propre.
• GrowMask (#100) et BlockifyMask (#108) stabilisent et étendent les bords, et DrawMaskOnImage (#99) donne une vérification rapide de bon sens. Ce masque permet à Wan2.2 Animate de se concentrer sur le performeur tout en respectant l'arrière-plan d'origine.

Image de référence

• Déposez un portrait ou une image plein corps bien éclairé. ImageResizeKJv2 (#64) l'ajuste à votre résolution de travail, et la sortie est stockée pour l'étape d'animation.
• Pour une meilleure rétention de l'identité, choisissez une image de référence avec un visage clair et peu d'occlusions.

Images de visage

• Le pipeline construit un recadrage conscient du visage pour piloter les micro-expressions. DWPreprocessor (#177) trouve les points clés de la pose, FaceMaskFromPoseKeypoints (#120) isole la région du visage, et ImageCropByMaskAndResize (#96) produit des recadrages de visage alignés. Un petit exportateur de prévisualisation est inclus pour un contrôle qualité rapide (VHS_VideoCombine (#112)).

Échantillonnage et décodage

• L'image de référence est intégrée via WanVideoClipVisionEncode (#70), les invites sont encodées avec CLIPTextEncode (#172, #182, #183), et tout est fusionné par WanVideoAnimateEmbeds (#62).
• WanVideoSampler (#27) exécute la diffusion centrale Wan2.2 Animate. Vous pouvez travailler en mode "fenêtre contextuelle" pour les clips très longs ou utiliser le chemin long-gen d'origine ; la note incluse explique quand faire correspondre la fenêtre contextuelle au nombre de trames pour la stabilité. La sortie du sampler est décodée par WanVideoDecode (#28) et enregistrée avec un passage audio optionnel (VHS_VideoCombine (#30)).

Collage de résultats

• ImageConcatMulti (#77, #66) et GetImageSizeAndCount (#42) assemblent un panneau côte à côte de référence, visage, pose et sortie. Utilisez-le pour vérifier l'alignement de l'identité et du mouvement avant l'exportation finale.

Amélioration et interpolation

• UltimateSDUpscaleNoUpscale (#180) affine les bords et les textures avec l'UNet fourni (UNETLoader (#181)) et le VAE (VAELoader (#184)) ; les invites positives/négatives peuvent orienter doucement les détails.
• RIFEInterpolation (#188) double éventuellement la fluidité du mouvement, et VHS_VideoCombine (#189) écrit le clip final Wan2.2 Animate.

Nœuds clés du workflow Comfyui Wan2.2 Animate

• VHS_LoadVideo (#63)

  • Rôle. Charge la vidéo de conduite, extrait les trames, extrait l'audio et rapporte le nombre de trames pour la cohérence en aval.
  • Conseil. Gardez le total des trames rapporté aligné avec la longueur de génération du sampler pour éviter une coupure précoce ou des trames noires.

• Sam2Segmentation (#104) + PointsEditor (#107)

  • Rôle. Masquage interactif du sujet qui aide Wan2.2 Animate à se concentrer sur le performeur et à éviter l'enchevêtrement de l'arrière-plan.
  • Conseil. Quelques points positifs bien placés plus un GrowMask modeste tendent à stabiliser les arrière-plans complexes sans effet de halo. Voir SAM 2 pour des conseils sur la segmentation vidéo-consciente. Paper

• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)

  • Rôle. Dérive des masques faciaux robustes et des recadrages alignés à partir des points clés détectés pour améliorer la fidélité des lèvres, des yeux et de la mâchoire.
  • Conseil. Si les expressions semblent atténuées, vérifiez que le masque facial couvre toute la mâchoire et les joues ; relancez le recadrage après avoir ajusté les points. Repo

• WanVideoModelLoader (#22) et WanVideoSetLoRAs (#48)

  • Rôle. Charge Wan2.2 Animate et applique les LoRAs optionnels pour le relighting ou le biais I2V.
  • Conseil. Activez un LoRA à la fois lors du diagnostic des artefacts d'éclairage ou de mouvement ; empilez avec parcimonie pour éviter les contraintes excessives. Models • LoRAs

• WanVideoAnimateEmbeds (#62) et WanVideoSampler (#27)

  • Rôle. Fusionne image, visage, pose et conditionnement textuel en latents vidéo et échantillonne la séquence avec Wan2.2 Animate.
  • Conseil. Pour les clips très longs, passez en mode fenêtre contextuelle et gardez sa longueur synchronisée avec le nombre de trames prévu pour préserver la cohérence temporelle. Wrapper repo

• UltimateSDUpscaleNoUpscale (#180)

  • Rôle. Passage de détail léger après le décodage avec support de tuilage pour maintenir la mémoire stable.
  • Conseil. Si vous voyez des coutures de tuiles, augmentez modestement le chevauchement et gardez l'orientation des invites très douce pour éviter les textures hors modèle. KJNodes

• RIFEInterpolation (#188)

  • Rôle. Lisse le mouvement en insérant des trames intermédiaires sans rééchantillonner le clip.
  • Conseil. Appliquez l'interpolation après l'amélioration pour que le flux optique voit le profil de détail final. Paper

Extras optionnels

• Pour la meilleure identité, choisissez une référence nette et de face, et gardez les accessoires cohérents avec la vidéo de conduite.
• Si un scintillement de l'arrière-plan apparaît, affinez le masque SAM 2 et relancez ; le masquage est souvent le moyen le plus rapide de corriger les fuites de scène.
• Gardez la largeur et la hauteur alignées avec votre plateforme cible et le rapport d'aspect de l'entrée ; les pixels carrés, multiples de 16 fonctionnent bien dans Wan2.2 Animate.
• L'audio de la vidéo de conduite peut être passé à l'exportation ; si vous préférez le silence, désactivez l'audio dans le nœud de sauvegarde.
• Commencez avec un LoRA ; si vous ajoutez relight et I2V ensemble, testez chaque séparément d'abord pour comprendre leur influence.

Liens que vous pourriez trouver utiles :

• Modèle et ressources Wan2.2 Animate par Kijai : WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• Wrappers et nœuds ComfyUI utilisés : ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

Remerciements

Ce workflow met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Wan2.2 et @ArtOfficialLabs pour Wan2.2 Animate Demo pour leurs contributions et leur maintenance. Pour des détails autoritatifs, veuillez vous référer à la documentation et aux dépôts d'origine liés ci-dessous.

Ressources

• Wan2.2/Wan2.2 Animate Demo
  • Docs / Notes de version : Wan2.2 Animate Demo @ArtOfficialLabs

Remarque : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.