Ce flux de travail ComfyUI Wan 2.2 VACE transforme une seule image de référence en une vidéo assortie au mouvement qui suit la pose, le rythme et le mouvement de la caméra d'un clip source. Il utilise Wan 2.2 VACE pour préserver l'identité tout en traduisant un mouvement corporel complexe en une animation fluide et réaliste.
Conçu pour la génération de danse, le transfert de mouvement et l'animation créative de personnages, le flux de travail automatise l'incitation de style à partir de l'image de référence, extrait les signaux de mouvement de la vidéo source et exécute un échantillonneur Wan 2.2 en deux étapes qui équilibre la cohérence du mouvement et le détail fin.
Le flux de travail a cinq étapes groupées: Entrées, INCITATION, Modèles, ÉCHANTILLONNAGE et Sortie. Vous fournissez une image de référence et une courte vidéo de mouvement. Le graphe calcule ensuite la guidance de mouvement, encode les caractéristiques d'identité VACE, exécute un échantillonneur Wan 2.2 en deux passes, et enregistre à la fois l'animation finale et un aperçu optionnel côte à côte.
Chargez un clip source de mouvement dans VHS_LoadVideo (#141). Vous pouvez découper avec des contrôles simples et limiter les images pour la mémoire. Les images sont redimensionnées pour la cohérence, puis DepthAnythingV2Preprocessor (#135) calcule une séquence de profondeur dense qui capture la pose, la disposition et le mouvement de la caméra. Chargez votre image d'identité avec LoadImage (#113); elle est redimensionnée automatiquement et prévisualisée afin que vous puissiez vérifier le cadrage avant l'échantillonnage.
Florence2Run (#137) analyse l'image de référence et renvoie une légende détaillée. Style Prompt (#138) concatène cette légende avec une courte phrase de style, puis WanVideoTextEncode (#16) encode les incitations positives et négatives finales en utilisant UMT5-XXL. Vous pouvez librement éditer la phrase de style ou remplacer entièrement l'incitation positive si vous souhaitez une direction créative plus forte. Cette intégration d'incitation conditionne les deux étapes de l'échantillonneur afin que la vidéo générée reste fidèle à votre référence.
WanVideoVAELoader (#38) charge le VAE Wan utilisé pour l'encodage/décodage. Deux nœuds WanVideoModelLoader préparent les modèles Wan 2.2 14B: un à haut bruit et un à faible bruit, chacun augmenté avec un module VACE sélectionné dans WanVideoExtraModelSelect (#99, #107). Un raffinement LoRA optionnel est attaché via WanVideoLoraSelect (#56, #97), vous permettant d'ajuster la netteté ou le style sans changer les modèles de base. La configuration est conçue pour que vous puissiez échanger les poids VACE, LoRA, ou la variante de bruit sans toucher le reste du graphe.
WanVideoVACEEncode (#100) fusionne trois signaux en intégrations VACE: la séquence de mouvement (images de profondeur), votre image de référence, et la géométrie vidéo cible. Le premier WanVideoSampler (#27) exécute le modèle à haut bruit jusqu'à une étape de division pour établir le mouvement, la perspective et le style global. Le second WanVideoSampler (#90) reprend à partir de ce latent et termine avec le modèle à faible bruit pour récupérer les textures, les contours, et les petits détails tout en maintenant le mouvement verrouillé sur la source. Un court programme CFG et une division d'étape contrôlent combien chaque étape influence le résultat.
WanVideoDecode (#28) convertit le latent final en images. Vous obtenez deux vidéos enregistrées: un rendu propre et une concaténation côte à côte qui place les images générées à côté de la référence pour une QA rapide. Un aperçu séparé de la "Carte de Profondeur" montre la séquence de profondeur inférée afin que vous puissiez diagnostiquer la guidance de mouvement d'un coup d'œil. Les paramètres de cadence et de nom de fichier sont disponibles dans les sorties VHS_VideoCombine (#139, #60, #144).
WanVideoVACEEncode (#100)Crée les intégrations d'identité et de géométrie VACE utilisées par les deux échantillonneurs. Fournissez vos images de mouvement et l'image de référence; le nœud gère la largeur, la hauteur, et le nombre d'images. Si vous changez la durée ou le format, gardez ce nœud synchronisé pour que les intégrations correspondent à la disposition de votre vidéo cible.
WanVideoSampler (#27)Échantillonneur de première étape utilisant le modèle Wan 2.2 à haut bruit. Ajustez steps, un court programme cfg, et la division end_step pour décider combien de la trajectoire est allouée à la formation du mouvement. Les mouvements ou changements de caméra plus importants bénéficient d'une division légèrement plus tardive.
WanVideoSampler (#90)Échantillonneur de deuxième étape utilisant le modèle Wan 2.2 à faible bruit. Réglez start_step à la même valeur de division pour qu'il continue sans interruption de la première étape. Si vous voyez un suraffûtage des textures ou une dérive, réduisez les valeurs cfg ultérieures ou diminuez la force de LoRA.
DepthAnythingV2Preprocessor (#135)Extrait une séquence de profondeur stable de la vidéo source. Utiliser la profondeur comme guidance de mouvement aide Wan 2.2 VACE à conserver la disposition de la scène, la pose de la main, et l'occlusion. Pour une itération rapide, vous pouvez réduire la taille des images d'entrée; pour les rendus finaux, utilisez des images de plus haute résolution pour une meilleure fidélité structurelle.
WanVideoTextEncode (#16)Encode les incitations positives et négatives avec UMT5-XXL. L'incitation est auto-construite à partir de Florence2Run, mais vous pouvez la remplacer pour la direction artistique. Gardez les incitations concises; avec la guidance d'identité VACE, moins de mots-clés donnent souvent un transfert de mouvement plus propre et moins contraint.
Ce flux de travail implémente et se base sur les travaux et ressources suivants. Nous remercions chaleureusement les créateurs de la communauté ComfyUI de Wan 2.2 VACE Source pour le flux de travail, pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Note: L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.
RunComfy est la première ComfyUI plateforme, offrant des ComfyUI en ligne environnement et services, ainsi que des workflows ComfyUI proposant des visuels époustouflants. RunComfy propose également AI Playground, permettant aux artistes d'utiliser les derniers outils d'IA pour créer des œuvres d'art incroyables.
