Wan Animate 2 ComfyUI | Präzise Bewegungsübertragung

Wan Animate 2 ComfyUI Bewegungsübertragung: Einzelbild-Charakteranimation aus einem Steuerungsvideo#

Wan Animate 2 ComfyUI verwandelt ein Referenz-Charakterbild und ein Steuerungsvideo in einen neuen vollwertigen Animationsclip. Es basiert auf Wan‑Animate‑2, einem End‑to‑End-Diffusionstransformator, der Bewegungen direkt aus Rohbildern überträgt, sodass Sie kein OpenPose oder Skelett-Extraktion benötigen. Der Workflow bewahrt die Charakteridentität des Standbildes, während Sie Hintergrund, Stil und Kamera durch Text steuern.

Dieser RunComfy-bereite Graph ist ideal für Kreative, die studioartige Bewegungsübertragung innerhalb von ComfyUI wünschen. Sie liefern ein Porträt oder einen Ganzkörper-Referenz, fügen ein kurzes Steuerungsvideo hinzu, setzen zwei prägnante Prompts, und Wan Animate 2 ComfyUI produziert eine identitätstreue Charakterperformance mit sauberem, promptgesteuertem Szenenbild.

Wichtige Modelle im Comfyui Wan Animate 2 ComfyUI Workflow#

• Wan‑Animate‑2 Kerngewichte. Der Diffusionstransformator, der identitätsbewusste Bewegungsübertragung aus dem Steuerungsvideo durchführt und neue Bilder generiert. Quelle und Gewichte: Wan‑Animate‑2 GitHub und Comfy‑Org/Wan‑Animate‑2.
• LightX2V I2V 14B 480p destilliertes LoRA. Ein leichter Adapter, der das Wan‑Video-Backbone für effiziente Bild‑zu‑Video-Generierung und Bewegungsbedingung ausrichtet. Datei: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors bei Hugging Face.
• uMT5‑XXL Text-Encoder. Interpretiert Ihre positiven und negativen Prompts, um das Aussehen des Charakters, den Hintergrund und den Stil zu steuern. Datei: umt5_xxl_fp8_e4m3fn_scaled.safetensors bei Hugging Face.
• CLIP ViT‑H/14 Vision-Encoder. Extrahiert Erscheinungsmerkmale aus dem Referenzbild und ergänzende Hinweise aus den Posenbildern für robuste Identitäts- und Bewegungsführung. Datei: clip_vision_h.safetensors bei Hugging Face.
• Wan 2.1 VAE. Kodiert und dekodiert Videolatente, während feine Textur- und Farbtiefe erhalten bleiben. Datei: Wan2_1_VAE_bf16.safetensors bei Hugging Face.

Verwendung des Comfyui Wan Animate 2 ComfyUI Workflows#

Auf einen Blick, leitet der Workflow ein Referenzbild und ein Steuerungsvideo durch den Bewegungsübertragungssubgraph, dekodiert dann die Bilder zu einem Video und fügt optional einen Seiten‑an‑Seiten‑Vergleich hinzu. Die unten beschriebenen Gruppen erklären, wie jeder Teil beiträgt und was Sie ändern können.

Modelle#

Diese Gruppe lädt das Kernmodell Wan‑Animate‑2, sein LoRA, den Text-Encoder, CLIP‑Vision und VAE. Behalten Sie die Standardmodellwahl bei, es sei denn, Sie wissen, dass Sie Alternativen aus denselben Repositories benötigen. Das UNet- und LoRA-Paar definiert, wie Bewegung interpretiert und gerendert wird, während das VAE die Bildtreue während der latenten Kodierung/Dekodierung steuert. Wenn Sie Modelle austauschen, stellen Sie sicher, dass sie mit Wan Animate 2 ComfyUI-Assets aus den verlinkten Repositories kompatibel sind.

Prompt#

Verwenden Sie den positiven Prompt, um das Aussehen des Charakters und den gewünschten Hintergrund zu beschreiben, und den negativen Prompt, um Artefakte sanft auszuschließen. Beschreiben Sie das Aussehen, Materialien, Kleidung, Beleuchtung und das Set; beschreiben Sie hier keine Bewegung, da diese aus dem Video stammt. Kurze und spezifische Prompts verbessern die Identitätserhaltung und Hintergrundkonsistenz über die Bilder hinweg. Der Text-Encoder wandelt Ihren Text in Konditionierung um, die während der Generierung verwendet wird.

Referenzbild#

Laden Sie ein einzelnes, sauberes Referenzporträt oder Ganzkörper-Still mit zentriertem Charakter über Load Image (Reference Image) (#189). Der Hintergrund dieses Stills wird nicht übernommen, da die Szene aus Ihrem Prompt generiert wird. Die Gruppe passt die Referenz an die Arbeitsauflösung an, die weiter unten verwendet wird, damit sich Aufmerksamkeitskarten mit Posenmerkmalen ausrichten. Gut beleuchtete, scharfe Referenzen mit minimaler Verdeckung erzeugen eine stärkere Identität.

Pose-Referenzvideo#

Importieren Sie den Steuerungsclip mit Load Video (Pose Video) (#240). Bilder werden direkt an das Modell übergeben, anstatt in Skelett-Schlüsselbilder konvertiert zu werden, sodass natürliche Nuancen wie Gewichtsverschiebungen und sekundäre Bewegungen gut übertragen werden. Der Graph normalisiert räumliche Dimensionen, während er die Kadenz des Originalclips beibehält, was bedeutet, dass die Ausgabe-fps der Quelle folgt. Wählen Sie Clips, deren Rahmung ungefähr der Referenz entspricht (zum Beispiel Ganzkörper zu Ganzkörper), um Skalendrift zu vermeiden.

Kontextfenster & Cache#

ContextWindowsManual steuert den temporalen Kontext, der hilft, längere Bewegungen über Fenster hinweg kohärent zu halten. Ein kleiner ComfySwitchNode schaltet um, ob die Kontextausweitung verwendet wird, sodass Sie Speicher gegen Stabilität bei erweiterten Aufnahmen eintauschen können. WanAnimate2Cache verwaltet den Aufmerksamkeitscache auf gpu oder cpu mit reduzierter Präzision, was hilft, VRAM-Spitzen bei langen Sequenzen zu kontrollieren. Bei engen GPUs ist es eine praktische Sicherung, den Cache auf cpu zu platzieren.

Konditionierung#

WanAnimate2ToVideo (#247) ist das Herzstück von Wan Animate 2 ComfyUI. Es kombiniert positive und negative Textkonditionierung mit dem Referenzbild, CLIP‑Vision-Merkmalen und den Posenbildern, um eine Sequenz von Videolatenten zu erzeugen. Sie können das letzte Bild eines vorherigen Segments an continue_motion übergeben, um die Kontinuität zwischen den Abschnitten aufrechtzuerhalten, und Sie können das Lesen des Steuerungsvideos mit video_frame_offset beim Verketten versetzen. Der Knoten akzeptiert auch reference_image_strength und pose_strength, um das Gleichgewicht zwischen Identitätssperre und Bewegungsgenauigkeit zu steuern.

Abtastung#

SamplerCustom entstört die Videolatenten mit dem Modell, das von ModelSamplingSD3, BasicScheduler und einer LCM-Sampler-Auswahl vorbereitet wurde. Diese Phase bestimmt Geschwindigkeit und Texturstabilität; ein fester Seed hält das Aussehen und das Korn über die Segmente hinweg konsistent, während ein zufälliger Seed Abwechslung hinzufügt. Das Ergebnis ist ein latentes Videoclip, das bereit zum Dekodieren ist.

Den duplizierten ersten Frame zuschneiden#

Beim Verketten von Segmenten kann der erste Frame eines neuen Segments den letzten Frame des vorherigen Segments duplizieren. TrimVideoLatent plus ein kleiner Schalterpfad entfernen diese Naht automatisch. Wenn Sie immer noch einen Einzelbild-Hickup sehen, lassen Sie das erste Bild des neuen Abschnitts beim Stapeln weg.

Videozusammenstellung und Vergleich#

VAEDecode konvertiert die finalen Latenten in Bilder, die dann gestapelt und an CreateVideo gesendet werden, um die fps und den Ton des Quellclips zu erben, falls vorhanden. SaveVideo schreibt die generierte Animation auf die Festplatte. Der Video Stitch-Subgraph (ImageStitch innen) nimmt das generierte Video und das ursprüngliche Steuerungsvideo, um einen Seiten‑an‑Seiten‑Vergleich für schnelle Qualitätsprüfungen zu erstellen, und speichert diese kombinierte Ansicht als separate Datei.

Über ein einzelnes Segment hinaus erweitern#

Jeder Durchgang erzeugt eine feste Anzahl von Bildern, sodass längere Aufnahmen durch Duplizieren des Motion Transfer (Wan Animate 2)-Subgraphen (#261) erstellt werden. Verbinden Sie continue_motion vom vorherigen Durchgang mit dem nächsten Durchgang und leiten Sie den vorherigen video_frame_offset weiter, damit das Lesen des Steuerungsvideos nahtlos fortgesetzt wird. Verkabeln Sie den image-Ausgang jedes Durchgangs in BatchImagesNode (#289), um Segmente vor der Videoproduktion zu verknüpfen. Ein Hilfsmathknoten unten links berechnet, wie viele Durchgänge Sie basierend auf der Länge des Steuerungsvideos benötigen, und eine kleine Vorschau druckt die Anzahl.

Wichtige Knoten im Comfyui Wan Animate 2 ComfyUI Workflow#

WanAnimate2ToVideo (#247)#

Kombiniert Textkonditionierung, das Referenzbild, CLIP‑Vision-Merkmale und Posenbilder, um Videolatenten zu synthetisieren. Passen Sie reference_image_strength an, um zu steuern, wie eng das Ergebnis dem Standbild folgt, und verwenden Sie pose_strength plus pose_start_percent und pose_end_percent, um Bewegung einzugrenzen oder zu mildern. length setzt Bilder pro Durchgang, video_frame_offset schreitet durch den Steuerungssclip voran, wenn verkettet, und continue_motion verankert die zeitliche Kontinuität, indem das letzte Bild des vorherigen Segments verwendet wird. Unterstützt durch die Wan‑Animate‑2-Implementierung und Gewichte in den offiziellen Repos, die oben verlinkt sind.

ContextWindowsManual (#257) mit ComfySwitchNode (#258)#

Erweitert das temporale Aufmerksamkeitsfenster, sodass Bewegungen über längere Sequenzen hinweg konsistent bleiben. Aktivieren Sie es für komplexe Bewegungen oder wenn Sie driftende Details über die Zeit sehen, auf Kosten von zusätzlichem Speicher. Wenn Sie auf Speichergrenzen stoßen, deaktivieren Sie das Kontextfenster oder reduzieren Sie dessen Größe und verlassen Sie sich auf die Kontinuität von Abschnitt zu Abschnitt.

WanAnimate2Cache (#224)#

Zwischenspeichert Aufmerksamkeits-Schlüssel und -Werte, um redundante Berechnungen zu reduzieren und den Speicherverbrauch zu glätten. Setzen Sie das Cache-device auf cpu, wenn der VRAM knapp ist, oder auf gpu für maximalen Durchsatz, und behalten Sie den leichten dtype für Stabilität bei. Dies ist besonders hilfreich, wenn Sie mehrere Durchgänge für erweiterte Aufnahmen stapeln. Assets werden mit der offiziellen Comfy‑Org/Wan‑Animate‑2 Veröffentlichung bereitgestellt.

SamplerCustom (#19) mit KSamplerSelect und BasicScheduler#

Führt die Entstörungsbahn über die Videolatenten aus. Der LCM-Sampler wird für schnelle, qualitativ hochwertige Schritte gewählt, die für interaktive Iterationen geeignet sind. Verwenden Sie einen festen Seed, um Textur und Schattierung über verknüpfte Durchgänge hinweg zu sperren; ändern Sie den Seed, um Alternativen zu erkunden, während die Bewegung identisch bleibt.

TrimVideoLatent (#223)#

Entfernt den duplizierten ersten Frame, der beim Verketten von Segmenten auftreten kann, und eliminiert sichtbare Nähte. Lassen Sie es aktiviert, wenn Sie längere Sequenzen erstellen, und deaktivieren Sie es für Einzelpass-Clips.

Optionale Extras#

• Halten Sie die Rahmung zwischen dem Referenz- und Steuerungsvideo konsistent. Ganzkörper zu Ganzkörper oder Mittelaufnahme zu Mittelaufnahme funktioniert am besten.
• Da Wan Animate 2 ComfyUI Rohbilder für die Bewegung liest, verwenden Sie Steuerungsvideos mit klaren Silhouetten und minimalem Bewegungsunschärfe.
• Beschreiben Sie Hintergründe im positiven Prompt, anstatt sich auf den Referenzbildhintergrund zu verlassen; das Modell generiert neue Szenenbilder aus Text.
• Die Ausgabe-fps folgt dem Eingangsclip. Wenn die Bewegung zu langsam oder zu schnell erscheint, sampeln Sie das Steuerungsvideo neu, bevor Sie den Workflow ausführen.
• Für GPUs mit begrenztem Speicher, setzen Sie das Cache-Gerät auf cpu in WanAnimate2Cache und bevorzugen Sie kürzere Segmente, die Sie später zusammenfügen können.
• Verwenden Sie die Seiten‑an‑Seiten‑Ausgabe aus dem Video Stitch-Subgraph, um die Bewegungsgenauigkeit schnell A/B zu testen, bevor Sie längere Läufe rendern.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Comfy Org herzlich für die Ankündigung und Vorlagen „Wan Animate 2 ist jetzt in ComfyUI verfügbar“, Wan-Video für den Wan-Animate-2-Code, Comfy-Org für die Wan-Animate-2-Modellgewichte auf Hugging Face und ComfyUI für die „Wan Animate 2: Bewegungsübertragung“-Workflow-Vorlage für ihre Beiträge und Pflege. Für autoritative Details verweisen Sie bitte auf die Originaldokumentation und -repositories, die unten verlinkt sind.

Ressourcen#

• Comfy Org/Wan Animate 2 ist jetzt in ComfyUI verfügbar
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • Docs / Release Notes: Wan Animate 2 ist jetzt in ComfyUI verfügbar
• Wan-Video/Wan-Animate-2
  • GitHub: Wan-Video/Wan-Animate-2
  • Hugging Face: Wan-AI/Wan2.2-Animate-2-14B
  • arXiv: 2608.06009
• Comfy-Org/Wan-Animate-2
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • arXiv: 2608.06009
• ComfyUI/Wan Animate 2: Bewegungsübertragung
  • Docs / Release Notes: Wan Animate 2: Bewegungsübertragung - ComfyUI Workflow

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.