Dieser ComfyUI Wan 2.2 VACE-Workflow verwandelt ein einzelnes Referenzbild in ein bewegungsangepasstes Video, das der Pose, dem Rhythmus und der Kamerabewegung eines Quellclips folgt. Es nutzt Wan 2.2 VACE, um die Identität zu bewahren, während komplexe Körperbewegungen in eine glatte, realistische Animation übersetzt werden.
Entwickelt für Tanzgenerierung, Motion-Transfer und kreative Charakteranimation automatisiert der Workflow Stil-Prompting vom Referenzbild, extrahiert Bewegungssignale aus dem Quellvideo und führt einen zweistufigen Wan 2.2 Sampler aus, der Bewegungskoherenz und feine Details ausgleicht.
Der Workflow besteht aus fünf gruppierten Stufen: Eingaben, PROMPT, Modelle, SAMPLING und Ausgabe. Sie stellen ein Referenzbild und ein kurzes Bewegungs-Video bereit. Der Graph berechnet dann Bewegungsführung, kodiert VACE-Identitätsmerkmale, führt einen zweipassigen Wan 2.2 Sampler aus und speichert sowohl die endgültige Animation als auch eine optionale Seitenansichtsvorschau.
Laden Sie einen Bewegungs-Quellclip in VHS_LoadVideo (#141). Sie können mit einfachen Steuerungen trimmen und Frames für Speicher begrenzen. Die Frames werden für Konsistenz skaliert, dann berechnet DepthAnythingV2Preprocessor (#135) eine dichte Tiefenfolge, die Pose, Layout und Kamerabewegung erfasst. Laden Sie Ihr Identitätsbild mit LoadImage (#113); es wird automatisch skaliert und in der Vorschau angezeigt, damit Sie die Rahmung vor dem Sampling überprüfen können.
Florence2Run (#137) analysiert das Referenzbild und gibt eine detaillierte Bildunterschrift zurück. Style Prompt (#138) verknüpft diese Bildunterschrift mit einem kurzen Stilphrase, dann kodiert WanVideoTextEncode (#16) die endgültigen positiven und negativen Prompts mit UMT5-XXL. Sie können die Stilphrase frei bearbeiten oder den positiven Prompt vollständig ersetzen, wenn Sie eine stärkere kreative Richtung wünschen. Dieses Prompt-Embedding konditioniert beide Sampler-Stufen, sodass das erzeugte Video Ihrem Referenzbild treu bleibt.
WanVideoVAELoader (#38) lädt das Wan VAE, das über Kodierung/Dekodierung verwendet wird. Zwei WanVideoModelLoader Knoten bereiten Wan 2.2 14B-Modelle vor: ein hochrauschiges und ein niedrigrauschiges, jeweils mit einem VACE-Modul ergänzt, das in WanVideoExtraModelSelect (#99, #107) ausgewählt wird. Optionales Verfeinerungs-LoRA wird durch WanVideoLoraSelect (#56, #97) hinzugefügt, sodass Sie Schärfe oder Stil ohne Änderung der Basismodelle anpassen können. Die Konfiguration ist so gestaltet, dass Sie VACE-Gewichte, LoRA oder die Rauschvariante austauschen können, ohne den Rest des Graphen zu berühren.
WanVideoVACEEncode (#100) fusioniert drei Signale in VACE-Embeddings: die Bewegungssequenz (Tiefenframes), Ihr Referenzbild und die Zielvideo-Geometrie. Der erste WanVideoSampler (#27) führt das hochrauschige Modell bis zu einem Teilungsschritt aus, um Bewegung, Perspektive und globalen Stil zu etablieren. Der zweite WanVideoSampler (#90) setzt von diesem Latenten fort und beendet mit dem niedrigrauschigen Modell, um Texturen, Kanten und kleine Details wiederherzustellen, während die Bewegung an die Quelle gebunden bleibt. Ein kurzer CFG-Zeitplan und Schrittteilung steuern, wie viel jede Stufe das Ergebnis beeinflusst.
WanVideoDecode (#28) konvertiert das finale Latente zurück zu Frames. Sie erhalten zwei gespeicherte Videos: ein sauberes Render und eine nebeneinander gestellte Ansicht, die die erzeugten Frames neben dem Referenzbild für eine schnelle QA platziert. Eine separate „Tiefenkarte Vorschau“ zeigt die abgeleitete Tiefenfolge, damit Sie die Bewegungsführung auf einen Blick diagnostizieren können. Framerate- und Dateinamen-Einstellungen sind in den VHS_VideoCombine Ausgaben (#139, #60, #144) verfügbar.
WanVideoVACEEncode (#100)Erstellt die VACE-Identitäts-und-Geometrie-Embeddings, die von beiden Samplern verwendet werden. Geben Sie Ihre Bewegungsframes und das Referenzbild an; der Knoten verwaltet Breite, Höhe und Frame-Anzahl. Wenn Sie Dauer oder Seitenverhältnis ändern, halten Sie diesen Knoten synchron, damit die Embeddings Ihrem Zielvideo-Layout entsprechen.
WanVideoSampler (#27)Erster Stufen-Sampler, der das hochrauschige Wan 2.2 Modell verwendet. Stimmen Sie steps, einen kurzen cfg-Zeitplan und die end_step-Teilung ab, um zu entscheiden, wie viel der Trajektorie der Bewegungsformung zugewiesen wird. Größere Bewegungs- oder Kameraänderungen profitieren von einer etwas späteren Teilung.
WanVideoSampler (#90)Zweiter Stufen-Sampler, der das niedrigrauschige Wan 2.2 Modell verwendet. Setzen Sie start_step auf denselben Teilungswert, damit es nahtlos von Stufe eins fortfährt. Wenn Sie Texturüberschärfung oder Drift bemerken, reduzieren Sie die späteren cfg-Werte oder verringern Sie die LoRA-Stärke.
DepthAnythingV2Preprocessor (#135)Extrahiert eine stabile Tiefenfolge aus dem Quellvideo. Die Verwendung von Tiefe als Bewegungsführung hilft Wan 2.2 VACE, Szenenlayout, Handpose und Verdeckung zu bewahren. Für schnelle Iterationen können Sie Eingabeframes kleiner skalieren; für endgültige Renderings geben Sie hochauflösende Frames für bessere strukturelle Wiedergabetreue ein.
WanVideoTextEncode (#16)Kodiert die positiven und negativen Prompts mit UMT5-XXL. Der Prompt wird automatisch aus Florence2Run erstellt, aber Sie können ihn für künstlerische Leitung überschreiben. Halten Sie Prompts prägnant; mit VACE-Identitätsführung führen weniger Schlüsselwörter oft zu saubereren, weniger eingeschränkten Motion-Transfers.
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken den ComfyUI Community-Erstellern der Wan 2.2 VACE Source für den Workflow, für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und Repositories, die unten verlinkt sind.
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
