Charakter- & Pose- & Hintergrundersetzung V3 — Wan2.2 Animate Videocharakteraustausch, Poseübertragung und Hintergrundkontrolle#
Dieser ComfyUI-Workflow verwandelt einen Quellbewegungsschnitt und ein einzelnes Referenzbild in ein neues Video, bei dem die Charakteridentität, Pose und der Hintergrund vollständig unter Ihrer Kontrolle stehen. Charakter- & Pose- & Hintergrundersetzung V3 hält die Struktur der Quellbewegung stabil, während das Subjekt ausgetauscht, das Verhalten von Körper und Gesicht übertragen und optional die Szene ersetzt oder gemischt wird.
Entwickelt für Kreative, die einen schnellen, geführten Workflow benötigen, kombiniert er Wan2.2 Animate mit SAM 3.1-Segmentierung und SDPose für robuste Personmaskierung und Poseführung. Verwenden Sie ihn für Charakteraustausch, Poseübertragungsanimation oder vollständige Szenenerneuerung auf einer Leinwand mit praktischen Umschaltern und Vorschauen.
Schlüsselmodelle im ComfyUI Charakter- & Pose- & Hintergrundersetzungs-Workflow V3#
- Wan2.2 Animate 14B. Das generative Videorückgrat, das die endgültigen Frames aus Bild-, Pose- und Textanweisungen rendert. Es unterstützt Bildkonditionierung und LoRA-Adapter für Stil- oder Relighting-Kontrolle. Modellkarte
- SAM 3.1. Ein hochwertiges Segmentierungsmodell, das verwendet wird, um die Personenmaske aus Frames oder Referenzbildern zu extrahieren oder zu verfeinern und saubere Kompositionen und Inpaints zu erzeugen. Checkpoints
- SDPose. Ein Toolkit zur Extraktion und Zeichnung von Ganzkörper-Schlüsselpunkten, das verwendet wird, um präzise Posekarten und Gesichtsausschnitte zu erstellen, die Bewegung und Ausdrucksübertragung steuern. Es bietet auch RT-DETR-Erkennungsgewichte, die in diesem Graph verwendet werden. Repository
- ViTPose-L WholeBody ONNX. Ein starker Mehrpersonen-Schlüsselpunktschätzer, der von den Vorverarbeitungsknoten für dichte Körper-, Hand- und Gesichtserkennung verwendet wird. Checkpoint
So verwenden Sie den ComfyUI Charakter- & Pose- & Hintergrundersetzungs-Workflow V3#
Der Workflow basiert auf drei Säulen: Führungserstellung, Hintergrundkontrolle und Rendering. Die Führung kommt von Ihrem Identitätsbild plus Pose- und Gesichtssignalen, die aus dem Bewegungsschnitt extrahiert werden. Die Hintergrundkontrolle bietet drei austauschbare Modi. Das Rendering verwendet Wan2.2 Animate mit optionalen LoRAs und exportiert dann ein teilbares Video.
Bild laden#
Laden Sie Ihr Identitäts- oder Zielcharakterbild in der Bildladengruppe. Es wird für das Modell skaliert und zur schnellen Überprüfung angezeigt. Dieses Bild legt das Erscheinungsbild für Charakter- & Pose- & Hintergrundersetzung V3 fest, während die Bewegung aus dem Quellschnitt übernommen wird. Wenn das Bild ein sauberes Subjekt hat, werden die Ergebnisse die Identität zuverlässiger verfolgen.
Video laden#
Importieren Sie die Bewegungsquelle in der Videoladengruppe mit VHS_LoadVideo (#63). Der Knoten zeigt Bildrate und Gesamtanzahl der Frames für nachgelagerte Planungen an und bestimmt, wie viele Frames der Renderer produzieren wird. Audio wird bei Bereitstellung in den endgültigen Export überführt. Verwenden Sie die Dateiwidgets, um zu kürzen oder zu sub-sampeln, wenn Sie kürzere Vorschauen wünschen.
Gesicht- und Posezone#
Die Gesicht- & Posezone erstellt zwei Schlüssel-Führungsströme. Sie erkennt Personen und Gesichter, extrahiert dann Ganzkörper-Schlüsselpunkte mit SDPoseKeypointExtractor (#690) und zeichnet sie in ein sauberes Kontrollbild über SDPoseDrawKeypoints (#688). Ein Hilfsdetektor wie RTDETR_detect (#771) und der Vorverarbeitungslader liefern robuste Boxen für Körper und Gesicht. Für Mehrpersonenszenen aktivieren Sie die "Mehrpersonen-Erkennung"-Kontrolle und den "Erkennungsquelle"-Schalter, um auszuwählen, ob Posen auf dem Quell- oder dem hintergrundersetzten Zweig erkannt werden sollen.
SAM 3.1 Maske und Verfeinerung#
Die Sam3.1-Maskengruppe erstellt die Subjektmaske mit SAM3_Detect (#753). Sie können sie mit Text über CLIPTextEncode (#754) führen und die Auswahl mit Klicks über PointsEditor (#758) anpassen. Zwei Verfeinerer machen die Matte produktionsbereit: GrowMaskWithBlur (#502) erweitert und federt die Ränder sanft und BlockifyMask (#401) glättet Blockgrenzen, um gezackte Konturen zu vermeiden. Eine Live-Overlay-Vorschau (DrawMaskOnImage (#391)) hilft Ihnen, den Ausschnitt vor dem Rendering zu bestätigen.
Hintergrundersetzungszone#
Sie können:
- Die ursprüngliche Szene behalten.
- Mit einem statischen Foto über
LoadImage(#785) ersetzen. - Mit einem dynamischen Video über
VHS_LoadVideo(#790) ersetzen.
Ein einfacher Umschalter wählt das Verhalten aus, und der von Ihnen gewählte Zweig wird der Bewegungsframes angepasst und mit der Personenmaske zusammengesetzt. Wenn Sie ein flaches Bühnenbild wünschen, bietet die Greenscreen-Untergruppe einen soliden Hintergrund, der über die Frames hinweg stabil bleibt.
Uni3C Bewegungsoptionen#
Für Aufnahmen, die zusätzliche Kamerabewegung oder Bewegungsglättung benötigen, lädt die Uni3C-Gruppe ein Kontrollmodell und verwandelt den skalierten Quellschnitt in Bewegungs-Einbettungen mit WanVideoUni3C_ControlnetLoader (#538) und WanVideoUni3C_embeds (#546). Eine Stärke-Kontrolle und Start- oder Endplanung ermöglichen es Ihnen, den Effekt über die Sequenz hinweg ein- oder auszublenden.
Charakterersetzung - Einbettungsstufe#
WanVideoAnimateEmbeds (#62) fusioniert alles für den Charakterersatzpfad: VAE, CLIP-Vision-Bildmerkmale, Ihr Identitätsbild, SDPose-Posenkarten, optionale Gesichtsausschnitte, die Personenmaske und eine optionale Hintergrundführung. Breite, Höhe und Frameanzahl werden aus dem Video übernommen, sodass die Bewegungsanpassung exakt bleibt. Verwenden Sie diesen Modus, wenn Sie möchten, dass das neue Subjekt genau wie der ursprüngliche Schauspieler bewegt wird.
Bewegungsübertragung - Einbettungsstufe#
Eine zweite WanVideoAnimateEmbeds (#904) bietet einen Bewegungsübertragungs-Pfad, der auf Hintergrund und Maskierung verzichtet, wenn Sie nur die Pose und den Ausdruck auf ein Bildsubjekt anwenden müssen. Nur eine Einbettungsstufe sollte gleichzeitig aktiv sein. Wählen Sie den Modus, der zu Ihrem Ziel passt, dann leitet der vorgelagerte Any-Switch die ausgewählten Einbettungen weiter.
Abtastungszone und LoRA-Kontrolle#
WanVideoSamplerSettings (#530) vereint das Wan2.2-Modell, die gewählten Bild-Einbettungen, optionale Text-Einbettungen, Uni3C-Bewegungs-Einbettungen und Ihren Seed. LoRA-Stapel werden mit WanVideoLoraSelectMulti (#467) ausgewählt und von WanVideoSetLoRAs (#48) angewendet, was nützlich ist für Relighting, Stil oder Stabilisierung. WanVideoSamplerFromSettings (#531) generiert das latente Video und WanVideoDecode (#28) verwandelt es in Frames.
Vorschau und Export#
Die Vorschauzone spielt Zwischenframes zur Überprüfung ab und VHS_VideoCombine (#312) schreibt den endgültigen Clip mit Ihrer gewählten Bildrate und optionaler Audio-Durchleitung. Ein Dateinamen-Präfix-Makro ist bereits konfiguriert, sodass jeder Render mit einem Zeitstempel versehen ist.
Schlüssel-Knoten im ComfyUI Charakter- & Pose- & Hintergrundersetzungs-Workflow V3#
WanVideoAnimateEmbeds (#62, #904) Dies ist das Herzstück der Führungszusammenstellung für Wan2.2 Animate Dokumentation. Es vereint Erscheinungsbild, Pose, Maske und optionalen Hintergrund in einem einzigen Bild-Einbettungsstrom, der auf Ihr Video abgestimmt ist. Passen Sie nur das an, was wichtig ist: Erhöhen Sie pose_strength, um näher an der Quellbewegung zu bleiben, oder erhöhen Sie face_strength, wenn Identität und Lippenbereich enger verfolgt werden sollen. Halten Sie num_frames und die Bildanzahl des Videoladers synchron, um Trunkierung zu vermeiden.
SAM3_Detect (#753) Erzeugt die Personenmatte mit SAM 3.1 Checkpoints. Verwenden Sie Prompt-Konditionierung oder Punktklicks, wenn Kleidung in den Hintergrund übergeht. Wenn die Matte rauschig ist, reduzieren Sie den Auswahlbereich mit Begrenzungsboxen aus den Erkennungstools, bevor Sie verfeinern.
GrowMaskWithBlur (#502) und BlockifyMask (#401) Von KJNodes Repo, diese bereiten Masken für sauberes Komponieren vor. Wachsen und Weichzeichnen werden Nahtkanten nach der Hintergrundersetzung verbergen, während Blockify Treppenartefakte auf Subjektumrissen vermeidet. Passen Sie sanft an und überprüfen Sie oft.
WanVideoLoraSelectMulti (#467) und WanVideoSetLoRAs (#48) Diese Knoten fügen LoRA-Adapter innerhalb von Wan2.2 Animate Wrapper hinzu. Verwenden Sie sie für Relight, Belohnung oder Bewegungsempfindung. Halten Sie die Gesamtstärke im Gleichgewicht mit Ihren cfg- und Sampler-Schritten, sodass LoRAs leiten, anstatt zu übersteuern.
WanVideoUni3C_ControlnetLoader (#538) und WanVideoUni3C_embeds (#546) Bieten optionale Kamera- und Bewegungszielvorgaben im selben Sampler Dokumentation. Verwenden Sie die Stärke und Start- oder Endplanung, um den Effekt zu mischen. Für sehr enge Tracking-Aufnahmen setzen Sie die Stärke niedriger, damit die Subjektbewegung primär bleibt.
VHS_VideoCombine (#312) Von Video Helper Suite Repo. Es fügt Frames zum endgültigen Video zusammen und kann Audio aus der Quelle muxen. Stimmen Sie die Bildrate hier mit der erzwungenen Rate Ihres Laders für 1:1-Timing ab.
Optionale Extras#
- Wenn Sie bei hoher Auflösung oder langen Clips Speicherengpässe bemerken, aktivieren Sie VAE-Tiling auf den Kodierungs- oder Dekodierungsknoten und verringern Sie die Kontextgröße in den Samplereinstellungen.
- Wenn Subjektkanten gezackt aussehen, erhöhen Sie das Maskenwachstum leicht, passen Sie dann die Blockgröße an, bevor Sie erneut rendern.
- Wenn Farbe oder Belichtung nach dem Austausch driften, versuchen Sie ein Relight-LoRA mit moderater Stärke, anstatt CFG zu erhöhen.
- Für geschäftige Szenen erkennen Sie Posen zuerst auf dem Quellzweig, dann wechseln Sie die Erkennung auf den ersetzten Zweig, sobald die Maske zuverlässig ist.
- Um lange Renderings zu stabilisieren, behalten Sie einen festen
seed, während Sie an Masken und LoRAs arbeiten, dann randomisieren Sie, sobald der Look fixiert ist.
Dieser Workflow wurde um Wan2.2 Animate und seine Vorverarbeitungskomponenten herum aufgebaut, mit offiziellen Referenzen für weiterführende Lektüre: Wan2.2 Animate, ComfyUI-WanVideoWrapper, ComfyUI-WanAnimatePreprocess, SAM 3.1, SDPose, und KJNodes.
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir bedanken uns herzlich bei RunningHub für die Workflow-Referenz, Wan-AI für das Wan2.2-Animate-14B-Modell, kijai für die ComfyUI WanVideoWrapper- und WanAnimatePreprocess-Knoten und Comfy-Org für die SAM3.1- und SDPose-Modelle für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.
Ressourcen#
- RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
- Docs / Release Notes: Workflow post
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.
