Sostituzione di Personaggio & Posizione & Sfondo V3 | Wan2.2 Animate + SAM3.1 + SDPose

Sostituzione di Personaggio & Posizione & Sfondo V3 — Wan2.2 Animate scambio di personaggi video, trasferimento di posizioni e controllo dello sfondo#

Questo flusso di lavoro ComfyUI trasforma una clip di movimento sorgente e un'immagine di riferimento singola in un nuovo video dove l'identità del personaggio, la posizione e lo sfondo sono tutti sotto il tuo controllo. La Sostituzione di Personaggio & Posizione & Sfondo V3 mantiene stabile la struttura del movimento sorgente mentre scambia il soggetto, trasferisce il comportamento del corpo e del viso, e opzionalmente sostituisce o fonde la scena.

Progettato per i creatori che necessitano di una pipeline rapida e guidata, abbina Wan2.2 Animate con SAM 3.1 segmentazione e SDPose per una robusta mascheratura delle persone e guida delle posizioni. Usalo per la sostituzione di personaggi, animazione di trasferimento di posizioni o rinfresco completo della scena in un'unica tela con toggle pratici e anteprime.

Modelli chiave nel flusso di lavoro ComfyUI Sostituzione di Personaggio & Posizione & Sfondo V3#

• Wan2.2 Animate 14B. La spina dorsale generativa video che rende i fotogrammi finali da immagine, posizione e guida testuale. Supporta il condizionamento delle immagini e gli adattatori LoRA per il controllo dello stile o del rilighting. Model card
• SAM 3.1. Un modello di segmentazione di alta qualità utilizzato per estrarre o affinare la maschera della persona dai fotogrammi o dalle immagini di riferimento, guidando compositi puliti e inpaints. Checkpoints
• SDPose. Un toolkit di estrazione di punti chiave del corpo intero e disegno utilizzato per creare mappe di posizioni precise e ritagli di volti che guidano il trasferimento di movimento ed espressione. Fornisce anche pesi di rilevamento RT-DETR utilizzati in questo grafico. Repository
• ViTPose-L WholeBody ONNX. Un forte stimatore di punti chiave multi-persona utilizzato dai nodi di preprocessamento per punti di riferimento densi del corpo, delle mani e del viso. Checkpoint

Come utilizzare il flusso di lavoro ComfyUI Sostituzione di Personaggio & Posizione & Sfondo V3#

Il flusso di lavoro ha tre pilastri: costruzione della guida, controllo dello sfondo e rendering. La guida proviene dalla tua immagine di identità più segnali di posizione e viso estratti dalla clip di movimento. Il controllo dello sfondo offre tre modalità intercambiabili. Il rendering utilizza Wan2.2 Animate con LoRAs opzionali, quindi esporta un video pronto da condividere.

Caricamento immagine#

Carica la tua immagine di identità o del personaggio target nel gruppo Caricamento immagine. Viene ridimensionata per il modello e visualizzata in anteprima per controlli rapidi. Questa immagine imposta l'aspetto per la Sostituzione di Personaggio & Posizione & Sfondo V3, mentre il movimento è preso dalla clip sorgente. Se l'immagine ha un soggetto pulito, i risultati tracceranno l'identità in modo più affidabile.

Caricamento video#

Importa la sorgente di movimento nel gruppo Caricamento video usando VHS_LoadVideo (#63). Il nodo espone il frame rate e i fotogrammi totali per la pianificazione a valle e determina quanti fotogrammi produrrà il renderer. L'audio viene passato all'esportazione finale se fornito. Usa i widget di file per tagliare o campionare quando desideri anteprime più brevi.

Zona viso e posizione#

La zona Viso & posizione costruisce due flussi di guida chiave. Rileva persone e volti, quindi estrae punti chiave del corpo intero con SDPoseKeypointExtractor (#690) e li disegna in un'immagine di controllo pulita tramite SDPoseDrawKeypoints (#688). Un rilevatore ausiliario come RTDETR_detect (#771) e il caricatore di preprocessamento forniscono robuste caselle per corpo e viso. Per scatti multi-persona, attiva il controllo "Rilevamento multi-persona" e l'interruttore "Fonte di rilevamento" per scegliere se rilevare posizioni sul ramo sorgente o sul ramo con sfondo sostituito.

SAM 3.1 maschera e affinamento#

Il gruppo maschera SAM3.1 crea la maschera del soggetto con SAM3_Detect (#753). Puoi guidarlo con il testo tramite CLIPTextEncode (#754) e spingere la selezione con clic usando PointsEditor (#758). Due raffinatori poi rendono la produzione del matte pronta: GrowMaskWithBlur (#502) espande e sfuma dolcemente i bordi, e BlockifyMask (#401) uniforma i confini dei blocchi per evitare contorni frastagliati. Un'anteprima sovrapposta dal vivo (DrawMaskOnImage (#391)) ti aiuta a confermare il ritaglio prima del rendering.

Zona sostituzione sfondo#

Puoi:

• Mantenere la scena originale.
• Sostituire con una foto statica usando LoadImage (#785).
• Sostituire con un video dinamico usando VHS_LoadVideo (#790).

Un semplice toggle seleziona il comportamento, e il ramo scelto viene ridimensionato per adattarsi ai fotogrammi di movimento, quindi composto con la maschera della persona. Se hai bisogno di un look da palcoscenico a colori piatti, il sotto-gruppo greenscreen fornisce uno sfondo solido che rimane stabile tra i fotogrammi.

Opzioni di movimento Uni3C#

Per scatti che necessitano di deriva della telecamera aggiunta o levigatura del movimento, il gruppo Uni3C carica un modello di controllo e trasforma la clip sorgente ridimensionata in embeddings di movimento con WanVideoUni3C_ControlnetLoader (#538) e WanVideoUni3C_embeds (#546). Un controllo di forza e una pianificazione di inizio o fine ti permettono di sfumare l'effetto dentro o fuori attraverso la sequenza.

Sostituzione personaggio - fase di incorporamento#

WanVideoAnimateEmbeds (#62) fonde tutto per il percorso di sostituzione del personaggio: VAE, caratteristiche dell'immagine CLIP-Vision, la tua immagine di identità, mappe di posizione SDPose, ritagli di volti opzionali, la maschera della persona e una guida opzionale per lo sfondo. Larghezza, altezza e conteggio dei fotogrammi sono ereditati dal video quindi l'allineamento del movimento rimane esatto. Usa questa modalità quando vuoi che il nuovo soggetto si muova esattamente come l'attore originale.

Trasferimento di movimento - fase di incorporamento#

Un secondo WanVideoAnimateEmbeds (#904) fornisce un percorso incentrato sul trasferimento di movimento che rinuncia allo sfondo e alla mascheratura quando hai solo bisogno che la posizione e l'espressione siano applicate a un soggetto immagine. Solo una fase di incorporamento dovrebbe essere attiva alla volta. Scegli la modalità che corrisponde al tuo obiettivo, quindi l'Any-Switch a monte inoltra gli embeddings selezionati.

Zona di campionamento e controllo LoRA#

WanVideoSamplerSettings (#530) riunisce il modello Wan2.2, gli embeddings di immagine scelti, embeddings di testo opzionali, embeddings di movimento Uni3C e il tuo seed. Gli stack LoRA sono scelti con WanVideoLoraSelectMulti (#467) e applicati da WanVideoSetLoRAs (#48), utile per rilighting, stile o stabilizzazione. WanVideoSamplerFromSettings (#531) genera il video latente, e WanVideoDecode (#28) lo trasforma in fotogrammi.

Anteprima ed esportazione#

La zona Anteprima riproduce fotogrammi intermedi per controlli, e VHS_VideoCombine (#312) scrive la clip finale al tuo frame rate scelto con passthrough audio opzionale. Un macro di prefisso del nome file è già configurato quindi ogni rendering è marcato temporalmente.

Nodi chiave nel flusso di lavoro ComfyUI Sostituzione di Personaggio & Posizione & Sfondo V3#

WanVideoAnimateEmbeds (#62, #904) Questo è il cuore dell'assemblaggio della guida per Wan2.2 Animate docs. Unisce aspetto, posizione, maschera e sfondo opzionale in un unico flusso di incorporamento immagine dimensionato per il tuo video. Modifica solo ciò che conta: aumenta pose_strength per bloccarti più vicino al movimento sorgente o alza face_strength quando identità e area delle labbra dovrebbero seguire più strettamente. Mantieni num_frames e il conteggio dei fotogrammi del caricatore video allineati per evitare troncamenti.

SAM3_Detect (#753) Genera il matte della persona utilizzando SAM 3.1 checkpoints. Usa il condizionamento del prompt o clic sui punti quando l'abbigliamento si fonde con lo sfondo. Se il matte è rumoroso, riduci l'ambito di selezione con le bounding box dagli strumenti di rilevamento prima di affinare.

GrowMaskWithBlur (#502) e BlockifyMask (#401) Dal repo KJNodes repo, questi preparano le maschere per un compositing pulito. Crescita e sfumatura nasconderanno le cuciture dei bordi dopo la sostituzione dello sfondo, mentre blockify evita artefatti a gradini sui contorni del soggetto. Regola delicatamente e anteprima spesso.

WanVideoLoraSelectMulti (#467) e WanVideoSetLoRAs (#48) Questi nodi attaccano adattatori LoRA all'interno di Wan2.2 Animate wrapper. Usali per rilighting, ricompensa o modifiche al movimento. Mantieni la forza totale bilanciata con il tuo cfg e i passi del campionatore in modo che i LoRA guidino piuttosto che sopraffare.

WanVideoUni3C_ControlnetLoader (#538) e WanVideoUni3C_embeds (#546) Forniscono retargeting opzionale della telecamera e del movimento all'interno dello stesso campionatore docs. Usa la forza e la pianificazione di inizio o fine per mescolare l'effetto. Per scatti di tracciamento molto stretti, imposta la forza più bassa in modo che il movimento del soggetto rimanga primario.

VHS_VideoCombine (#312) Dal Video Helper Suite repo. Assembla fotogrammi nel video finale e può muxare audio dalla sorgente. Abbina il frame rate qui al tuo rate forzato del caricatore per un tempismo 1:1.

Extra opzionali#

• Se vedi pressione di memoria ad alta risoluzione o clip lunghe, abilita il tiling VAE sui nodi di codifica o decodifica e riduci la dimensione del contesto nelle impostazioni del campionatore.
• Quando i bordi del soggetto sembrano frastagliati, aumenta leggermente la crescita della maschera, poi regola la dimensione del blocco prima di fare nuovamente il rendering.
• Se il colore o l'esposizione deviano dopo la sostituzione, prova un LoRA di rilighting a forza modesta piuttosto che aumentare CFG.
• Per scene affollate, rileva le posizioni sul ramo sorgente prima, poi passa il rilevamento al ramo sostituito solo dopo che la maschera è affidabile.
• Per stabilizzare i rendering lunghi, mantieni un seed fisso mentre iteri su maschere e LoRA, poi randomizza una volta che l'aspetto è bloccato.

Questo flusso di lavoro è stato costruito attorno a Wan2.2 Animate e ai suoi compagni di preprocessamento, con riferimenti ufficiali per ulteriori letture: Wan2.2 Animate, ComfyUI-WanVideoWrapper, ComfyUI-WanAnimatePreprocess, SAM 3.1, SDPose, e KJNodes.

Riconoscimenti#

Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo con gratitudine RunningHub per il riferimento al flusso di lavoro, Wan-AI per il modello Wan2.2-Animate-14B, kijai per i nodi ComfyUI WanVideoWrapper e WanAnimatePreprocess, e Comfy-Org per i modelli SAM3.1 e SDPose per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
  • Docs / Note di rilascio: Workflow post
• Wan-AI/Wan2.2-Animate-14B
  • GitHub: Wan-Video/Wan2.2
  • Hugging Face: Wan-AI/Wan2.2-Animate-14B
  • arXiv: 2503.20314
• kijai/ComfyUI-WanVideoWrapper
  • GitHub: kijai/ComfyUI-WanVideoWrapper
• kijai/ComfyUI-WanAnimatePreprocess
  • GitHub: kijai/ComfyUI-WanAnimatePreprocess
• Comfy-Org/sam3.1
  • GitHub: facebookresearch/sam3
  • Hugging Face: Comfy-Org/sam3.1
• Comfy-Org/SDPose
  • Hugging Face: Comfy-Org/SDPose

Nota: L'uso dei modelli, dataset e codice referenziati è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.