Wan2.2 Animare | Foto a video realistico in movimento

Wan2.2 Animare: animazione di riferimento a video con movimento completo in ComfyUI

Wan2.2 Animate trasforma una singola immagine di riferimento in una performance realistica che segue il movimento completo del corpo e le espressioni facciali di un video di guida. Questo flusso di lavoro di ComfyUI Wan2.2 Animate fonde trasferimento di posa, mocap facciale, controllo dello sfondo e componenti aggiuntivi LoRA in modo che i personaggi si muovano naturalmente mentre l'identità rimane intatta.

Progettato per avatar, ricreazioni di performance, video musicali e sequenze narrative, Wan2.2 Animate produce clip pulite, stabili nel tempo con passaggio audio opzionale, upscaling di qualità e interpolazione. Viene fornito come un grafico guidato con impostazioni predefinite sensate, così puoi concentrarti sulle scelte creative piuttosto che sulla gestione tecnica.

Modelli chiave nel flusso di lavoro Comfyui Wan2.2 Animate

• Wan 2.2 Animate 14B (I2V) fp8 scalato. Il modello video principale che interpreta guida di posa, viso, immagine e testo per sintetizzare la traccia del movimento con conservazione dell'identità. Model set
• Wan 2.1 VAE bf16. Il VAE corrispondente utilizzato per codificare/decodificare latenti per la famiglia Wan, garantendo fedeltà e nitidezza dei colori. VAE
• UMT5‑XXL text encoder. Fornisce robusto condizionamento del testo multilingue per prompt positivi e negativi. Encoder
• CLIP ViT‑H/14 vision encoder. Estrae embedding visivi dall'immagine di riferimento per preservare identità e stile. Paper
• Opzionali Wan LoRAs. Adattatori leggeri per il controllo dell'illuminazione e del comportamento I2V, come Lightx2v I2V 14B e Relight. Lightx2v • Relight
• Segment Anything 2 (SAM 2). Segmentazione immagine/video di alta qualità utilizzata per isolare il soggetto o lo sfondo. Paper
• DWPose. Stima accurata della posa 2D utilizzata per ritagli e maschere consapevoli di viso/posa. Repo
• RIFE. Interpolazione rapida di fotogrammi video per aumentare la fluidità della riproduzione. Paper

Come utilizzare il flusso di lavoro Comfyui Wan2.2 Animate

Flusso generale. Il grafico acquisisce un video di guida e una singola immagine di riferimento, prepara un soggetto/sfondo pulito e un ritaglio consapevole del viso, quindi alimenta gli embed di posa, viso, immagine e testo in Wan2.2 Animate per il campionamento e la decodifica. Una fase finale esalta i dettagli e opzionalmente interpola i fotogrammi prima dell'esportazione.

• Modelli
  • Questo gruppo carica la base Wan2.2 Animate, il VAE corrispondente, gli encoder di testo/visione e qualsiasi LoRA selezionata. Il WanVideoModelLoader (#22) e il WanVideoSetLoRAs (#48) collegano il modello e gli adattatori, mentre il WanVideoVAELoader (#38) e il CLIPLoader (#175) forniscono le basi di testo del VAE.
  • Se prevedi di regolare i LoRA (ad esempio, riaccensione o stile I2V), mantieni attivo solo uno o due alla volta per evitare conflitti, quindi visualizza l'anteprima con i nodi collage forniti.

Dimensione

• Imposta la tua larghezza e altezza di destinazione nel gruppo di dimensioni e conferma che il frame_count corrisponda ai fotogrammi che prevedi di caricare dal video di guida. VHS_LoadVideo (#63) riporta il conteggio; mantieni il num_frames del campionatore coerente per evitare troncamenti di coda.
• L'helper PixelPerfectResolution (#152) legge il clip di guida per suggerire dimensioni di generazione stabili.

Mascheramento dello sfondo

• Carica il tuo video di guida in VHS_LoadVideo (#63); l'audio viene estratto automaticamente per un passaggio successivo. Usa PointsEditor (#107) per posizionare alcuni punti positivi sul soggetto ed esegui Sam2Segmentation (#104) per generare una maschera pulita.
• GrowMask (#100) e BlockifyMask (#108) stabilizzano e espandono i bordi, e DrawMaskOnImage (#99) offre un rapido controllo di sanità mentale. Questa maschera consente a Wan2.2 Animate di focalizzarsi sull'esecutore rispettando lo sfondo originale.

Immagine di riferimento

• Inserisci un singolo ritratto ben illuminato o una foto a figura intera. ImageResizeKJv2 (#64) lo abbina alla tua risoluzione di lavoro e l'output viene memorizzato per la fase di animazione.
• Per la migliore conservazione dell'identità, scegli un'immagine di riferimento con un viso chiaro e poche occlusioni.

Immagini del viso

• La pipeline costruisce un ritaglio consapevole del viso per guidare le micro-espressioni. DWPreprocessor (#177) trova i punti chiave della posa, FaceMaskFromPoseKeypoints (#120) isola la regione del viso, e ImageCropByMaskAndResize (#96) produce ritagli di viso allineati. È incluso un piccolo esportatore di anteprima per un rapido controllo di qualità (VHS_VideoCombine (#112)).

Campionamento & Decodifica

• L'immagine di riferimento viene incorporata tramite WanVideoClipVisionEncode (#70), i prompt vengono codificati con CLIPTextEncode (#172, #182, #183), e tutto viene fuso da WanVideoAnimateEmbeds (#62).
• WanVideoSampler (#27) esegue la diffusione principale di Wan2.2 Animate. Puoi lavorare in modalità "finestra di contesto" per clip molto lunghi o utilizzare il percorso originale long-gen; la nota inclusa spiega quando abbinare la finestra di contesto al conteggio dei fotogrammi per la stabilità. L'output del campionatore viene decodificato da WanVideoDecode (#28) e salvato con passaggio audio opzionale (VHS_VideoCombine (#30)).

Collage del risultato

• ImageConcatMulti (#77, #66) e GetImageSizeAndCount (#42) assemblano un pannello affiancato di riferimento, viso, posa e output. Usalo per controllare rapidamente l'allineamento dell'identità e del movimento prima dell'esportazione finale.

Ingrandimento e Interpolazione

• UltimateSDUpscaleNoUpscale (#180) affina i bordi e le texture con il UNet fornito (UNETLoader (#181)) e VAE (VAELoader (#184)); i prompt positivi/negativi possono guidare delicatamente i dettagli.
• RIFEInterpolation (#188) raddoppia facoltativamente la fluidità del movimento, e VHS_VideoCombine (#189) scrive il clip finale di Wan2.2 Animate.

Nodi chiave nel flusso di lavoro Comfyui Wan2.2 Animate

• VHS_LoadVideo (#63)
  • Ruolo. Carica il video di guida, emette i fotogrammi, estrae l'audio e riporta il conteggio dei fotogrammi per la coerenza a valle.
  • Suggerimento. Mantieni il totale dei fotogrammi riportati allineato con la lunghezza della generazione del campionatore per prevenire interruzioni anticipate o fotogrammi neri.
• Sam2Segmentation (#104) + PointsEditor (#107)
  • Ruolo. Mascheramento interattivo del soggetto che aiuta Wan2.2 Animate a concentrarsi sull'esecutore ed evitare l'intreccio con lo sfondo.
  • Suggerimento. Alcuni punti positivi ben posizionati più un modesto GrowMask tendono a stabilizzare eccessivamente sfondi complessi senza effetto alone. Vedi SAM 2 per la guida alla segmentazione video-consapevole. Paper
• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)
  • Ruolo. Derivare maschere facciali robuste e ritagli allineati dai punti chiave rilevati per migliorare la fedeltà di labbra, occhi e mascella.
  • Suggerimento. Se le espressioni sembrano attenuate, verifica che la maschera del viso copra completamente la linea della mascella e le guance; riesegui il ritaglio dopo aver regolato i punti. Repo
• WanVideoModelLoader (#22) e WanVideoSetLoRAs (#48)
  • Ruolo. Carica Wan2.2 Animate e applica LoRA opzionali per riaccensione o bias I2V.
  • Suggerimento. Attiva un LoRA alla volta durante la diagnosi di artefatti di illuminazione o movimento; impila con parsimonia per evitare vincoli eccessivi. Models • LoRAs
• WanVideoAnimateEmbeds (#62) e WanVideoSampler (#27)
  • Ruolo. Fonde condizionamenti di immagine, viso, posa e testo in latenti video e campiona la sequenza con Wan2.2 Animate.
  • Suggerimento. Per clip molto lunghi, passa alla modalità finestra di contesto e mantieni la sua lunghezza sincronizzata con il conteggio dei fotogrammi previsto per preservare la coerenza temporale. Wrapper repo
• UltimateSDUpscaleNoUpscale (#180)
  • Ruolo. Passaggio di dettaglio leggero dopo la decodifica con supporto per il tiling per mantenere stabile la memoria.
  • Suggerimento. Se vedi giunzioni di tile, aumenta modestamente la sovrapposizione e mantieni la guida dei prompt molto morbida per evitare texture fuori modello. KJNodes
• RIFEInterpolation (#188)
  • Ruolo. Leviga il movimento inserendo fotogrammi intermedi senza ri-renderizzare il clip.
  • Suggerimento. Applica l'interpolazione dopo l'ingrandimento in modo che il flusso ottico veda il profilo di dettaglio finale. Paper

Extra opzionali

• Per l'identità più pulita, scegli un riferimento nitido, frontale e mantieni gli accessori coerenti con il video di guida.
• Se appare sfarfallio dello sfondo, affina la maschera SAM 2 e ripeti; il mascheramento è spesso la soluzione più rapida per la perdita di scena.
• Mantieni larghezza e altezza allineate con la tua piattaforma di destinazione e il rapporto d'aspetto dell'input; pixel quadrati, multipli di 16 funzionano bene in Wan2.2 Animate.
• L'audio del video di guida può essere passato al momento dell'esportazione; se preferisci il silenzio, disabilita l'audio nel nodo di salvataggio.
• Inizia con un LoRA; se aggiungi riaccensione e I2V insieme, prova ciascuno separatamente prima per comprendere la loro influenza.

Link che potresti trovare utili:

• Modello e risorse Wan2.2 Animate di Kijai: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• Wrappers e nodi ComfyUI utilizzati: ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

Ringraziamenti

Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo con gratitudine Wan2.2 e @ArtOfficialLabs per Wan2.2 Animate Demo per i loro contributi e manutenzione. Per dettagli autorevoli, consulta la documentazione originale e i repository collegati di seguito.

Risorse

• Wan2.2/Wan2.2 Animate Demo
  • Documentazione / Note di rilascio: Wan2.2 Animate Demo @ArtOfficialLabs

Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.