Genera INTERI MONDI AI (Vace Wan 2.1) è un flusso di lavoro ComfyUI pronto per la produzione di Mickmumpitz per trasformare filmati live-action in nuovi ambienti mantenendo il movimento originale della fotocamera. Scambia sfondi, preserva prospettiva e scala, e compone un attore mascherato in mondi completamente rigenerati guidati da testo e immagini di riferimento.
Costruito sullo stack VACE Wan 2.1, questo flusso di lavoro è ideale per registi, artisti VFX e creatori che necessitano di previz veloci o scatti raffinati. Puoi dirigere la scena con prompt, partire da un'immagine di riferimento opzionale e scegliere tra una pipeline FP8 ad alta velocità o una pipeline GGUF a basso VRAM. Il risultato è una costruzione di mondi senza soluzione di continuità che ti consente veramente di Generare INTERI MONDI AI (Vace Wan 2.1) da piatti quotidiani.
Questo flusso di lavoro segue una strategia VACE a due passaggi: primo, codifica il movimento della scena da immagini di controllo per bloccare il movimento della fotocamera; secondo, codifica l'inserimento dell'attore e lo fonde nell'ambiente rigenerato. Puoi eseguire il percorso FP8 per la massima velocità o il percorso GGUF per basso VRAM. Le sezioni seguenti mappano ai gruppi sul grafico così puoi operare l'intero pipeline Genera INTERI MONDI AI (Vace Wan 2.1) con fiducia.
L'area di input ti consente di scegliere la risoluzione di lavoro e i controlli di clip di base. Usa l'interruttore di risoluzione per scegliere un preset (720p, 576p o 480p), che alimenta Set_width (#370) e Set_height (#369) così ogni fase rimane sincronizzata. Puoi limitare il numero di fotogrammi per mantenere veloci i tempi di turnaround e impostare un piccolo salto se vuoi compensare il punto di inizio. Per stabilità e memoria, mantieni le sequenze entro l'intervallo raccomandato; le etichette del grafico segnalano che 81 fotogrammi è un limite sensato per la maggior parte delle GPU. Queste scelte si applicano globalmente a immagini di controllo, codifiche VACE e rendering finali.
Nota: Il video di input può anche essere generato attraverso un altro flusso di lavoro, MASK_AND_TRACK. Puoi scaricare il file del flusso di lavoro qui: workflow.json. Dopo il download, trascina il file in una nuova scheda di flusso di lavoro ed eseguilo per ottenere il video di input.
Una piastra di sfondo e un'immagine di riferimento opzionale guidano lo stile visivo. Carica un fermo immagine di sfondo, quindi il grafico lo ridimensiona per adattarlo alla tua dimensione di lavoro. Se vuoi un'ancora di stile invece di un backplate rigido, abilita l'immagine_di_riferimento attraverso il selettore; questa immagine guida colore, composizione e tono senza dettare la geometria. Il percorso di riferimento è utile quando vuoi che il modello Generi INTERI MONDI AI (Vace Wan 2.1) che riecheggiano un aspetto specifico, mentre il prompt di testo gestisce il resto. Disattivalo quando preferisci un controllo solo testo.
Usa questa sezione per decidere come inizia la generazione. Con un attore pronto, Image Remove Background Rembg (mtb) (#1433) tira una maschera pulita e ImageCompositeMasked (#1441) posiziona l'attore sullo sfondo scelto per formare un fotogramma iniziale. L'interruttore Inizio Fotogramma (ImpactSwitch, #1760) offre tre modalità: attore composito più sfondo, solo sfondo, o nessun fotogramma iniziale. I fotogrammi iniziali aiutano ad ancorare identità e layout; solo sfondo consente al personaggio di “entrare” nel tempo; nessun fotogramma iniziale chiede al modello di stabilire sia soggetto che mondo da testo e riferimento. Un blocco di anteprima dal vivo mostra come appare quell'inizio prima di impegnarti a valle.
Le immagini di controllo bloccano il movimento della fotocamera così prospettiva e parallasse sembrano reali. Alimenta un video tracciato dalla fotocamera nel gruppo; il grafico può derivare i livelli OpenPose e Canny, quindi fonderli per creare un forte segnale di struttura. L'interruttore Nodi Immagine di Controllo (ImpactSwitch, #1032) ti consente di scegliere Solo Traccia, Traccia+Pose, Canny+Pose, o un video di controllo preparato esternamente. Rivedi lo stack con la combinazione di anteprima per assicurarti che silhouette e bordi siano chiaramente leggibili. Per sequenze lunghe, puoi salvare e ricaricare successivamente questo video di controllo per evitare di ricomputare; è particolarmente utile quando iteri prompt o maschere continuando a Generare INTERI MONDI AI (Vace Wan 2.1).
Se hai già esportato un video di “immagini di controllo”, inseriscilo qui per bypassare la pre-elaborazione. Seleziona l'opzione corrispondente nell'interruttore immagine di controllo così il resto della pipeline utilizza la tua struttura memorizzata nella cache. Questo mantiene il tracciamento della fotocamera coerente tra le esecuzioni e riduce drasticamente il tempo di iterazione su lunghe riprese.
Il ramo FP8 carica l'intero stack modello Wan 2.1. WanVideoModelLoader (#4) porta nel backbone T2V 14B e nel modulo VACE, oltre a un LoRA LightX opzionale per campionamento veloce e coerente. WanVideoVAELoader (#26) fornisce il VAE, e WanVideoBlockSwap (#5) espone una strategia di risparmio VRAM scambiando blocchi nella memoria del dispositivo secondo necessità. Questo ramo è il modo più veloce per Generare INTERI MONDI AI (Vace Wan 2.1) quando hai spazio VRAM sufficiente.
I prompt sono codificati da WanVideoTextEncodeSingle per testo positivo e negativo, quindi raffinati tramite WanVideoApplyNAG per mantenere coerente la formulazione. Il primo passaggio, WanVideo VACE Encode (CN‑CameraTrack) (#948), legge le immagini di controllo per produrre embedding consapevoli del movimento. Il secondo passaggio, WanVideo VACE Encode (InsertPerson) (#1425), inietta l'attore utilizzando un alfa pulito e una maschera che puoi espandere o ridurre delicatamente per evitare aloni. WanVideoSampler (#2) quindi rende la sequenza, WanVideoDecode (#1) trasforma i latenti in fotogrammi, e un semplice interruttore sceglie tra il frame rate originale o un flusso interpolato FILM prima della combinazione video finale.
Il ramo GGUF è progettato per flussi di lavoro a basso VRAM. UnetLoaderGGUF (#1677) carica un Wan 2.1 VACE UNet quantizzato, CLIPLoader (#1680) fornisce il codificatore di testo, e un LoRA può essere applicato con LoraLoader (#2420). Un VAELoader standard ComfyUI (#1676) gestisce la decodifica. Questo percorso scambia velocità per impronta mantenendo la stessa logica VACE a due passaggi così puoi ancora Generare INTERI MONDI AI (Vace Wan 2.1) su hardware modesto.
Nel percorso quantizzato, WanVaceToVideo (#1724) trasforma embedding VACE, condizionamento del testo e il tuo riferimento in un latente guidato. WanVideoNAG e WanVideoEnhanceAVideoKJ aiutano a mantenere identità e dettaglio locale, dopo di che KSampler (#1726) genera la sequenza latente finale. VAEDecode (#1742) produce fotogrammi, un passo FILM opzionale aggiunge fluidità temporale, e la combinazione video scrive il risultato su disco. Usa questo percorso quando il VRAM è limitato o quando hai bisogno di lunghe riprese stabili.
Ci sono due pannelli di prompt. Il lato FP8 utilizza il codificatore di testo Wan T5, mentre il lato GGUF utilizza un percorso di condizionamento CLIP; entrambi ricevono testo positivo e negativo. Mantieni i prompt positivi cinematografici e specifici per il mondo che desideri, e riserva i prompt negativi per artefatti di compressione, sovrasaturazione e ingombro indesiderato in primo piano. Puoi mescolare i prompt con un'immagine di riferimento morbida per guidare colore e illuminazione lasciando comunque che il modello Generi INTERI MONDI AI (Vace Wan 2.1) che corrispondono alla tua intenzione.
WanVideo VACE Encode (CN-CameraTrack) (#948)WanVideo VACE Encode (InsertPerson) (#1425)DilateErodeMask, #2391) per tirare leggermente il matte all'interno. Questo passaggio collega l'inserimento al movimento della scena così scala e parallasse rimangono naturali.WanVaceToVideo (#1724 e #1729)WanVideoSampler (#2)KSampler (#1726)Enhance A Video per recuperare la micro-texture senza far derivare il movimento.FILM VFI (#2019 e #1757)-json
DilateErodeMask nel percorso di inserimento fino a quando gli aloni scompaiono.Con questi passaggi, puoi eseguire con fiducia il flusso di lavoro end-to-end e Generare INTERI MONDI AI (Vace Wan 2.1) che resistono al movimento reale della fotocamera.
Questo flusso di lavoro implementa e si basa sui lavori e risorse di @mickmumpitz. Ringraziamo con gratitudine Mickmumpitz per il Tutorial sul flusso di lavoro per il flusso di lavoro istruttivo, e lo ringraziamo per i suoi contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Nota: L'uso dei modelli, set di dati e codice di riferimento è soggetto alle rispettive licenze e termini forniti da Mickmumpitz.
RunComfy è la piattaforma principale ComfyUI che offre ComfyUI online ambiente e servizi, insieme a workflow di ComfyUI con visuali mozzafiato. RunComfy offre anche AI Playground, consentire agli artisti di sfruttare gli ultimi strumenti di AI per creare arte incredibile.
