Flusso di lavoro di Stable Video Infinity 2.0 ComfyUI per immagini lunghe e coerenti in video su Wan 2.2
Questo flusso di lavoro trasforma un'unica immagine in un video lungo e guidato dalla storia, preservando identità, flusso di movimento e coerenza della scena. Abbina il modello Wan 2.2 I2V A14B con lo Stable Video Infinity 2.0 LoRA per estendere la continuità temporale ben oltre i limiti dei clip brevi. La pipeline è organizzata in cinque passaggi che trasferiscono latenze di movimento da una sezione all'altra, con sovrapposizione che sfuma le transizioni e un rendering finale che unisce tutto insieme.
I creatori che necessitano di animazioni estese, battute narrative o video AI cinematografici troveranno che Stable Video Infinity mantiene stabili personaggi e stile mentre la scena si evolve. Ottieni video con passaggi intermedi per una rapida revisione e un rendering finale master, tutto prodotto direttamente dal grafico ComfyUI.
Modelli chiave nel flusso di lavoro di Comfyui Stable Video Infinity
- Coppia Wan 2.2 I2V A14B UNet (HighNoise e LowNoise), varianti quantizzate GGUF. Questi generano movimento da latenze di immagine e vengono alternati per bilanciare esplorazione e affinamento dei dettagli. Fonte: Comfy-Org/Wan_2.2_ComfyUI_Repackaged.
- Stable Video Infinity 2.0 LoRA per Wan 2.2 I2V A14B, fornito in varianti HIGH e LOW per adattarsi ai due UNet. Estende la coerenza temporale per lunghe sequenze. Fonte: Kijai/WanVideo_comfy – Stable-Video-Infinity v2.0.
- Codificatore di testo Wan UMT5 XXL. Codifica le istruzioni per passaggio in condizionamenti per il generatore video. Fonte: Comfy-Org/Wan_2.1_ComfyUI_repackaged.
- Wan 2.1 VAE. Codifica l'immagine di partenza nello spazio latente e decodifica i fotogrammi in immagini per ciascun passaggio. Fonte: Comfy-Org/Wan_2.2_ComfyUI_Repackaged – VAE.
- Set opzionale di Wan 2.2 LightX2V LoRA (HighNoise e LowNoise). Questi LoRA ausiliari completano Stable Video Infinity durante il campionamento. Fonte: Comfy-Org/Wan_2.2_ComfyUI_Repackaged – loras.
Come usare il flusso di lavoro di Comfyui Stable Video Infinity
Il flusso di lavoro prende un'unica immagine di riferimento, la prepara alla risoluzione scelta, quindi esegue cinque passaggi sequenziali. Ogni passaggio utilizza Stable Video Infinity per generare un segmento, sfuma alcuni fotogrammi di sovrapposizione con il segmento precedente e inoltra la sua latenza di movimento al passaggio successivo. Puoi visualizzare in anteprima ciascun passaggio come MP4 e produrre anche un rendering finale unito.
Gruppo: Modelli
Questo gruppo carica la coppia Wan 2.2 I2V A14B UNet, il Wan VAE e il codificatore di testo UMT5 XXL. Quindi applica il set LightX2V LoRA e lo Stable Video Infinity 2.0 LoRA ai rami HighNoise e LowNoise in modo che tutti i passaggi condividano le stesse capacità. Se regoli la forza del LoRA, mantieni bilanciati entrambi i rami HighNoise e LowNoise per evitare che lo stile o il comportamento del movimento devino.
Gruppo: Istruzioni
Le istruzioni sono create per passaggio per creare battute narrative. Le istruzioni positive risiedono nei cinque nodi CLIPTextEncode come CLIPTextEncode (#93, #152, #284, #297, #310). Le istruzioni negative sono precompilate con filtri di qualità comuni e possono essere modificate in CLIPTextEncode (#89, #157, #279, #293, #306). Mantieni descrittori coerenti per i soggetti attraverso i passaggi e varia solo i verbi d'azione o le indicazioni della telecamera per mantenere l'identità mentre la scena evolve.
Immagine di input e risoluzione
Carica un'unica immagine di riferimento con LoadImage (#97), quindi scala con Resolution (LayerUtility: ImageScaleByAspectRatio V2 (#398)) per adattarla al rapporto d'aspetto desiderato. L'immagine è codificata in latenze da VAEEncode (#135), che stabilisce anche la latenza ancorata utilizzata per mantenere l'identità stabile durante l'esecuzione. Se cambi l'input o il rapporto d'aspetto, ricodifica prima di eseguire i passaggi.
Passaggio 1 - Stabilire la scena
WanImageToVideoSVIPro (#134) utilizza la tua prima istruzione di passaggio e la latenza ancorata per generare movimento. Due campionatori, KSamplerAdvanced (#277 per HighNoise, #278 per LowNoise), collaborano per esplorare il movimento e poi affinare i dettagli. Il risultato è decodificato da VAEDecode (#87) e visualizzato in anteprima tramite VHS_VideoCombine (#126) come un MP4. Usa questo passaggio per impostare il soggetto, l'illuminazione e lo stile generale che Stable Video Infinity porterà avanti.
Passaggio 2 - Continuare l'azione
WanImageToVideoSVIPro (#160) riceve prev_samples dal Passaggio 1 in modo che possa estendere il movimento senza un salto visivo. Lo stesso schema di campionamento a due stadi viene eseguito tramite KSamplerAdvanced (#276 HighNoise, #275 LowNoise), e i fotogrammi sono decodificati da VAEDecode (#162). ImageBatchExtendWithOverlap (#168) sfuma una breve sovrapposizione con la coda del Passaggio 1 per nascondere le cuciture, e VHS_VideoCombine (#167) scrive l'anteprima del segmento.
Passaggio 3 - Espansione della sequenza centrale
WanImageToVideoSVIPro (#290) continua dalle latenze del Passaggio 2 e segue lo stesso affinamento del campionatore doppio con KSamplerAdvanced (#291, #287). Dopo la decodifica in VAEDecode (#282), ImageBatchExtendWithOverlap (#292) aggiunge i nuovi fotogrammi alla timeline. Aggiorna l'istruzione per evolvere l'azione micro mantenendo identici i termini del soggetto.
Passaggio 4 - Costruire verso il battito
WanImageToVideoSVIPro (#305) prende il testimone dal Passaggio 3 e utilizza nuovamente i campionatori HighNoise poi LowNoise KSamplerAdvanced (#303, #300). VAEDecode (#295) e ImageBatchExtendWithOverlap (#304) producono una sequenza continua che puoi visualizzare in anteprima tramite VHS_VideoCombine (#296). Usa questo passaggio per aggiungere movimento della telecamera o azioni secondarie, mantenendo stabili i descrittori per preservare l'identità.
Passaggio 5 - Risolvere e rendere
WanImageToVideoSVIPro (#318) termina la storia e consegna i fotogrammi a KSamplerAdvanced (#316, #313) per il perfezionamento. Dopo la decodifica con VAEDecode (#308), i fotogrammi vengono aggiunti con ImageBatchExtendWithOverlap (#317). VHS_VideoCombine (#319) produce il MP4 finale unito; regola il suo frame_rate e filename_prefix per adattarlo alla consegna.
Nodi chiave nel flusso di lavoro di Comfyui Stable Video Infinity
WanImageToVideoSVIPro (#134)
Questo nodo converte la latenza ancorata e la tua istruzione in latenze di movimento e può accettare prev_samples per continuare da un passaggio precedente. Usa length per definire quanti fotogrammi genera un passaggio e motion_latent_count per controllare quanta nuova energia di movimento viene introdotta. Collegare i passaggi alimentando prev_samples è ciò che consente a Stable Video Infinity di costruire lunghe sequenze senza scatti.
KSamplerAdvanced (#276)
Ogni passaggio abbina un campionatore HighNoise con un campionatore LowNoise per prima esplorare e poi consolidare i dettagli. Il flusso di lavoro espone steps e un controllo di divisione secondaria in modo da poter decidere come il budget di passaggio viene diviso tra i due. Mantieni la divisione coerente tra i passaggi per evitare sfarfallio nei passaggi.
ImageBatchExtendWithOverlap (#168)
Questa utility sfuma un piccolo numero di fotogrammi di coda dal passaggio precedente con la testa del nuovo. Regola overlap e mantieni la modalità su una sfumatura liscia per nascondere le cuciture mentre preservi la direzione del movimento. È la chiave per far sembrare i segmenti di Stable Video Infinity come un'unica ripresa continua.
VHS_VideoCombine (#319)
Assembla i fotogrammi decodificati in MP4 sia per le anteprime che per il rendering finale. Regola frame_rate, format, e crf per il tuo obiettivo di consegna e dimensione del file. Usa valori distinti di filename_prefix per mantenere separate le anteprime dall'output finale.
LoraLoaderModelOnly (#141, #142)
Applica le varianti Stable Video Infinity 2.0 LoRA alla coppia Wan 2.2 UNet. Il controllo strength_model ti consente di regolare finemente quanto fortemente il LoRA guida movimento e coerenza. Mantieni allineati i rami HIGH e LOW in modo che entrambi i campionatori interpretino le istruzioni in modo simile.
Extra opzionali
- Mantieni costanti i descrittori del soggetto in tutte le cinque istruzioni e varia solo i verbi o le indicazioni della telecamera per preservare l'identità.
- Se il movimento sembra troppo timido, aumenta leggermente
motion_latent_countnel passaggio successivo anziché riscrivere drasticamente le istruzioni. - Se i dettagli oscillano tra i passaggi, riduci la quota di
stepsHighNoise o abbassa uniformemente la forza del LoRA su entrambi i rami. - Usa una breve sovrapposizione per azioni veloci e una sovrapposizione più lunga per scene lente e sottili per bilanciare nascondimento delle cuciture e tempo di esecuzione.
- Per un taglio rapido, rendi solo le anteprime dei Passaggi 1 e 3 per convalidare identità e movimento prima di impegnarti nella corsa completa.
Riconoscimenti
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo Kijai per Stable-Video-Infinity v2.0 (SVI 2.0) per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository linkati di seguito.
Risorse
- Kijai/Stable-Video-Infinity v2.0 (SVI 2.0)
- Hugging Face: SVI 2.0 Source
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.
