Wan 2.2 Prompt Relay | Creatore di Video a Controllo di Scena

Wan 2.2 Prompt Relay: immagine a video controllato da timeline in ComfyUI#

Questo workflow porta la direzione delle scene a livello di segmento in Wan 2.2 immagine-a-video. Utilizza Wan 2.2 per la generazione e il metodo Prompt Relay per instradare diversi prompt su una singola timeline, in modo da poter trasferire il controllo da una scena all'altra senza interrompere il rendering. Il risultato è un video multi-evento fluido in cui ogni segmento segue il proprio prompt mentre l'identità e lo stile degli oggetti restano coerenti.

Wan 2.2 Prompt Relay è una tecnica di instradamento al momento dell'inferenza, non un modello autonomo o LoRA. Il grafo è progettato per il cloud RunComfy e include una catena di campionatori a due stadi più un'interpolazione di frame RIFE opzionale. Usalo quando vuoi un controllo stretto delle scene temporali con un setup minimo: fornisci un'immagine iniziale, definisci un prompt globale e prompt per segmento, imposta la lunghezza del video e rendi.

Modelli chiave nel workflow Comfyui Wan 2.2 Prompt Relay#

• Modello di diffusione immagine-a-video Wan 2.2 14B. Le varianti ad alto rumore e basso rumore sono combinate per bilanciare movimento e dettaglio in un passaggio a due stadi. I modelli sono disponibili nel set ripacchettato Comfy-Org su Hugging Face. Comfy‑Org/Wan_2.2_ComfyUI_Repackaged
• Codificatore di testo UMT5-XXL per Wan. Questo codificatore traduce i tuoi prompt globali e locali in condizionamenti utilizzati da Wan 2.2. Comfy‑Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. Utilizzato per decodificare i latenti in frame dopo il campionamento. Comfy‑Org/Wan_2.2_ComfyUI_Repackaged/vae
• Modello di interpolazione di frame RIFE (opzionale). Aumenta la fluidità temporale o il frame rate target dopo la generazione. hzwer/Practical‑RIFE

Come usare il workflow Comfyui Wan 2.2 Prompt Relay#

Il workflow instrada i prompt di testo nel tempo, genera un video latente da un'immagine iniziale, quindi affina e decodifica i frame prima dell'interpolazione e codifica opzionali. È organizzato in pochi gruppi chiari che cooperano per produrre il MP4 finale.

• Step1 - Carica modelli Questa sezione inizializza Wan 2.2, il codificatore di testo e la VAE. I modelli Wan ad alto rumore e basso rumore sono entrambi preparati in modo che la pipeline possa prima stabilire il movimento, quindi migliorare i dettagli. Se è presente un LoRA, viene applicato al modello di base prima del campionamento. Non c'è bisogno di cambiare nulla qui a meno che tu non voglia scambiare i checkpoint.
• Step2 - Carica start_image Importa un'immagine di riferimento singola che definisce la composizione, l'identità del soggetto e l'illuminazione per il primo frame usando LoadImage (#85). L'immagine iniziale ancora l'aspetto del video e aiuta a mantenere la continuità tra i segmenti. Usa un riferimento pulito, on-model per i migliori risultati. Sostituiscila ogni volta che vuoi un soggetto o un layout diverso.
• Step3 - Dimensioni e lunghezza video Imposta la risoluzione target e il conteggio totale dei frame nel video latente inizializzatore (EmptyHunyuanLatentVideo (#121)) e mantienilo coerente con il tuo piano di segmentazione. La somma delle lunghezze dei tuoi segmenti dovrebbe essere uguale ai frame totali. Abbina il frame rate che intendi esportare con le impostazioni di Prompt Relay e il video writer più avanti nel grafo.
• Lightx2v + i2v Il percorso di rendering principale utilizza una catena di campionatori a due stadi. Il primo stadio con il modello ad alto rumore stabilisce movimento e transizioni di scena. Il secondo stadio con il modello a basso rumore affina i dettagli e le texture mentre preserva il percorso del movimento del primo stadio. Questa combinazione è ciò che rende Wan 2.2 Prompt Relay sia controllabile che stabile per i passaggi da scena a scena.
• Instradamento dei prompt Inserisci un forte global_prompt che si applica all'intero clip in PromptRelayEncodeTimeline (#117). Quindi definisci i prompt dei segmenti come dati JSON della timeline o come elenco separato da pipe. Prompt Relay codifica il condizionamento per frame che cambia solo ai confini dei segmenti, agevolando opzionalmente le transizioni per trasferimenti naturali. Il nodo alimenta il condizionamento di Wan e garantisce che ogni segmento segua la sua direzione prevista.
• Campionamento e decodifica La pipeline passa attraverso WanImageToVideo (#79), quindi un KSamplerAdvanced (#73) grossolano seguito da un KSamplerAdvanced (#83) fine. I frame vengono decodificati con VAEDecode (#74) e scritti su video con VHS_VideoCombine (#108). Facoltativamente, usa RIFE VFI (#131) prima di un secondo VHS_VideoCombine (#132) se vuoi un movimento più fluido o un frame rate di output più alto.

Nodi chiave nel workflow Comfyui Wan 2.2 Prompt Relay#

• PromptRelayEncodeTimeline (#117) Centrale per Wan 2.2 Prompt Relay, questo nodo trasforma il tuo global_prompt e i prompt per segmento in un flusso di condizionamento positivo consapevole del tempo. Puoi creare segmenti nel timeline_data JSON o in local_prompts usando una sintassi a pipe. Usa max_frames per abbinare la lunghezza del video, scegli time_units che si allineano con il tuo piano e regola epsilon per ammorbidire o indurire i passaggi di prompt tra i segmenti. Mantieni fps coerente con il tuo export finale.
• WanImageToVideo (#79) Converte l'immagine iniziale più il condizionamento in una timeline latente iniziale per Wan 2.2. Collega il tuo riferimento iniziale a start_image e mantieni larghezza, altezza e lunghezza allineate con l'inizializzatore latente. Il condizionamento negativo in questo grafo è intenzionalmente azzerato per ridurre il sovra-vincolo e mantenere un'identità stabile; introduci un prompt negativo esplicito solo se vedi artefatti ricorrenti che vuoi sopprimere.
• KSamplerAdvanced (#73) Primo passaggio del campionatore che enfatizza movimento e layout. Funziona con il modello Wan ad alto rumore configurato tramite ModelSamplingSD3 per esplorare la traiettoria rispettando il condizionamento di Prompt Relay. Regola steps e cfg per la forza della guida e mantieni un noise_seed fisso quando vuoi un movimento riproducibile attraverso le iterazioni di modifica.
• KSamplerAdvanced (#83) Secondo passaggio del campionatore che migliora i dettagli e la coerenza temporale usando il modello Wan a basso rumore. Affina texture, bordi e micro-movimenti senza combattere la traiettoria grossolana stabilita dal primo passaggio. Se aumenti la fedeltà qui, considera di bilanciare la guida per evitare un'eccessiva nitidezza che può destabilizzare il movimento.
• EmptyHunyuanLatentVideo (#121) Crea il video latente vuoto che definisce la risoluzione spaziale, il budget dei frame e la dimensione del batch. Imposta i frame totali sulla somma di tutte le lunghezze dei segmenti in modo che Prompt Relay possa mappare i prompt in modo pulito. Cambiare la risoluzione influisce sulla memoria e sull'aspetto della cadenza del movimento, quindi scala con attenzione.
• VHS_VideoCombine (#108, #132) Codifica i frame in MP4. Abbina frame_rate al fps di Prompt Relay quando non usi l'interpolazione. Se usi RIFE VFI, imposta il frame rate del writer al nuovo fps effettivo. Regola crf per il compromesso tra dimensione e qualità.

Extra opzionali#

• Scrivi il global_prompt per bloccare il tono, il linguaggio della telecamera e i tag di qualità, quindi mantieni i prompt dei segmenti brevi e focalizzati sull'azione.
• Assicurati che la somma delle lunghezze dei segmenti sia uguale alla lunghezza del video per evitare disallineamenti dei prompt.
• Mantieni i seed fissi mentre iteri sui prompt, quindi randomizza i seed solo quando vuoi una nuova interpretazione.
• Usa immagini iniziali più alte o più larghe per suggerire una preferenza di aspetto, ma imposta sempre larghezza e altezza esplicite per la prevedibilità.
• Se vedi una deriva dell'identità tra i segmenti, rafforza il global_prompt con descrittori di oggetti salienti e semplifica i prompt locali.

Risorse per esplorare i componenti utilizzati qui:

• Nodo Prompt Relay per ComfyUI di kijai GitHub
• Modelli Wan 2.2 ripacchettati Hugging Face
• Codificatore di testo UMT5-XXL ripacchettato per Wan 2.x Hugging Face

Riconoscimenti#

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo kijai per il nodo ComfyUI-PromptRelay, gordonchen19 per il progetto Prompt-Relay e Comfy-Org per i modelli Wan_2.2_ComfyUI_Repackaged per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• YouTube/Workflow @Ai Verse source tutorial
  • Documenti / Note di Rilascio: @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • Documenti / Note di Rilascio: AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub: gordonchen19/Prompt-Relay
  • Documenti / Note di Rilascio: Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.