PAN2 ComfyUI Workflow: Testo o immagine a video con un Prompt Writer locale#
Questo PAN2 ComfyUI Workflow trasforma un'idea di scena breve o un'immagine del primo fotogramma in un video coerente. Esegue il modello del mondo PAN 2 per la generazione e aggiunge un Prompt Writer locale che espande un concetto breve in una didascalia temporizzata che copre soggetti, azioni e movimenti di camera.
Il flusso di lavoro è progettato per i creatori che desiderano movimento affidabile, illuminazione coerente e geometria stabile senza dover scrivere a mano prompt lunghi. Sia testo-a-video che immagine-a-video vivono sulla stessa tela, condividono un unico set di controlli di risoluzione e durata, ed esportano direttamente in MP4.
Modelli chiave nel Comfyui PAN2 ComfyUI Workflow#
- IFM PAN 2 world model. Il generatore principale che prevede video temporalmente coerenti da testo o condizionamento immagine, concentrandosi sulla modellazione stabile del mondo e sul movimento della camera. Fonte: IFM/PAN2.
- Pesi PAN 2 per ComfyUI. Un packaging mantenuto dei pesi PAN2 compatibile con i loader e i sampler ComfyUI, permettendo un'installazione rapida su questo grafico. Fonte: Comfy-Org/PAN2.
- VAE video latente in stile Hunyuan. Un VAE video che codifica e decodifica i fotogrammi in uno spazio latente compatto utilizzato dalla pipeline video, migliorando velocità e uso della memoria per clip di più secondi. Background: Tencent/HunyuanVideo.
- Encoder di testo compatibile PAN2. Un encoder della famiglia Qwen confezionato con i pesi PAN2 che trasforma la didascalia temporizzata del Prompt Writer in condizionamento positivo e negativo per il sampler.
Come usare Comfyui PAN2 ComfyUI Workflow#
A colpo d'occhio, il grafico offre due percorsi paralleli che si uniscono prima del campionamento. Scegli Text2Video o Image2Video, scrivi una breve idea, imposta risoluzione e durata una volta, quindi lascia che il Prompt Writer produca un condizionamento strutturato per PAN2. Il campionatore finale rende fotogrammi latenti che vengono decodificati e combinati in un MP4.
Gruppo Image2Video#
Usa questo percorso quando vuoi ancorare l'aspetto con un fermo immagine di riferimento. Carica un primo fotogramma in LoadImage (#32); viene ridimensionato da ResizeImageMaskNode (#33) secondo ResolutionSelector (#21), quindi convertito in un latente temporale in Wan22ImageToVideoLatent (#31). La durata viene dal controllo secondi condiviso ed è tradotta automaticamente in conteggio dei fotogrammi. Questo latente poi fluisce nel punto di unione affinché il resto del PAN2 ComfyUI Workflow possa campionare, decodificare ed esportare il video.
Gruppo Text2Video#
Scegli questo quando vuoi generare l'intera scena dal testo. EmptyHunyuanLatentVideo (#14) crea un latente temporale pulito basato sugli stessi controlli di risoluzione e durata di Image2Video. Il movimento e il ritmo della scena provengono dalla didascalia del Prompt Writer, quindi puoi creare movimenti di camera e azioni dei soggetti senza inquadrare manualmente. Questo percorso alimenta lo stesso punto di unione utilizzato da Image2Video e continua attraverso il campionamento e l'esportazione.
Nucleo condiviso: Prompt Writer e condizionamento#
Scrivi un'idea di scena da una a tre frasi in PAN2PromptWriter (#22). Il nodo la espande in una didascalia temporizzata e una libreria negativa di accompagnamento che sopprime artefatti comuni; entrambi gli output sono visualizzati in PreviewAny (#9) e PreviewAny (#24) in modo da poter copiare o affinare il testo secondo necessità. CLIPTextEncode (#10) e CLIPTextEncode (#11) trasformano queste stringhe in condizionamento positivo e negativo per il modello. Puoi mantenere il prompt minimo perché lo scrittore aggiunge automaticamente azioni soggetto, movimento della camera e segnali di continuità.
Campionamento, decodifica ed esportazione#
Il percorso del modello carica PAN2 e configura un'attenzione efficiente, quindi KSampler (#7) genera un video latente utilizzando il tuo condizionamento e il percorso latente attivo. VAEDecode (#12) converte il latente in fotogrammi. VHS_VideoCombine (#13) assembla quei fotogrammi in un MP4 con il tuo frame rate e qualità scelti, incorporando metadati del workflow per la riproducibilità.
Nodi chiave nel Comfyui PAN2 ComfyUI Workflow#
PAN2PromptWriter (#22)#
Espande una breve descrizione naturale in una didascalia temporizzata su misura per il video, più un prompt negativo robusto. Regola prompt per descrivere soggetto, ambiente e intento della camera in linguaggio semplice; usa duration per mirare alla lunghezza complessiva della clip. Se desideri più o meno variazioni creative tra gli scatti, modifica temperature o top_p. Per battute narrative ripetibili, mantieni seed fisso.
ResolutionSelector (#21)#
Imposta la larghezza e l'altezza di lavoro per entrambi i percorsi da un rapporto d'aspetto e un obiettivo megapixel. Scegli prima il tuo rapporto, quindi aumenta o diminuisci il conteggio dei pixel per bilanciare qualità e velocità. Mantenere Image2Video e Text2Video sullo stesso selettore previene scale non corrispondenti quando si cambiano modalità.
Wan22ImageToVideoLatent (#31)#
Converte la prima immagine in una sequenza latente temporalmente coerente per il percorso Image2Video. Fornisci un fotogramma nitido e ben illuminato che già corrisponde al rapporto previsto per evitare sorprese di ritaglio. La lunghezza è fornita automaticamente; puoi rivederla cambiando il controllo secondi condiviso.
EmptyHunyuanLatentVideo (#14)#
Crea un latente temporale vuoto per il percorso Text2Video utilizzando la risoluzione e la durata selezionate. Questo è il modo più pulito per lasciare che il modello inventi il movimento puramente dalla guida del Prompt Writer. Per clip più lunghe, considera di generare diversi scatti più brevi per minimizzare la deriva, quindi montali insieme.
Any Switch (rgthree) (#35)#
Sceglie quale percorso latente guida la generazione. Seleziona il latente Image2Video quando vuoi una continuità visiva stretta dal fotogramma di riferimento, o passa al latente vuoto per un video completamente basato su testo. È sicuro alternare tra le esecuzioni senza ricollegare il grafico.
KSampler (#7)#
Esegue i passaggi principali di denoising nel tempo utilizzando il modello unito e il tuo condizionamento. Regola steps per qualità vs. velocità, cfg per aderenza al prompt vs. naturalismo, e denoise quando si rifinisce da un latente Image2Video. Mantieni il scheduler e sampler_name accoppiati in modo sensato; piccole modifiche qui possono alterare notevolmente la fluidità del movimento.
VHS_VideoCombine (#13)#
Scrive l'MP4 finale dai fotogrammi decodificati. Imposta frame_rate per corrispondere alla tua consegna target e regola crf per scambiare dimensione del file con qualità. Se intendi modificare in seguito, preferisci una leggera impostazione di qualità più alta.
Extra opzionali#
- Mantieni le idee di scena brevi. Una o due frasi con soggetto, ambientazione e intento della camera chiari producono le didascalie del Prompt Writer più affidabili.
- Per Image2Video, fornisci un primo fotogramma che già corrisponde al tuo rapporto d'aspetto e illuminazione target; evita grandi upscaling o ritagli prima dell'importazione.
- Inizia con clip brevi (6 a 12 s). Durate più lunghe amplificano la deriva e richiedono una maggiore attenzione ai prompt.
- Usa la libreria negativa fornita così com'è, poi aggiungi solo i pochi divieti che contano per il tuo soggetto; negativi troppo lunghi possono sopprimere dettagli desiderati.
- Fissa il
seeddel sampler per iterare sulla formulazione, poi variarlo per esplorare alternative una volta che composizione e tempismo sembrano giusti. - Se il movimento sembra troppo veloce o lento, regola il controllo secondi piuttosto che la formulazione della camera prima; le modifiche al tempismo si propagano in modo coerente attraverso la didascalia.
Link e riferimenti
- PAN 2 world model: IFM/PAN2
- Pesi PAN 2 per ComfyUI: Comfy-Org/PAN2
- Nodo Prompt Writer: benjiyaya/ComfyUI-PAN2-PromptWriter
- Background video latente: Tencent/HunyuanVideo
Ringraziamenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo calorosamente IFM per il modello PAN2, Comfy-Org per i pesi PAN2, e benjiyaya e AI Future Tech per il Prompt Writer PAN2 e le guide per i creatori e i flussi di lavoro campione per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- Docs / Release Notes: Creator walkthrough and sample workflows
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.


