LTX 2.3 Sulphur 2 Prompt Relay Workflow | Creatore di Video Cinematografici

Workflow LTX 2.3 Sulphur 2 Prompt Relay: sequenziamento micro‑azione da immagine a video in ComfyUI#

Questo workflow di ComfyUI trasforma un'unica immagine di riferimento più un prompt di movimento segmentato in un breve clip cinematografico. Combina la generazione video distillata LTX‑2.3 con un Sulphur 2 motion LoRA e la codifica intelligente Prompt Relay, così puoi descrivere micro‑azioni come una sequenza invece di fare affidamento su un unico prompt piatto. Il grafo è preconfigurato per latenti audio sincronizzati, un esempio validato di immagine‑a‑video in strada piovosa e input/output normalizzati per la riproduzione cloud diretta.

Usa questo workflow LTX 2.3 Sulphur 2 Prompt Relay quando desideri un ancoraggio visivo stretto a un fotogramma di riferimento e un movimento controllato che si svolge battuta per battuta. Registi, editor e designer di movimento possono disporre "battute" come "cammina sotto la pioggia | spazzola i capelli | si gira e saluta | esce" e ottenere movimento e inquadratura coerenti in tutto il colpo.

Modelli chiave nel workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• Modello di base audio-visivo LTX‑2.3 (distillato, solo trasformatore). Genera video e token audio sincronizzati in un passaggio di diffusione; questo workflow utilizza la variante distillata 22B confezionata per ComfyUI. Pesi: Lightricks/LTX‑2.3 e nodi/utilità: Lightricks/ComfyUI‑LTXVideo. Vedi anche il background di ricerca in LTX‑Video e il paper LTX‑Video: Realtime Video Latent Diffusion.
• Coppia VAE video LTX‑Video (video VAE + audio VAE). Codifica/decodifica fotogrammi video latenti e il flusso audio utilizzato per l'allineamento temporale. I file VAE preconfigurati adatti per ComfyUI sono disponibili nei pacchetti LTX‑2.3, ad esempio Kijai/LTX2.3_comfy e il repository ufficiale ComfyUI‑LTXVideo.
• Codificatore di testo basato su Gemma e proiezione di testo LTX. Fornisce una comprensione del prompt a lungo contesto per LTX‑2.3 tramite codificatori in stile CLIP e un livello di proiezione specifico per modello incluso nell'integrazione LTX. Vedi codificatore e configurazioni in ComfyUI‑LTXVideo.
• Sulphur 2 motion LoRA (opzionale). Una fine regolazione caricata come LoRA per influenzare il ritmo del movimento e la continuità per immagine-a-video. Si abbina bene con Prompt Relay quando si desidera un controllo esplicito battuta-per-battuta.

Come usare il workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

Il workflow segue un percorso chiaro dall'immagine di riferimento all'impostazione latente, al modello e LoRA, alla sequenza di prompt, al campionamento, quindi alla decodifica ed esportazione. Sostituisci gli input demo con i tuoi e concentrati sui pochi controlli evidenziati di seguito.

• Immagine di riferimento e dimensionamento
  • LoadImage (#620) ti permette di scegliere l'immagine di ancoraggio. Il nodo successivo, ImageScaleByAspectRatio V2 (#621), lo adatta alla tela di lavoro mantenendo stabile la composizione. LTXVPreprocess (#586) applica un pre-processing LTX‑friendly in modo che il primo fotogramma blocchi il soggetto, l'illuminazione e la palette. Usa un riferimento pulito e ben illuminato che corrisponde già alla tua inquadratura desiderata.
• Impostazione latente (video + audio)
  • EmptyLTXVLatentVideo (#577) definisce la dimensione della tela e la lunghezza del colpo. Get_video_vae (#583) e LTXVImgToVideoInplaceKJ (#617) iniettano l'immagine statica di riferimento direttamente nel video latente in modo che l'aspetto rimanga coerente dal primo fotogramma. In parallelo, Get_audio_vae (#576) con LTXVEmptyLatentAudio (#547) crea un latente audio sincronizzato (silenzioso per impostazione predefinita) per mantenere l'allineamento temporale. LTXVConcatAVLatent (#548) unisce entrambi i flussi per una diffusione unificata.
• Caricamento del modello e controllo del movimento
  • UNETLoader (#632) carica il trasformatore LTX‑2.3 distillato. Lo stack LoRA aggiunge comportamento: LoraLoaderModelOnly (#630) applica un helper LTX distillato, LoraLoaderModelOnly (#628) carica il Sulphur 2 motion LoRA, e LoraLoaderModelOnly (#606) può aggiungere uno stabilizzatore I2V. PathchSageAttentionKJ (#542) corregge l'attenzione per prestazioni/coerenza. Insieme, questi nodi determinano quanto fortemente i tuoi prompt guidano il movimento rispetto a preservare il riferimento.
• Sequenziamento del prompt con Prompt Relay
  • DualCLIPLoader (#416) carica il codificatore di testo. PromptRelaySmartEncode (#610) accetta un global_prompt per dettagli persistenti e un smart_prompt per la sequenza d'azione. Usa segmenti separati da pipe come "donna cammina sotto la pioggia | spazzola i capelli | si gira e saluta | cammina in lontananza," o usa intestazioni di blocco come "Scena 1: … Scena 2: …" per pesare il tempo sullo schermo. Il nodo distribuisce automaticamente il tempo tra i segmenti, così puoi scrivere battute invece di contare i fotogrammi. Vedi il riferimento sintattico in ComfyUI‑PromptRelay.
• Condizionamento e frame rate
  • LTXVConditioning (#164) riceve l'output di Prompt Relay per una guida positiva e una base negativa minima (ConditioningZeroOut, #420). Imposta anche il frame rate target per il colpo, che i nodi a valle usano per mantenere il timing coerente con il peso dei segmenti.
• Campionatore e anteprima
  • BasicScheduler (#514) modella il programma del rumore; KSamplerSelect (#154) sceglie il campionatore. VisualizeSigmasKJ (#358) visualizza il programma in modo da poter vedere come progredirà la curva di denoising. LTX2SamplingPreviewOverride (#588) abilita anteprime responsive durante la diffusione. SamplerCustom (#561) esegue la diffusione audio‑video unificata utilizzando il tuo latente AV, i prompt, i LoRA e il programma.
• Decodifica ed esportazione
  • LTXVSeparateAVLatent (#549) divide il latente AV finale. VAEDecode (#471) produce fotogrammi; LTXVAudioVAEDecode (#550) decodifica il latente audio. VHS_VideoCombine (#604) multiplexer i fotogrammi e l'audio in un MP4 H.264 con formattazione standard yuv420p, pronto per la riproduzione e la modifica.

Nodi chiave nel workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• PromptRelaySmartEncode (#610)
  • Scopo: Traduce il tuo "smart prompt" battuta-per-battuta in un condizionamento di testo correttamente temporizzato per l'intero clip. Usa global_prompt per dettagli immutabili (stile, soggetto, illuminazione) e smart_prompt per la sequenza d'azione. Sono supportati due stili di scrittura: segmenti in linea separati da | con tag proporzionali opzionali come [0-50], o intestazioni di blocco come "Scena 1:" che pesano i segmenti per intervallo. Mantieni una sintassi per prompt per evitare ambiguità. Riferimento: ComfyUI‑PromptRelay.
• LTXVImgToVideoInplaceKJ (#617)
  • Scopo: Blocca l'aspetto del primo fotogramma e lo propaga delicatamente attraverso il movimento. Se l'identità o il guardaroba si allontanano, aumenta la sua aderenza all'immagine; se il movimento sembra limitato, abbassalo per consentire più dinamiche. Bilancia questo con la forza del tuo Sulphur 2 LoRA in modo che il riferimento rimanga stabile senza congelare eccessivamente il movimento.
• LoraLoaderModelOnly (#628) — Sulphur 2 motion LoRA
  • Scopo: Inietta la fine regolazione Sulphur 2 per influenzare la continuità del movimento, la fluidità della traiettoria e la messa in scena dell'azione. Aumenta strength_model per enfatizzare il movimento guidato attraverso i segmenti; riducilo se vedi un eccessivo vincolo o schemi ripetuti. Regola in tandem con la forza ImgToVideoInplace per mantenere la fedeltà del soggetto e l'energia del movimento in armonia.
• LTXVConditioning (#164)
  • Scopo: Consolida il condizionamento positivo/negativo per LTX‑2.3 e imposta il frame rate del clip. Se allunghi il colpo, rivedi i pesi dei segmenti di Prompt Relay in modo che il timing relativo corrisponda ancora alle battute desiderate.
• SamplerCustom (#561)
  • Scopo: Esegue il passaggio di denoising utilizzando il campionatore e il programma scelti. Se il movimento è instabile, prova un programma leggermente più fluido o un campionatore noto per la stabilità temporale; se i prompt sono sottoguidati, aumenta modestamente la guida mentre controlli l'eccessiva saturazione. Usa VisualizeSigmasKJ per controllare la forma del programma prima di esecuzioni lunghe.

Extra opzionali#

• Scrivere micro-azioni efficaci con Prompt Relay
  • Stile in linea: "cammina sotto la pioggia | spazzola i capelli | si gira e saluta | esce." Per dare più tempo a un'azione, aggiungi un tag di peso come "[0-200]" vs "[200-260]"; conta solo l'intervallo.
  • Stile a blocchi: Usa intestazioni come "Scena 1:" e "Scena 2-4:" su linee proprie. L'intervallo nell'intestazione imposta la durata relativa, e le intestazioni vengono rimosse prima della tokenizzazione.
• Risoluzione rapida dei problemi
  • Deriva dell'identità: aumenta l'aderenza all'immagine in LTXVImgToVideoInplaceKJ o riduci strength_model di Sulphur 2.
  • Movimento troppo lento/veloce: riequilibra gli intervalli dei segmenti nel prompt intelligente in modo che le battute importanti ottengano più o meno tempo.
  • Sfarfallio o artefatti: prova un campionatore e un programma più stabili, o aumenta leggermente la guida; fai attenzione all'eccessiva nitidezza.
• Riferimenti utili
  • Pesi e documenti del modello LTX‑2.3: Hugging Face: Lightricks/LTX‑2.3
  • Nodi ComfyUI e flussi di esempio: Lightricks/ComfyUI‑LTXVideo
  • Sintassi e esempi di Prompt Relay: kijai/ComfyUI‑PromptRelay
  • Aiuti compatibili con LTX utilizzati in questo grafo: kijai/ComfyUI‑KJNodes

Riconoscimenti#

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo Lightricks per LTX-Video, Kijai per il nodo ComfyUI-PromptRelay e gli aiuti ComfyUI-KJNodes, e RunningHub e RunComfy per i riferimenti di workflow e la configurazione di Cloud Save per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• RunningHub/Workflow reference
  • Documenti / Note di rilascio: Riferimento workflow RunningHub
• RunComfy/Cloud Save setup
  • Documenti / Note di rilascio: Configurazione Cloud Save di RunComfy
• Lightricks/LTX-Video
  • GitHub: Lightricks/LTX-Video
  • Hugging Face: Lightricks/LTX-Video-0.9.7-dev
  • arXiv: arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub: kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub: kijai/ComfyUI-KJNodes

Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e ai termini forniti dai loro autori e manutentori.