Pipeline di Film 3D | Creatore di Video Cinematografici

Pipeline di Film 3D per ComfyUI#

Il Pipeline di Film 3D è un workflow di produzione‑focalizzato ComfyUI di Mickmumpitz.ai che trasforma passaggi di scene 3D strutturate in video cinematografici AI. Combina layout di profondità, rendering in argilla, movimenti della telecamera e maschere bocca opzionali con il modello video LTX‑2.3 per preservare il layout spaziale, l'ottica e la continuità mentre si guida il movimento, l'aspetto e il timing.

Progettato per registi, animatori e narratori visivi, il Pipeline di Film 3D semplifica la produzione multi‑shot. Ottieni controlli di posizionamento dei fotogrammi, attenzione avanzata per guida di oggetti e regioni, sincronizzazione labiale opzionale da una traccia vocale e una fase di immagine ausiliaria per una rapida previz di aspetto dei fotogrammi, tutto all'interno di ComfyUI.

Modelli chiave nel workflow Comfyui 3D Movie Pipeline#

Stack video principale

• LTX‑2.3 (22B) di Lightricks. Il modello principale di generazione video che segue testo, segnali di controllo e guide 3D per sintetizzare filmati temporalmente coerenti. Model card
• LTX Audio VAE (incluso con LTX‑2.3). Codifica e decodifica audio come latente audio in modo che il modello possa sincronizzare forme della bocca e movimento al discorso per la sincronizzazione labiale. Model bundle
• Gemma 3 12B Instruct text encoder per LTX‑2.x. Fornisce l'embedding linguistico utilizzato da LTX‑2.3 per i prompt. Preconfezionato per ComfyUI. Files
• LTX‑2.3 Distilled LoRA 384‑1.1. Accelera il campionamento a pochi passi e stabilizza gli aspetti quando usato con il checkpoint dev. LoRA
• LTX‑2 19B IC‑LoRA Detailer. Migliora i dettagli locali e la fedeltà dei bordi nel video generato. LoRA
• LTX‑2.3 OmniNFT RL LoRA. Aiuto per il rinforzo dello stile e la coerenza per lo stack video. LoRA
• IC‑LoRA Union‑Control (ref 0.5). Una LoRA di allineamento di riferimento usata per mantenere il colore e la struttura fedeli alle guide; la build 19B è spesso preferita per LTX‑2.3. LoRA family

Stack immagine previz opzionale

• FLUX.2 Klein 9B (FP8). Generatore di immagini veloce usato qui per trasformare Canny + Depth in un frame stilizzato per look‑dev. Model card
• Qwen 3 8B text encoder per FLUX‑2. Files
• Flux‑2 VAE. VAE di immagine abbinato a FLUX‑2. Files
• Flux2‑Klein‑9B‑Consistency‑V2 LoRA. Migliora la coerenza di colore e contenuto nei frame previz. LoRA

Implementazione di riferimento dei nodi LTX per ComfyUI: ComfyUI‑LTXVideo

Come utilizzare il workflow Comfyui 3D Movie Pipeline#

Il 3D Movie Pipeline fonde tre input dal tuo DCC o strumento di layout — un filmato di profondità, un filmato di argilla/layout e un filmato di maschera bocca opzionale — poi esegue LTX‑2.3 con attenzione avanzata, frame di riferimento e sincronizzazione labiale opzionale per renderizzare il fotogramma finale. Un ramo immagine previz con FLUX.2 ti aiuta a regolare l'aspetto prima di impegnarti a un passaggio completo.

Risoluzione e configurazione del fotogramma#

Usa ResolutionPicker (#6082) per impostare la larghezza e l'altezza di lavoro. La pipeline si aspetta dimensioni divisibili per 64 per un tiling efficiente e un'attenzione stabile. Mantieni lo stesso aspetto su tutti gli input in modo che il 3D Movie Pipeline possa allineare i passaggi senza ritagli o bande nere indesiderate. Se vuoi test rapidi, abbassa il conteggio dei fotogrammi usando FRAME LOAD CAP (#6214).

Fotogrammi di input (Inizio, Medio, Fine)#

Carica immagini di riferimento in START (LoadImage (#6108)), MIDDLE (#6139) e END (#6102). Il workflow legge la loro dimensione con GetImageSize+ (#6071) e ridimensiona le guide di conseguenza. Questi fotogrammi possono essere posizionati a indici specifici nella timeline per bloccare pose chiave, impostare i battiti della storia o forzare una transizione di aspetto. Il 3D Movie Pipeline usa questi riferimenti come ancore mentre interpola movimento e continuità tra di loro.

Passaggi di rendering: Profondità, Argilla/Layout, Maschera Bocca#

• DEPTH (VHS_LoadVideo (#5893)) porta nel tuo filmato di profondità dall'app 3D. Questo guida la prospettiva, l'occlusione e il posizionamento volumetrico in modo che LTX‑2.3 rispetti i movimenti della telecamera e il blocking.
• CLAY / LAYOUT (VHS_LoadVideo (#6094)) fornisce un rendering a ombreggiatura piatta o grigia per guidare le silhouette, il design del set e gli indizi di illuminazione. Un passaggio di bordo Canny (CannyEdgePreprocessor (#6095)) è derivato da esso per affinare la guida strutturale.
• MOUTH MASK (VHS_LoadVideo (#6059)) è opzionale e segna la regione della bocca per fotogramma. Il 3D Movie Pipeline lo usa come maschera di attenzione in modo che il movimento delle labbra possa essere raffinato senza disturbare il resto del viso.

Regolazione della maschera bocca#

Se fornisci un video di maschera, ImageToMask (#6060) converte i fotogrammi in maschere e GrowMaskWithBlur (#6197) espande e ammorbidisce i bordi per un ritocco più indulgente. USE MASK VIDEO? (#6244) ti permette di passare tra una maschera solida generata e il video di maschera in arrivo. Questo mantiene le modifiche di sincronizzazione labiale strettamente circoscritte e riduce gli artefatti al di fuori dell'area parlante.

Assemblaggio video di guida#

I flussi di profondità e layout sono normalizzati con ImageResizeKJv2 (#6097, #6099, #6103). BatchColorCorrector (#6100) bilancia tonalità e colore in modo che il modello veda un'esposizione e una palette coerenti lungo la sequenza. Il 3D Movie Pipeline quindi fonde il contorno Canny con il layout corretto usando ImageBlend (#6096) per formare un video di guida unificato che il generatore segue.

Voice over#

Aggiungi narrazione o dialogo usando LoadAudio (#5883). È instradato al modello tramite Set_VoiceOver (#6248) e Get_VoiceOver (#6249). Quando la sincronizzazione labiale è abilitata nel campionatore, il 3D Movie Pipeline usa questo audio per sincronizzare forme della bocca e micro‑movimento al contenuto parlato.

Generazione con LTX‑2.3#

Il nodo del campionatore LTX 2.3 (#6202) è il cuore del 3D Movie Pipeline. Riceve modello, codificatore di testo, VAE e audio VAE; il video di guida fuso; maschera di attenzione opzionale; e il tuo prompt da PROMPT (#6203). I toggle ti permettono di posizionare i fotogrammi Inizio/Medio/Fine in posizioni definite, fondere la loro influenza, abilitare o bypassare i segnali di controllo e attivare la sincronizzazione labiale. Il percorso di attenzione avanzata passa attraverso i nodi guida video LTX per pesare fotogrammi e regioni in modo che i soggetti importanti rimangano sul modello.

Output#

Il nodo scrive un filmato pronto per l'editing con SaveVideo (#6109). Per pipeline alternative o anteprime affiancate, il workflow include anche VHS_VideoCombine (#6057). Usa lo stesso frame rate in tutti i passaggi per mantenere audio, maschera e guida perfettamente allineati nel 3D Movie Pipeline.

Previzione immagine opzionale con FLUX.2#

Per un rapido look‑dev senza ri‑renderizzare un fotogramma completo, il ramo immagine carica Canny (CANNY (#7468)) e Profondità (DEPTH (#7469)) fermi, li fonde (ImageBlend (#7466)) e richiama FLUX.2 Klein 9B (SAMPLER (#7465)). La LoRA di coerenza aiuta a mantenere colori e dettagli fedeli alle tue guide. Usa SaveImage (#7444) per esportare frame previz che informano il tuo prompt e le scelte LoRA prima di eseguire il 3D Movie Pipeline completo.

Nodi chiave nel workflow Comfyui 3D Movie Pipeline#

LTX 2.3 (#6202)

• Ruolo: Generatore video principale che fonde testo, guide 3D, passaggi di controllo e audio nella sequenza finale.
• Cosa regolare: Attiva la sincronizzazione labiale quando fornisci audio; attiva o disattiva la guida in stile ControlNet e regola la forza complessiva; posiziona i fotogrammi START, MIDDLE e END e fonde la loro influenza per bloccare battiti importanti. Mantieni il frame rate coerente con i tuoi input per evitare derive temporali.

DEPTH (#5893)

• Ruolo: Carica il filmato di profondità che stabilisce la geometria della scena e il movimento della telecamera.
• Cosa regolare: Abbina la risoluzione a ResolutionPicker e mantieni la stessa lunghezza dei clip di layout e maschera. Usa FRAME LOAD CAP per iterazioni rapide durante il look‑dev.

CLAY / LAYOUT (#6094)

• Ruolo: Fornisce il layout o il rendering in argilla usato per estrarre bordi e guidare la composizione, l'intento dell'illuminazione e le silhouette.
• Cosa regolare: Allinea alla risoluzione del passaggio di profondità; se cambi la gradazione a monte, ri‑esegui BatchColorCorrector in modo che la guida rimanga coerente.

USE MASK VIDEO? (#6244)

• Ruolo: Passa tra una maschera bocca solida generata e il video di maschera in arrivo.
• Cosa regolare: Usa il video di maschera quando la sincronizzazione labiale richiede precisione per fotogramma; passa alla maschera solida quando hai solo bisogno di una regione protetta ampia.

LTXICLoRALoaderModelOnly (#6223)

• Ruolo: Carica l'unione‑controllo IC‑LoRA usato per l'allineamento di riferimento e la fedeltà colore/struttura.
• Cosa regolare: Scegli la variante che meglio si abbina a LTX‑2.3 nei tuoi test; molte produzioni preferiscono la build 19B per un'aderenza più stretta quando si esegue il 3D Movie Pipeline.

Extra opzionali#

• Mantieni tutti gli input della stessa durata e frame rate per mantenere la sincronizzazione nel 3D Movie Pipeline.
• La profondità dovrebbe essere pulita e temporalmente stabile. Se il tuo DCC esporta EXR o PNG a 16 bit, converti una volta in un formato mezzanino e riutilizzalo per tutte le iterazioni.
• I fotogrammi Inizio/Medio/Fine funzionano meglio quando mostrano pose o stati di illuminazione distinti e rilevanti per la storia; evita i quasi‑duplicati.
• Se la regione della bocca sfarfalla, espandi leggermente la maschera in GrowMaskWithBlur per includere labbra, denti e un sottile bordo di pelle.
• Per grandi inquadrature, itera con FRAME LOAD CAP e una risoluzione più piccola, quindi torna a piena risoluzione per i finali.
• Quando si passa dal checkpoint dev al checkpoint distillato, disabilita la LoRA distillata per evitare eccessive restrizioni.
• Usa il ramo previz FLUX.2 per testare palette e stile con le tue guide Canny e Depth effettive prima di eseguire il 3D Movie Pipeline completo.

Riconoscimenti#

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo MickMumpitz.ai per il 3D Movie Pipeline Workflow Source per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• MickMumpitz.ai/3D Movie Pipeline Workflow Source
  • Docs / Note di rilascio: 3D Movie Pipeline Workflow Source

Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.