LTX 2.3 IC-LoRA: Generazione video con tracciamento del movimento in ComfyUI#
Questo workflow porta il sistema LTX 2.3 IC-LoRA su ComfyUI in modo da poter guidare il movimento e la struttura della scena mentre stili liberamente con prompt o LoRAs aggiuntivi. Condiziona il generatore video LTX-2.3 su segnali di riferimento come profondità, posa e bordi, abilitando il trasferimento del movimento, il bloccaggio della telecamera e la composizione prevedibile.
I creatori che lavorano su video-to-video, retargeting del movimento e animazione AI controllata troveranno che LTX 2.3 IC-LoRA separa il controllo del movimento dallo stile visivo. Guida l'aspetto con testo e LoRAs di stile, e guida il movimento con guide strutturate, tutto all'interno di un singolo grafico ComfyUI.
Modelli chiave nel workflow Comfyui LTX 2.3 IC-LoRA#
- LTX-2.3 di Lightricks. Un trasformatore di diffusione video latente ad alta fedeltà che genera sequenze temporalmente consistenti e supporta il conditioning per il controllo della struttura e del movimento. Hugging Face: Lightricks/LTX-2.3
- Pesi di controllo unione LTX 2.3 IC-LoRA. Pesi LoRA in-context progettati per iniettare segnali di guida strutturata in LTX-2.3 per un controllo preciso del movimento e della geometria. Forniti con la catena di modelli del workflow e caricati prima della generazione.
- LTX-2.3 VAEs per video e audio. Encoder/decoder latenti abbinati a LTX-2.3 per comprimere e ricostruire caratteristiche video e audio utilizzate durante il campionamento. Preconfigurati nel grafico e commutabili quando si usano build quantizzate. Esempi di pacchetti divisi sono disponibili qui: Hugging Face: unsloth/LTX-2.3-GGUF
- Depth Anything V2. Stima della profondità monoculare robusta utilizzata per bloccare il movimento della telecamera o preservare il layout della scena durante la generazione. Hugging Face: LiheYoung/Depth-Anything-V2
- DWPose. Stimatore di posa multi-persona leggero utilizzato per il retargeting o preservare il movimento del personaggio tramite punti chiave. Hugging Face: yzd-v/DWPose
Come usare il workflow Comfyui LTX 2.3 IC-LoRA#
Il grafico è organizzato in gruppi chiari. Prepara i prompt e un video di riferimento, scegli una o più guide strutturali, quindi genera ed esporta.
Imposta i prompt#
Usa CLIP Text Encode (Positive Prompt) (#2483) e CLIP Text Encode (Negative Prompt) (#2612) per descrivere lo stile visivo ed escludere tratti indesiderati. Gli encoder di testo sono caricati nel gruppo del modello e instradati in LTXVConditioning (#1241), che riceve anche il frame rate di lavoro in modo che il conditioning corrisponda al timing del tuo clip. Mantieni i prompt concentrati sull'aspetto poiché LTX 2.3 IC-LoRA gestirà movimento e struttura.
Preprocessa#
Carica o passa un clip di riferimento in VHS_LoadVideo (#5182). I frame sono ridimensionati in ImageResizeKJv2 (#5080) e alimentati negli estrattori di guida: DepthAnythingV2Preprocessor (#5064) per la profondità, DWPreprocessor (#4986) per la posa e CannyEdgePreprocessor (#4991) per i bordi. Un nodo di ridimensionamento a valle assicura che le mappe guida corrispondano ai multipli compatibili con il modello, e GetImageSize (#5029) registra larghezza, altezza e conteggio dei frame per il resto della pipeline. La sequenza di immagini guida risultante è memorizzata da Set_video_controlnet (#5100) per essere consumata da IC-LoRA.
Carica Modelli#
Il modello base e i LoRAs sono assemblati in questo gruppo. CheckpointLoaderSimple (#3940) carica LTX-2.3; LoraLoaderModelOnly (#4922) applica un LoRA LTX distillato per qualità e velocità; LTXICLoRALoaderModelOnly (#5011) aggiunge i pesi LTX 2.3 IC-LoRA e pubblica il fattore di ridimensionamento latente richiesto. I VAEs per video e audio sono caricati, e Boolean - Use GGUF? (#5158) può passare a una build quantizzata GGUF tramite GGUFLoaderKJ (#5150) con encoder di testo e VAEs compatibili quando il VRAM è limitato.
Carica Immagine (imposta bypass=True se t2v)#
Se vuoi ancorare la composizione con un riferimento fermo o un primo frame, usa LoadImage (#2004). Viene ridimensionato da ImageResizeKJv2 (#5076) e visualizzato per controlli rapidi. Il booleano bypass_i2v controlla se l'immagine viene usata del tutto; impostalo su True per puro testo-a-video con LTX 2.3 IC-LoRA.
Genera#
EmptyLTXVLatentVideo (#3059) crea la tela latente. Se l'ancoraggio dell'immagine è abilitato, LTXVImgToVideoConditionOnly (#3159) inietta solo informazioni strutturali dalla tua immagine senza incorporare lo stile. Il passaggio principale avviene in LTXAddVideoICLoRAGuide (#5012), che allega la tua sequenza guida scelta al modello usando il fattore di ridimensionamento latente dal caricatore IC-LoRA. Anche il conditioning audio fluisce nel latente tramite LTXVEmptyLatentAudio (#3980) o il percorso audio personalizzato. CFGGuider (#4828), KSamplerSelect (#4831), ManualSigmas (#5025), e SamplerCustomAdvanced (#4829) eseguono quindi il denoising per sintetizzare il video latente finale rispettando sia i prompt che i controlli LTX 2.3 IC-LoRA.
Decodifica#
LTXVSeparateAVLatent (#4845) divide i latenti audio e video generati per la decodifica. LTXVCropGuides (#5013) allinea e ritaglia se necessario, poi VAEDecodeTiled (#4851) ricostruisce i frame in modo efficiente. VHS_VideoCombine (#5070) muxa i frame in un MP4, utilizzando di default l'audio del clip di riferimento. Puoi anche decodificare il latente audio generato con LTXVAudioVAEDecode (#4848) se vuoi ascoltarlo separatamente.
Prepara Video di Riferimento#
Quest'area di supporto mostra la pipeline del frame di riferimento. VHS_VideoInfoLoaded (#5073) estrae fps e durata, che vengono propagati ai nodi di conditioning e agli esportatori in modo che il timing rimanga sincronizzato. Un piccolo nodo di combinazione fornisce un'anteprima visiva rapida della sequenza sorgente per controlli di sanità mentale.
Audio Personalizzato#
Se desideri una generazione consapevole dell'audio, l'audio di riferimento è codificato con LTXVAudioVAEEncode (#5146) e una semplice maschera è applicata in SetLatentNoiseMask (#5148). L'interruttore intitolato Switch - Custom Audio? (#5149) seleziona tra latenti audio vuoti o codificati prima della concatenazione in LTXVConcatAVLatent (#4528). L'esportazione finale utilizza ancora l'audio di riferimento per impostazione predefinita; se preferisci l'audio decodificato dal modello, instrada l'output di LTXVAudioVAEDecode all'ingresso audio dell'esportatore.
Impostazione Sigma Ufficiale LTX#
Il nodo di pianificazione ManualSigmas (#5025) definisce un profilo sigma conciso sintonizzato per LTX-2.3, e SigmasPreview (#5142) lo visualizza in modo da poter ragionare sulla distribuzione del rumore nel tempo. Questo ti permette di scambiare velocità per dettaglio mantenendo la caratteristica stabilità temporale di LTX 2.3 IC-LoRA.
Nodi chiave nel workflow Comfyui LTX 2.3 IC-LoRA#
LTXICLoRALoaderModelOnly(#5011). Carica i pesi LTX 2.3 IC-LoRA e fornisce il fattore di ridimensionamento latente richiesto dall'iniettore di guida. Se aggiungi ulteriori LoRAs di stile, posizionali prima di questo caricatore per mantenere dominante la guida del movimento.LTXAddVideoICLoRAGuide(#5012). Il punto in cui le sequenze di profondità, posa o bordo entrano nel modello come guida in-context. Modula la sua forza per bilanciare tra stretta aderenza strutturale e libertà stilistica dal tuo prompt e LoRAs di stile.LTXVImgToVideoConditionOnly(#3159). Fornisce un conditioning opzionale da immagine a video che trasferisce solo la composizione e la struttura grossolana da un'immagine fissa. Usa il suo togglebypassquando passi tra i2v e puro testo-a-video.CFGGuider(#4828). Controlla quanto fortemente il modello segue i tuoi prompt in relazione alla guida LTX 2.3 IC-LoRA. Aumenta la guida quando la fedeltà dello stile è più importante, diminuiscila per preservare movimento e geometria con minimo drift.SamplerCustomAdvanced(#4829) conManualSigmas(#5025). Un'accoppiata compatta di pianificazione e sampler multi-step che offre buona coerenza temporale per LTX-2.3. Se modifichi la pianificazione, mantienila in una diminuzione fluida e testa clip brevi prima di render più lunghi.
Extra opzionali#
- Scegli la guida giusta. Usa la profondità per bloccare la telecamera e il layout, la posa per il movimento del personaggio e i bordi per oggetti rigidi o silhouette pulite. È possibile mescolare due guide se descrivono aspetti diversi.
- Mantieni dimensioni amichevoli al campionatore. I preprocessori già arrotondano le dimensioni a multipli compatibili con il modello; mantieni la tua sorgente vicina al rapporto d'aspetto target per minimizzare il padding.
- Stile senza rompere il movimento. Aggiungi un LoRA di stile leggero prima del caricatore IC-LoRA e mantieni il suo peso moderato in modo che LTX 2.3 IC-LoRA possa mantenere geometria e timing.
- Modalità VRAM bassa. Attiva Use GGUF per eseguire il modello distillato quantizzato e gli encoder di testo/VAEs abbinati dal pacchetto GGUF se la tua GPU è limitata. Hugging Face: unsloth/LTX-2.3-GGUF
- Timing stabile. Il frame rate letto dal video di riferimento è iniettato nel conditioning e negli esportatori in modo che movimento e audio rimangano allineati. Se sovrascrivi fps, fallo in modo coerente tra conditioning ed esportazione.
Riconoscimenti#
Questo workflow implementa e si basa sui seguenti lavori e risorse. Riconosciamo con gratitudine @Benji’s AI Playground di LTX 2.3 IC-LoRA Source per aver fornito materiali di origine e guida. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- LTX 2.3 IC-LoRA Source
- Documenti / Note di rilascio: YouTube @Benji’s AI Playground
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.