Flusso di lavoro video LTX 2.3 Inpaint per modifiche precise guidate da maschere
Questo flusso di lavoro ComfyUI porta l'editing video mirato a LTX‑2.3 abbinando il modello base con LTX 2.3 Inpaint LoRA. Definisci una maschera sulla regione da modificare, quindi la pipeline rigenera solo quell'area preservando movimento, identità, illuminazione e coerenza temporale nel resto della scena. È ideale per rimuovere artefatti, sostituire oggetti, perfezionare dettagli o inserire nuovi elementi senza rielaborare l'intera sequenza.
LTX 2.3 Inpaint è integrato end-to-end: carica un video di riferimento, crea o genera automaticamente maschere, guida il modello con fotogrammi mascherati, campiona un passaggio iniziale, quindi perfeziona con un upscaler latente e un secondo passaggio inpaint opzionale. L'audio è supportato e può essere passato o generato come silenzio per adattarsi alla durata della clip modificata.
Modelli chiave nel flusso di lavoro ComfyUI LTX 2.3 Inpaint
- LTX‑2.3 22B Transformer Only (dev o distillato). Il trasformatore di diffusione video principale che sintetizza fotogrammi temporalmente coerenti da testo e guide. Usa la build distillata per inferenze più veloci in 8 passaggi. Hugging Face: Lightricks/LTX‑2.3 e GitHub: LTX‑2
- LTX 2.3 Inpaint LoRA. Un LoRA di modifica ottimizzato per LTX‑2.3 che concentra la generazione all'interno della regione mascherata in modo da poter rimuovere, sostituire o perfezionare il contenuto mantenendo stabile il movimento di sfondo. Hugging Face: Alissonerdx/LTX‑LoRAs
- Gemma 3 12B Instruct text encoder + LTX‑2.3 text projection. Fornisce incorporamenti di testo allineati per il trasformatore LTX‑2.3 durante il condizionamento del prompt. I pesi preconfezionati sono forniti per l'uso in ComfyUI. Hugging Face: Comfy‑Org/ltx‑2 (split files)
- LTX‑2.3 Video VAE e Audio VAE. Comprimi e decodifica video e latents audio utilizzati dai moduli del trasformatore e audio, consentendo un campionamento efficiente e un output sincronizzato. Binari curati sono disponibili per ComfyUI. Collezione Hugging Face
- LTX‑2.3 Spatial Upscaler x2 e Temporal Upscaler x2. Upscaler latenti opzionali che sollevano dettagli spaziali e stabilizzano dinamiche temporali in un secondo passaggio senza cambiare contenuto. Hugging Face: Lightricks/LTX‑2.3
- Segment Anything 2 (SAM 2). Utilizzato per la generazione automatica di maschere guidate da punti direttamente sui fotogrammi video, accelerando l'impostazione di LTX 2.3 Inpaint. GitHub: facebookresearch/segment‑anything‑2
Come utilizzare il flusso di lavoro ComfyUI LTX 2.3 Inpaint
Il flusso di lavoro funziona in due fasi coordinate. Prima, crea un flusso di controllo mascherato dal tuo video di input e produce un primo passaggio modificato. Secondo, perfeziona la qualità con upscaling latente e, quando abilitato, un passaggio inpaint ad alta risoluzione.
Impostazioni Video
Questo gruppo calcola la lunghezza della clip e la cadenza dei fotogrammi per LTX 2.3 Inpaint. Imposta FPS e Duration (Seconds) per definire il timing; il grafico calcola total_frames di conseguenza. Il flusso di lavoro ti consente anche di scegliere la dimensione dell'immagine più lunga come risoluzione target, quindi ridimensiona gli input in modo coerente affinché i prompt, le maschere e le guide siano allineati.
Input
Carica una breve clip di riferimento con VHS_LoadVideo e lascia che il grafico pre-scali i fotogrammi alla risoluzione scelta. La pipeline salva una copia interna chiamata input_video per la creazione di maschere e un control_video che guiderà LTX 2.3 Inpaint durante il campionamento. Puoi visualizzare in anteprima il flusso di controllo in qualsiasi momento per confermare l'inquadratura e la cadenza.
Segmentazione
Scegli come costruire le maschere per LTX 2.3 Inpaint. Usa Sam2Segmentation (#800) per maschere automatiche basate su punti o guidale con il PointsEditor (#860) per un controllo fine. Post-elabora il risultato con GrowMaskWithBlur per aggiungere un piccolo margine di sicurezza e BlockifyMask per ridurre i bordi rumorosi; il flusso di lavoro memorizza l'output pulito come final_masks.
Anteprima video di controllo
Il grafico compone la tua regione mascherata su un fotogramma neutro in modo che il modello “veda” solo ciò che deve essere modificato. ImageCompositeFromMaskBatch+ crea i fotogrammi guida mascherati, e VHS_VideoCombine visualizza in anteprima la sequenza al tuo FPS target. Questo flusso di controllo focalizzato è la spina dorsale di LTX 2.3 Inpaint e aiuta a preservare il contenuto non mascherato.
Prompt
Scrivi ciò che vuoi che appaia dopo la modifica e mantieni espliciti gli aspetti invariati. Usa l'encoder principale Manual Prompt (#389) per i positivi e l'encoder negativo incluso per soppressori di qualità come sfocature e filigrane. I buoni prompt di LTX 2.3 Inpaint descrivono il nuovo oggetto, i suoi materiali, la scala e come dovrebbe posizionarsi nella composizione e illuminazione esistenti.
Generazione a bassa risoluzione
Il primo passaggio lega i prompt e i tuoi fotogrammi di controllo nella guida del modello. LTXVAddGuideMulti (#440) collega la guida mascherata al condizionamento, CFGGuider (#396) bilancia l'aderenza al tuo testo, e SamplerCustomAdvanced (#382) esegue l'inferenza con il campionatore e il pianificatore selezionati. Il risultato è una clip modificata temporalmente coerente che rispetta già la tua maschera LTX 2.3 Inpaint.
Upscaling latente
Se desideri più dettagli senza cambiare contenuto, abilita l'upsampler. LTXVLatentUpsampler (#818) applica l'upscaler spaziale LTX nello spazio latente e decodifica con VAEDecodeTiled per una ricostruzione a memoria efficiente. Puoi confrontare prima e dopo con i nodi di combinazione affiancati integrati.
Generazione ad alta risoluzione
Per una maggiore fedeltà guidata dal primo passaggio, il flusso di lavoro ritaglia e ricollega le guide con LTXVAddGuideMulti (#877) e campiona con SamplerCustomAdvanced (#816). Questa fase è ancora consapevole della maschera e manterrà il movimento della scena stabile aggiungendo bordi nitidi e texture migliori. È il modo preferito per finalizzare le riprese di LTX 2.3 Inpaint quando il tempo lo consente.
Interruttore maschera
Un semplice interruttore Automatic Segmentation instrada maschere manuali o automatiche nel percorso inpaint. Usa l'automatico quando i target sono ben separati dallo sfondo, e passa ai punti manuali quando i bordi sono complessi o quando hai bisogno di un controllo chirurgico sul comportamento LTX 2.3 Inpaint. La selezione pulita è memorizzata come final_masks per il riutilizzo.
Secondo passaggio di inpaint mascherato
Un ramo dedicato di inpaint ad alta risoluzione porta la mascheratura ancora oltre. SetLatentNoiseMask (#1010) inietta rumore solo dove la maschera è attiva in modo che il modello ricampi la regione modificata mentre congela tutto il resto. Questo passaggio è ideale per sostituire etichette, correggere piccoli artefatti o scambiare oggetti di scena con blocco massimo della composizione.
Audio
Puoi caricare il tuo audio o lasciare che il grafico generi un letto silenzioso che corrisponde alla lunghezza della clip. L'audio è codificato in latents per la sincronizzazione, eventualmente visualizzato in anteprima, quindi multiplexato quando viene salvato. Se preferisci solo immagini mentre perfezioni le impostazioni di LTX 2.3 Inpaint, tieni semplicemente abilitato il percorso silenzioso.
Esportazioni e confronto
I nodi di anteprima mostrano il flusso di controllo, il passaggio 1 e gli output raffinati al tuo FPS target per un rapido controllo qualità. I video di confronto affiancati vengono generati automaticamente in modo da poter valutare come LTX 2.3 Inpaint ha influenzato le aree mascherate rispetto all'originale.
Nodi chiave nel flusso di lavoro ComfyUI LTX 2.3 Inpaint
LoraLoaderModelOnly (#419)
Collega il LTX 2.3 Inpaint LoRA al trasformatore LTX‑2.3 caricato in modo che le modifiche rimangano localizzate alla maschera. Aumenta strength per indirizzare più fortemente il comportamento inpaint o riducilo per lasciare che il modello base influenzi maggiormente lo stile. Mantieni la forza costante tra i passaggi per evitare deviazioni nell'aspetto. Modelli di riferimento: LTX‑2.3, LTX 2.3 Inpaint LoRA.
Sam2Segmentation (#800)
Genera maschere oggetto pulite da punti positivi sul tuo input_video. Alimenta i punti da PointsEditor (#860) per bloccarsi rapidamente sul target, quindi perfeziona con crescita della maschera e blockify. Maschere affidabili riducono il sanguinamento dei colori e fanno convergere più velocemente LTX 2.3 Inpaint. Pagina del progetto: Segment Anything 2.
SetLatentNoiseMask (#417)
Applica la tua maschera binaria direttamente al latente in modo che solo la regione selezionata venga ricampionata. Espandi leggermente la maschera con GrowMaskWithBlur se vedi cuciture al confine, o aumenta la dimensione del blocco se dettagli molto sottili lampeggiano. Questo nodo è centrale per mantenere il contenuto non mascherato perfettamente stabile tra i fotogrammi.
LTXVAddGuideMulti (#440)
Fonde i fotogrammi di controllo mascherati con il condizionamento del testo in modo che il modello sia guidato sia dal tuo prompt che da ciò che è cambiato spazialmente. Supporta anche il ritaglio per concentrare il calcolo sull'area rilevante. Usalo sia nei passaggi a bassa che ad alta risoluzione per mantenere un comportamento LTX 2.3 Inpaint coerente.
LTXVLatentUpsampler (#818)
Scala i latents con i modelli x2 dedicati di LTX, quindi decodifica con VAE a piastrelle per efficienza di memoria. Migliora i bordi, le micro-texture e il piccolo testo senza reinterpretare il layout della scena. Usalo dopo un primo passaggio riuscito per aumentare la qualità mantenendo stabile il timing e l'identità.
CFGGuider (#396)
Controlla quanto fortemente il modello dovrebbe seguire i prompt e le guide. Valori più bassi riducono l'overfitting al testo e possono preservare movimenti sottili, mentre valori più alti impongono un'aderenza più forte all'interno della maschera. Regola questo insieme alla forza del LoRA quando LTX 2.3 Inpaint sembra troppo libero o troppo vincolato.
BasicScheduler (#575)
Imposta il programma di rumore utilizzato dal campionatore. Il programma bong_tangent incluso è supportato attraverso i nodi RES4LYF; installali se desideri quel comportamento esatto. Riferimento: Nodi RES4LYF.
SamplerCustomAdvanced (#382)
Esegue il ciclo di denoising con il preset del campionatore scelto. Usa lo stesso campionatore tra i passaggi per l'aspetto più coerente di LTX 2.3 Inpaint. Abbinare con sigmas manuali o di base per affinare il flusso di rumore se hai bisogno di maggiore stabilità.
Extra opzionali
- Prompting per LTX 2.3 Inpaint: descrivi con precisione il nuovo oggetto, includi materiale, colore, scala e come dovrebbe posizionarsi nell'illuminazione esistente; mantieni attivi i negativi per sopprimere sfocature o sovrapposizioni.
- Consigli per la mascheratura: dai alle maschere una piccola espansione per coprire i bordi naturali morbidi; preferisci pochi punti fiduciosi per SAM 2 piuttosto che molti incerti.
- Prestazioni: usa il fattore di downscale per iterare rapidamente su maschere e prompt, quindi ritorna alla scala completa per passaggi finali e upscaling latente.
- Coerenza: mantieni forza del LoRA, CFG e scelte del campionatore stabili tra i passaggi per minimizzare spostamenti temporali o di stile.
Ringraziamenti
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo Alissonerdx per LTX 2.3 Inpaint Workflow Source per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse
- Alissonerdx/LTX 2.3 Inpaint Workflow Source
- Hugging Face: Alissonerdx/LTX-LoRAs
Nota: L'uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.