LTX 2.3 Inpaint 影片工作流程,實現精確、遮罩引導的編輯
此 ComfyUI 工作流程通過將基礎模型與 LTX 2.3 Inpaint LoRA 配對,將目標影片編輯引入 LTX-2.3。您可以在需要更改的區域上定義遮罩,然後管道只會重新生成該區域,同時保持場景其他部分的運動、身份、光線和時間一致性。這是移除瑕疵、替換物件、精緻化細節或插入新元素而不需重新渲染整個序列的理想選擇。
LTX 2.3 Inpaint 從頭到尾集成:載入參考影片,創建或自動生成遮罩,使用遮罩幀引導模型,進行初步取樣,然後使用潛在上采樣器和可選的第二次修補通過進行精緻化。支持音頻,可以將音頻通過或生成靜音以匹配編輯後片段的持續時間。
ComfyUI LTX 2.3 Inpaint 工作流程中的關鍵模型
- LTX-2.3 22B Transformer Only (dev 或 distilled)。核心影片擴散轉換器,從文本和指引合成時間一致的幀。使用蒸餾構建以更快的 8 步推理。 Hugging Face: Lightricks/LTX-2.3 和 GitHub: LTX-2
- LTX 2.3 Inpaint LoRA。針對 LTX-2.3 調整的編輯 LoRA,專注於遮罩區域內的生成,讓您可以移除、替換或精緻化內容,同時保持背景運動穩定。 Hugging Face: Alissonerdx/LTX-LoRAs
- Gemma 3 12B Instruct 文本編碼器 + LTX-2.3 文本投影。為 LTX-2.3 轉換器在提示條件下提供對齊的文本嵌入。為 ComfyUI 使用提供了預先打包的權重。 Hugging Face: Comfy-Org/ltx-2 (split files)
- LTX-2.3 Video VAE 和 Audio VAE。壓縮和解碼轉換器和音頻模組使用的影片和音頻潛在變量,實現高效的取樣和同步輸出。為 ComfyUI 提供了精選的二進制文件。 Hugging Face collection
- LTX-2.3 Spatial Upscaler x2 和 Temporal Upscaler x2。可選的潛在上采樣器,在不改變內容的情況下提升空間細節和穩定時間動態。 Hugging Face: Lightricks/LTX-2.3
- Segment Anything 2 (SAM 2)。用於自動、點引導的遮罩生成,直接在影片幀上,加速 LTX 2.3 Inpaint 設置。 GitHub: facebookresearch/segment-anything-2
如何使用 ComfyUI LTX 2.3 Inpaint 工作流程
該工作流程在兩個協調階段運行。首先,它從您的輸入影片創建一個遮罩控制流,並生成一個編輯的第一通過。其次,它通過潛在的上采樣和啟用時的高解析度遮罩修補通過來提升質量。
影片設置
此組計算 LTX 2.3 Inpaint 的片段長度和幀節奏。設置 FPS 和 Duration (Seconds) 以定義時間,圖表會相應地計算 total_frames。工作流程還讓您選擇較長的圖像維度作為目標解析度,然後一致地調整輸入大小,以便提示、遮罩和指引對齊。
輸入
使用 VHS_LoadVideo 加載一個短的參考片段,讓圖表預先縮放幀到您選擇的解析度。管道保存一個名為 input_video 的內部副本用於遮罩創建,以及一個 control_video 用於在取樣期間引導 LTX 2.3 Inpaint。您可以隨時預覽控制流以確認框架和節奏。
分割
選擇如何為 LTX 2.3 Inpaint 構建遮罩。使用 Sam2Segmentation (#800) 進行基於點的自動遮罩,或使用 PointsEditor (#860) 進行精細控制。使用 GrowMaskWithBlur 後處理結果以添加小的安全邊距,並使用 BlockifyMask 減少噪聲邊緣;工作流程將清理後的輸出存儲為 final_masks。
控制影片預覽
圖表將您的遮罩區域合成在一個中性幀上,因此模型只“看到”需要更改的部分。ImageCompositeFromMaskBatch+ 創建遮罩引導幀,VHS_VideoCombine 在您的目標 FPS 預覽序列。這個專注的控制流是 LTX 2.3 Inpaint 的骨幹,有助於保留未遮罩內容。
提示
寫下您希望編輯後出現的內容,並明確保持不變的方面。使用主要的 Manual Prompt 編碼器 (#389) 用於正面內容,並使用包含的負面編碼器來抑制模糊和水印等質量抑制器。好的 LTX 2.3 Inpaint 提示描述新物件、其材料、比例以及它應在現有組合和光線中如何擺放。
生成低解析度
第一通過將提示和您的控制幀綁定到模型的引導中。LTXVAddGuideMulti (#440) 將遮罩引導附加到條件中,CFGGuider (#396) 平衡對文本的依從性,SamplerCustomAdvanced (#382) 使用選定的取樣器和調度程序進行推理。結果是一個時間一致的編輯片段,已經尊重您的 LTX 2.3 Inpaint 遮罩。
潛在上采樣
如果您希望在不改變內容的情況下獲得更多細節,請啟用上采樣器。LTXVLatentUpsampler (#818) 在潛在空間中應用 LTX 空間上采樣器,並使用 VAEDecodeTiled 進行記憶體高效重建。您可以使用內建的並排組合節點比較前後。
生成高解析度
為了在第一通過引導下獲得更高保真度的修補,工作流程使用 LTXVAddGuideMulti (#877) 裁剪並重新綁定引導,並使用 SamplerCustomAdvanced (#816) 進行取樣。此階段仍然是遮罩感知的,並將在添加清晰邊緣和更好紋理的同時保持場景運動穩定。這是在時間允許的情況下完成 LTX 2.3 Inpaint 鏡頭的首選方法。
遮罩切換
一個簡單的 Automatic Segmentation 開關將手動或自動遮罩路由到修補路徑中。當目標與背景有良好分離時,使用自動遮罩;當邊緣複雜或需要對 LTX 2.3 Inpaint 行為進行精確控制時,切換到手動點。清理後的選擇存儲為 final_masks 以供重用。
遮罩修補第二次通過
專用的高解析度修補分支將遮罩進一步推進。SetLatentNoiseMask (#1010) 只在遮罩活躍的地方注入噪聲,因此模型重新取樣編輯區域,同時凍結其他部分。此通過非常適合替換標籤、修復微小瑕疵或以最大組合鎖定交換道具。
音頻
您可以加載自己的音頻,或者讓圖表生成與片段長度匹配的靜音床。音頻被編碼為潛在變量以進行同步,然後在保存時選擇性預覽並復用。如果您在精緻 LTX 2.3 Inpaint 設置時偏好純視覺效果,只需保持靜音路徑啟用即可。
匯出與比較
預覽節點會在您的目標 FPS 顯示控制流、第一通過和精緻輸出的快速 QC。並排比較影片會自動生成,這樣您可以評估 LTX 2.3 Inpaint 如何影響遮罩區域與原始影片的對比。
ComfyUI LTX 2.3 Inpaint 工作流程中的關鍵節點
LoraLoaderModelOnly (#419)
將 LTX 2.3 Inpaint LoRA 附加到加載的 LTX-2.3 轉換器,使編輯保持在遮罩區域內。增加 strength 以更偏向修補行為,或減少它以讓基礎模型更多地影響風格。在各次通過中保持力量一致以避免外觀漂移。參考模型卡:LTX-2.3,LTX 2.3 Inpaint LoRA。
Sam2Segmentation (#800)
從 input_video 上的正點生成乾淨的物件遮罩。從 PointsEditor (#860) 提供點以快速鎖定目標,然後使用遮罩增長和塊化進行精緻化。可靠的遮罩減少顏色滲透,並使 LTX 2.3 Inpaint 更快收斂。專案頁面:Segment Anything 2。
SetLatentNoiseMask (#417)
直接將您的二進制遮罩應用於潛在變量,因此只有選擇的區域會被重新取樣。如果在邊界處看到縫隙,請使用 GrowMaskWithBlur 稍微擴大遮罩,或者在非常薄的細節閃爍時增加塊大小。此節點是保持未遮罩內容在各幀間完美穩定的關鍵。
LTXVAddGuideMulti (#440)
將遮罩控制幀與文本條件融合,因此模型受到您的提示和空間變化的雙重引導。它還支持裁剪以將計算集中在相關區域。在低解析度和高解析度通過中都使用它以保持一致的 LTX 2.3 Inpaint 行為。
LTXVLatentUpsampler (#818)
使用 LTX 的專用 x2 模型上采樣潛在變量,然後使用平鋪 VAE 進行記憶體高效解碼。它在不重新解釋場景佈局的情況下改善邊緣、微紋理和小文本。成功的第一次通過後使用,以在保持時間和身份穩定的同時提高質量。
CFGGuider (#396)
控制模型應如何強烈遵循提示和引導。較低的值減少對文本的過度擬合,並可以保持微妙的運動,而較高的值在遮罩內強化更強的依從性。當 LTX 2.3 Inpaint 看起來太自由或太受限時,與 LoRA 強度一起調整此值。
BasicScheduler (#575)
設置取樣器使用的噪聲計畫。包括的 bong_tangent 計畫通過 RES4LYF 節點支持;如果您需要那種確切行為,請安裝它們。參考:RES4LYF 節點。
SamplerCustomAdvanced (#382)
使用您選擇的取樣器預設運行去噪循環。在各次通過中使用相同的取樣器,以獲得最一致的 LTX 2.3 Inpaint 外觀。與手動或基本西格瑪配對,以微調噪聲流,如果您需要額外的穩定性。
可選額外功能
- LTX 2.3 Inpaint 提示:精確描述新物件,包括材料、顏色、比例及其應在現有光線中如何擺放;保持負面活躍以抑制模糊或覆蓋。
- 遮罩提示:給遮罩一個小的擴展以覆蓋自然的柔和邊緣;為 SAM 2 偏好少而自信的點,而不是多而不確定的點。
- 性能:使用縮小因子快速迭代遮罩和提示,然後回到全比例進行最終通過和潛在上采樣。
- 一致性:在各次通過中保持 LoRA 強度、CFG 和取樣器選擇穩定,以最小化時間或風格變化。
致謝
此工作流程實施並基於以下工作和資源。我們對 Alissonerdx 的 LTX 2.3 Inpaint 工作流程來源的貢獻和維護表示感謝。欲了解權威詳細信息,請參閱下面鏈接的原始文件和存儲庫。
資源
- Alissonerdx/LTX 2.3 Inpaint 工作流程來源
- Hugging Face: Alissonerdx/LTX-LoRAs
注意:使用參考的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。
