LTX 2.3 IC-LoRA: 在 ComfyUI 中的運動追蹤視頻生成
這一工作流程將 LTX 2.3 IC-LoRA 系統引入 ComfyUI，使您能夠在自由風格化的同時引導運動和場景結構，使用提示或額外的 LoRAs。它在深度、姿勢和邊緣等參考信號上調節 LTX-2.3 視頻生成器，實現運動轉移、攝影機鎖定和可預測的構圖。
創作者在視頻轉視頻、運動重定向和控制的 AI 動畫中會發現 LTX 2.3 IC-LoRA 將運動控制與視覺風格分開。您可以用文本和風格 LoRAs 指導外觀，用結構化指南引導運動，這一切都在單一的 ComfyUI 圖中進行。
Comfyui LTX 2.3 IC-LoRA 工作流程中的關鍵模型
- LTX-2.3 由 Lightricks 提供。一個高保真潛在視頻擴散變壓器，能生成時間一致的序列，並支持結構和運動控制的調節。Hugging Face: Lightricks/LTX-2.3
- LTX 2.3 IC-LoRA 聯合控制權重。上下文 LoRA 權重設計用於將結構化指導信號注入 LTX-2.3，以實現精確的運動和幾何控制。隨工作流程的模型鏈提供，並在生成前加載。
- LTX-2.3 VAEs 用於視頻和音頻。與 LTX-2.3 配對的潛在編碼器/解碼器，用於在採樣期間壓縮和重建視頻和音頻特徵。在圖中預配置，並在使用量化構建時可切換。這裡提供拆分包的例子：Hugging Face: unsloth/LTX-2.3-GGUF
- Depth Anything V2。用於在生成期間鎖定攝影機移動或保留場景佈局的強大單目深度估計。Hugging Face: LiheYoung/Depth-Anything-V2
- DWPose。輕量級多人姿勢估計器，用於通過關鍵點重定向或保留角色運動。Hugging Face: yzd-v/DWPose
如何使用 Comfyui LTX 2.3 IC-LoRA 工作流程
圖表組織成清晰的組。您準備提示和參考視頻，選擇一個或多個結構指南，然後生成並導出。
設置提示
使用 CLIP Text Encode (Positive Prompt) (#2483) 和 CLIP Text Encode (Negative Prompt) (#2612) 描述視覺風格並排除不需要的特徵。文本編碼器加載在模型組中並路由到 LTXVConditioning (#1241)，它還接收工作幀速率以便調節與您的片段時間匹配。保持提示專注於外觀，因為 LTX 2.3 IC-LoRA 將處理運動和結構。
預處理
將或傳遞參考片段到 VHS_LoadVideo (#5182)。幀在 ImageResizeKJv2 (#5080) 中調整大小並送入指南提取器：DepthAnythingV2Preprocessor (#5064) 用於深度，DWPreprocessor (#4986) 用於姿勢，CannyEdgePreprocessor (#4991) 用於邊緣。下游調整大小節點確保指南地圖符合模型友好的倍數，並且 GetImageSize (#5029) 記錄寬度、高度和幀數以供其餘管道使用。結果指南圖像序列由 Set_video_controlnet (#5100) 存儲以供 IC-LoRA 使用。
加載模型
基礎模型和 LoRAs 組裝在這個組中。CheckpointLoaderSimple (#3940) 加載 LTX-2.3; LoraLoaderModelOnly (#4922) 應用蒸餾的 LTX LoRA 以提高質量和速度；LTXICLoRALoaderModelOnly (#5011) 添加 LTX 2.3 IC-LoRA 權重並發布所需的潛在下縮因子。視頻和音頻的 VAEs 被加載，Boolean - Use GGUF? (#5158) 可以通過 GGUFLoaderKJ (#5150) 切換到量化的 GGUF 構建，當 VRAM 緊張時，與兼容的文本編碼器和 VAEs 配合使用。
加載圖像（如果是 t2v，設置 bypass=True）
如果您希望用靜態參考或第一幀錨定構圖，使用 LoadImage (#2004)。它被 ImageResizeKJv2 (#5076) 調整大小並預覽以進行快速檢查。布爾值 bypass_i2v 控制圖像是否被使用；將其設置為 True 以便純粹的文本轉視頻與 LTX 2.3 IC-LoRA。
生成
EmptyLTXVLatentVideo (#3059) 創建潛在畫布。如果啟用了圖像錨定，LTXVImgToVideoConditionOnly (#3159) 僅注入圖像中的結構信息而不加入風格。核心步驟在 LTXAddVideoICLoRAGuide (#5012) 中發生，它使用 IC-LoRA 加載器的潛在下縮因子將您選擇的指南序列附加到模型上。音頻調節也通過 LTXVEmptyLatentAudio (#3980) 或自定義音頻路徑流入潛在中。CFGGuider (#4828)、KSamplerSelect (#4831)、ManualSigmas (#5025) 和 SamplerCustomAdvanced (#4829) 然後進行去噪，以合成最終的潛在視頻，同時尊重提示和 LTX 2.3 IC-LoRA 控制。
解碼
LTXVSeparateAVLatent (#4845) 將生成的音頻和視頻潛在分開進行解碼。LTXVCropGuides (#5013) 必要時對齊和裁剪，然後 VAEDecodeTiled (#4851) 高效地重建幀。VHS_VideoCombine (#5070) 使用默認的參考片段音頻將幀合併成 MP4。如果您希望單獨試聽生成的音頻潛在，還可以通過 LTXVAudioVAEDecode (#4848) 解碼。
準備參考視頻
此輔助區域顯示參考幀管道。VHS_VideoInfoLoaded (#5073) 提取 fps 和持續時間，這些信息被傳播到調節節點和導出器，以便時間保持同步。一個小的合併節點提供來源序列的快速視覺預覽以進行合理性檢查。
自定義音頻
如果您希望進行音頻感知生成，參考音頻會與 LTXVAudioVAEEncode (#5146) 進行編碼，並在 SetLatentNoiseMask (#5148) 中應用簡單的遮罩。名為 Switch - Custom Audio? (#5149) 的開關選擇在空或編碼的音頻潛在之間，在 LTXVConcatAVLatent (#4528) 中進行串聯。最終導出仍默認使用參考音頻；如果您偏好模型解碼的音頻，將 LTXVAudioVAEDecode 輸出路由到導出器的音頻輸入。
LTX 官方 Sigma 設置
調度節點 ManualSigmas (#5025) 定義了一個簡潔的 sigma 配置文件，專為 LTX-2.3 調整，SigmasPreview (#5142) 將其可視化，以便您可以推理噪聲分配時間。這讓您可以在保持 LTX 2.3 IC-LoRA 特徵時間穩定性的同時，在速度和細節之間進行權衡。
Comfyui LTX 2.3 IC-LoRA 工作流程中的關鍵節點
LTXICLoRALoaderModelOnly(#5011)。加載 LTX 2.3 IC-LoRA 權重，並輸出指南注入器所需的潛在下縮因子。如果您添加了額外的風格 LoRAs，請將它們放在此加載器之前，以保持運動指導的主導地位。LTXAddVideoICLoRAGuide(#5012)。深度、姿勢或邊緣序列進入模型作為上下文指導的點。調整其強度以在從您的提示和風格 LoRAs 中獲得的嚴格結構遵從性和風格自由之間取得平衡。LTXVImgToVideoConditionOnly(#3159)。提供可選的圖像到視頻調節，僅從靜止圖像中轉移構圖和粗略結構。使用其bypass切換在 i2v 和純文本到視頻之間切換。CFGGuider(#4828)。控制模型遵循您提示的強度，相對於 LTX 2.3 IC-LoRA 指導。當風格保真度最重要時增加指導，減少它以便在最小漂移中保留運動和幾何。SamplerCustomAdvanced(#4829) 與ManualSigmas(#5025)。一個緊湊的調度和多步取樣器配對，為 LTX-2.3 提供良好的時間一致性。如果您修改了調度，請保持其平滑遞減並在更長的渲染前測試短片段。
可選額外功能
- 選擇合適的指南。使用深度鎖定攝影機和佈局，使用姿勢進行角色運動，使用邊緣進行剛性對象或乾淨輪廓。混合兩個指南是可能的，如果它們描述不同的方面。
- 保持維度對取樣器友好。預處理器已將尺寸調整為模型友好的倍數；保持您的源接近目標的縱橫比以最小化填充。
- 在不破壞運動的情況下進行風格化。在 IC-LoRA 加載器之前添加輕量級風格 LoRA，並保持其權重適中，以便 LTX 2.3 IC-LoRA 可以維持幾何和時間。
- 低 VRAM 模式。切換 Use GGUF 以運行量化蒸餾模型和 GGUF 包中的匹配文本編碼器/VAEs，如果您的 GPU 受限。Hugging Face: unsloth/LTX-2.3-GGUF
- 穩定的時間。從參考視頻讀取的幀速率被注入到調節和導出器中，以便運動和音頻保持對齊。如果您覆蓋 fps，請在調節和導出中一致地進行。
致謝
此工作流程實施並建立在以下作品和資源之上。我們感謝 @Benji’s AI Playground 的 LTX 2.3 IC-LoRA Source 提供的源材料和指導。有關權威細節，請參閱下方鏈接的原始文檔和存儲庫。
資源
- LTX 2.3 IC-LoRA Source
- 文檔 / 發布說明：YouTube @Benji’s AI Playground
注意：使用引用的模型、數據集和代碼受其作者和維護者提供的各自許可和條款的約束。
