LTX 2.3 IC-LoRA 相機控制於 ComfyUI#
LTX 2.3 IC-LoRA 相機控制是針對 LTX-Video 2.3 在 ComfyUI 中的參考驅動相機運動工作流程。給它一個短的參考影片和創意提示，它將從參考中轉移相機軌跡到新生成的場景，保持主題構圖和時間一致性，讓您專注於內容、照明和氛圍。
專為電影製作人、VFX 藝術家和 AI 創作者而設計，這個 ComfyUI 工作流程能夠重現平移、傾斜、推鏡頭、縮放和環繞運動，並具有可調節的運動強度。它將 LTX-2.3 的統一音視頻生成與專為相機控制量身定制的 In-Context LoRA 配對，因此您可以在一次通過中獲得順滑的運動、一致的構圖和同步的音頻。
Comfyui LTX 2.3 IC-LoRA 相機控制工作流程中的關鍵模型#
- Lightricks LTX-2.3。一種擴散變壓器，能夠聯合生成視頻和音頻，在一次前向傳遞中提供強大的時間一致性和同步音效。它是此工作流程的核心生成器，也是 IC-LoRA 指導的目標。Model card
- LTX-Video VAE。LTX 使用的時空視頻VAE，將幀壓縮到緊湊的潛在空間中以高效去噪，然後在採樣結束時解碼高質量幀。請參閱技術報告中的架構背景：LTX-Video 和 LTX-2。
- Gemma 指令調整文本編碼器。一個指令調整的 Gemma 文本編碼器，將您的提示轉換為生成器可以遵循的條件向量，從而實現詳細的鏡頭描述和風格控制。
- LTX 2.3 IC-LoRA 用於相機控制。一個專門的 In-Context LoRA 適配器，從參考影片中提取相機運動線索並將其注入 LTX-2.3，使新場景的虛擬相機與參考路徑對齊。
如何使用 Comfyui LTX 2.3 IC-LoRA 相機控制工作流程#
這個工作流程組織成幾個群組，準備您的參考，建立條件，並在合併音視頻之前運行採樣。IC-LoRA 從參考中提取相機運動，而您的提示定義了屏幕上出現的內容。
輸入視頻設置#
使用此群組中的輸入來設置每秒幀數、片段持續時間和目標的長邊尺寸。這三個值決定了幀預算和整個運行的工作分辨率。保持 FPS 和持續時間與您的參考對齊，有助於 IC-LoRA 複製原始移動的時間和速度。選擇適合您的交付縱橫比和性能預算的尺寸。如果您在實驗，請從謹慎開始，然後在運動看起來正確時逐步擴展。
準備參考影片#
使用 VHS_LoadVideo (#5983) 加載您的相機參考。管道對幀進行縮放和歸一化以適合模型，然後分析它們以計算大小和數量，確保尺寸與 LTX-2.3 良好配合。平滑的單鏡頭拍攝無剪切效果最佳，因為適配器學習的是相機路徑而不是故事編輯。支持平移、傾斜、推鏡頭、縮放和環繞運動；避免晃動的片段或快速場景變化。如果您的參考比目標長，請將其修剪到最具代表性的部分。
預處理#
工作流程創建一個空的視頻潛在變量，與您選擇的分辨率和持續時間對齊，然後可選地使用 LTXVImgToVideoConditionOnly (#5904) 從靜態圖像中錨定外觀。提供一個風格一致的靜態圖像可以提高主題和調色板的一致性，同時將運動留給 IC-LoRA。此階段還計算安全的、對模型友好的尺寸，並確保潛在的時間軸與參考的節奏匹配。結果是一個乾淨的起點，為相機控制做好準備。
條件設定#
在正向提示中撰寫您的主要鏡頭描述，並在負向提示中列出不需要的工件。提示被編碼，並在 LTXVConditioning (#164) 中組裝成時間感知的條件。LTX 2.3 IC-LoRA 相機控制然後用從參考影片中提取的相機運動標記增強此條件。將您的文本重點放在主題、設置、照明和藝術指導上；將相機運動留給參考，以免指導發生衝突。您可以在不每次更改參考的情況下迭代音調和風格。
模型#
工作流程加載 LTX-2.3 基本模型，應用性能友好的注意力補丁和前向塊以適應大分辨率，並使用 LTXICLoRALoaderModelOnly (#5924) 注入 IC-LoRA。這樣可以保持 VRAM 使用實際，同時保持保真度和運動一致性。IC-LoRA 還暴露了一個潛在的縮放因子，圖形使用它來平衡速度和細節。將此群組視為 LTX 2.3 IC-LoRA 相機控制的運行時引擎室。
採樣#
SamplerCustom (#561) 使用在 KSamplerSelect (#154) 中選擇的採樣器和手動調整的 sigma 時程運行去噪過程。在採樣過程中，LTXAddVideoICLoRAGuide (#5899) 將提示條件、外觀錨和參考驅動的相機路徑融合到潛在變量中。去噪完成後，視頻和音頻潛在變量被分離和解碼，然後 VHS_VideoCombine (#604) 在您選擇的幀速率下合併幀和音頻。您最終獲得一個準備分享的 MP4，包含您描述的內容和您參考的相機運動。如果相機感覺太僵硬或太鬆散，調整運動強度並重新採樣。
空音頻#
創建一個對齊的音頻潛在變量，以便 LTX-2.3 可以與生成的視頻同步合成聲音。這樣可以讓您獲得與運動時間匹配的環境音效，而不需要額外的工作。如果您計劃在後期得分該片段，可以忽略生成的音頻，並在稍後靜音或替換它。對於運動測試，保留音頻可以幫助您判斷時間和強度。
Comfyui LTX 2.3 IC-LoRA 相機控制工作流程中的關鍵節點#
VHS_LoadVideo (#5983)#
加載提供相機運動的參考片段。用它來選擇您要轉移其軌跡的確切片段，並使有效幀速率與目標對齊。短而穩定的單鏡頭輸入提供最可預測的運動轉移。如有需要，修剪參考片段或減少幀數上限以加快迭代。
LTXICLoRALoaderModelOnly (#5924)#
將 LTX 2.3 IC-LoRA 相機控制適配器注入基本模型，並暴露圖形用於效率的潛在縮放因子。增加其強度以更嚴格地遵循參考相機路徑；當您希望提示放鬆運動時降低它。保持模型和適配器版本匹配以獲得最佳效果。中途更換適配器會改變相機的解釋方式。
LTXAddVideoICLoRAGuide (#5899)#
將 IC-LoRA 指導附加到條件和潛在變量上。這裡的關鍵控制是運動強度，它決定生成的相機如何忠實地跟隨參考。提高它以獲得精確的轉移和技術匹配，降低它以獲得創意重新解釋。結合強大的主題提示，以在允許微小變化的同時保持構圖。
LTXVImgToVideoConditionOnly (#5904)#
將靜態圖像轉換為僅外觀指導而不施加運動，適合鎖定角色、調色板或藝術指導。如果第一幀從您的靜態圖像漂移，增加依從性；如果外觀過於受限，則減少依從性。此節點是可選的；如果您希望提示和 IC-LoRA 完全驅動外觀，請省略靜態圖像。
SamplerCustom (#561)#
使用您選擇的採樣器和 sigma 曲線運行去噪。將 euler_ancestral_cfg_pp 等採樣器與 KSamplerSelect (#154) 中提供的 sigma 時程配對，以獲得平衡的細節和時間穩定性。如果您將運動強度推高，考慮使用更溫和的時程以避免過度校正。重新種子以探索替代方案，同時保持相同的相機路徑。
VHS_VideoCombine (#604)#
將解碼的幀和音頻合併為 MP4 以供預覽或交付。用它來設置格式和輸出幀速率以匹配您的管道。對於日常工作，使用更高的壓縮進行導出；對於完成，提高清晰度以保持亮點和運動節奏。輸出包括元數據，以便您可以稍後追踪設置。
可選附加項#
- 為了在 LTX 2.3 IC-LoRA 相機控制中進行乾淨的轉移，選擇具有單一連續運動、最小主題運動和無剪接的參考。
- 將目標 FPS 和持續時間與參考匹配以獲得 1:1 的時間；如果您想要慢速或快速呈現，則故意偏離。
- 將提示集中於內容和風格；讓 IC-LoRA 處理相機語言以避免衝突信號。
- 如果看到邊緣工件，嘗試稍微縮小長邊尺寸或使用更溫和的採樣器以提高穩定性。
- 探索 LTX 資源和示例以加深對模型行為和控制的理解：Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl。
致謝#
此工作流程實施並建立在以下工作和資源的基礎上。我們感謝 Innovate Futures @ Benji 為 LTX 2.3 IC-LoRA 相機控制工作流程來源的貢獻和維護。欲獲得權威性詳細信息，請參考以下鏈接的原始文檔和存儲庫。
資源#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA 相機控制工作流程來源
- 文檔 / 發布說明: LTX 2.3 IC-LoRA 相機控制工作流程來源
注意: 使用引用的模型、數據集和代碼需遵循其作者和維護者提供的各自許可和條款。