ComfyUI 的 3D 電影管線#
3D 電影管線是由 Mickmumpitz.ai 創建的專注於製作的 ComfyUI 工作流程，將結構化的 3D 場景通道轉換為電影 AI 影片。它結合了深度佈局、粘土渲染、相機移動和可選的嘴部遮罩與 LTX‑2.3 影片模型，以在您引導運動、外觀和時間時保持空間佈局、鏡頭和連續性。
專為電影製作人、動畫師和視覺故事講述者而設計，3D 電影管線簡化了多鏡頭製作。您可以獲得框架放置控制、對物體和區域指導的高級注意力、來自語音軌的可選唇同步，以及用於快速鏡頭預覽的輔助圖像階段，所有這些都在 ComfyUI 中。
Comfyui 3D 電影管線工作流程中的關鍵模型#
核心視頻堆疊
- LTX‑2.3 (22B) by Lightricks。主要的視頻生成模型，遵循文本、控制信號和 3D 指導，合成時間上連貫的影像。Model card
- LTX Audio VAE（與 LTX‑2.3 綁定）。將音頻編碼和解碼為音頻潛變，以便模型可以根據語音時間嘴形和運動進行唇同步。Model bundle
- Gemma 3 12B Instruct 文本編碼器，用於 LTX‑2.x。提供 LTX‑2.3 用於提示的語言嵌入。預打包於 ComfyUI 中。Files
- LTX‑2.3 Distilled LoRA 384‑1.1。與開發檢查點一起使用時，加快少步驟采樣並穩定外觀。LoRA
- LTX‑2 19B IC‑LoRA Detailer。增強生成視頻中的局部細節和邊緣保真度。LoRA
- LTX‑2.3 OmniNFT RL LoRA。視頻堆疊的風格增強和一致性助手。LoRA
- IC‑LoRA Union‑Control (ref 0.5)。用於保持顏色和結構與指導一致的參考對齊 LoRA；19B 構建通常是 LTX‑2.3 的首選。LoRA family
可選的預覽圖像堆疊
- FLUX.2 Klein 9B (FP8)。快速圖像生成器，這裡用於將 Canny + Depth 轉換為風格化框架進行外觀開發。Model card
- Qwen 3 8B 文本編碼器，用於 FLUX‑2。Files
- Flux‑2 VAE。與 FLUX‑2 匹配的圖像 VAE。Files
- Flux2‑Klein‑9B‑Consistency‑V2 LoRA。改善預覽框架中的顏色和內容一致性。LoRA
LTX 節點在 ComfyUI 中的參考實現：ComfyUI‑LTXVideo
如何使用 Comfyui 3D 電影管線工作流程#
3D 電影管線融合了來自您的 DCC 或佈局工具的三個輸入——深度影片、粘土/佈局影片和可選的嘴部遮罩影片，然後運行 LTX‑2.3，使用高級注意力、參考框架和可選的唇同步渲染最終鏡頭。使用 FLUX.2 的圖像預覽分支幫助您在提交完整通道之前調整外觀。
分辨率和鏡頭設置#
使用 ResolutionPicker (#6082) 設置您的工作寬度和高度。管線預期的尺寸應可被 64 整除，以便有效地平鋪和穩定注意力。保持所有輸入的相同縱橫比，以便 3D 電影管線可以在不出現意外裁剪或加框的情況下對齊通道。如果您想進行快速測試，請使用 FRAME LOAD CAP (#6214) 降低框架數。
輸入框架（開始、中間、結束）#
在 START (LoadImage (#6108))、MIDDLE (#6139) 和 END (#6102) 中加載參考靜止圖像。工作流程使用 GetImageSize+ (#6071) 讀取其大小並相應地調整指南的大小。這些框架可以放置在時間軸中的特定索引處，以鎖定關鍵姿勢、設置故事節拍或強制外觀轉變。3D 電影管線使用這些參考作為錨點，同時在其之間插值運動和連續性。
渲染通道：深度、粘土/佈局、嘴部遮罩#
DEPTH(VHS_LoadVideo(#5893)) 從 3D 應用程序中引入您的深度影片。這指導透視、遮擋和體積放置，以便 LTX‑2.3 尊重相機移動和阻擋。CLAY / LAYOUT(VHS_LoadVideo(#6094)) 提供一個平面著色或灰色著色的渲染，用於驅動輪廓、設計設置和照明提示。從中派生的 Canny 邊緣通道 (CannyEdgePreprocessor(#6095)) 用於銳化結構指導。MOUTH MASK(VHS_LoadVideo(#6059)) 是可選的，標記每幀的嘴部區域。3D 電影管線將其用作注意力遮罩，以便在不干擾臉部其餘部分的情況下精細化嘴部運動。
嘴部遮罩調整#
如果您提供遮罩影片，ImageToMask (#6060) 將幀轉換為遮罩，GrowMaskWithBlur (#6197) 擴展並柔化邊緣，以便更寬容的塗繪。USE MASK VIDEO? (#6244) 讓您在生成的實心遮罩和輸入的遮罩影片之間切換。這樣可以使唇同步編輯範圍緊密，並減少說話區域外的偽影。
驅動視頻組裝#
深度和佈局流通過 ImageResizeKJv2 (#6097, #6099, #6103) 正規化。BatchColorCorrector (#6100) 平衡色調和顏色，以便模型在整個序列中看到一致的曝光和調色板。然後，3D 電影管線使用 ImageBlend (#6096) 將 Canny 輪廓與校正後的佈局混合，形成一個統一的驅動視頻，生成器跟隨。
配音#
使用 LoadAudio (#5883) 添加旁白或對話。它通過 Set_VoiceOver (#6248) 和 Get_VoiceOver (#6249) 路由到模型中。當在采樣器中啟用唇同步時，3D 電影管線使用此音頻來定時嘴形和微運動，以匹配語音內容。
使用 LTX‑2.3 生成#
采樣器節點 LTX 2.3 (#6202) 是 3D 電影管線的核心。它接收模型、文本編碼器、VAE 和音頻 VAE；混合驅動視頻；可選的注意力遮罩；以及來自 PROMPT (#6203) 的提示。切換允許您將開始/中間/結束幀放置在指定位置，混合它們的影響，啟用或繞過控制信號，並開啟唇同步。高級注意力路徑通過 LTX 視頻指南節點路由，為幀和區域加權，以保持重要主題在模型上。
輸出#
該節點使用 SaveVideo (#6109) 寫入一個準備編輯的影片。對於替代管線或並排預覽，工作流程還包括 VHS_VideoCombine (#6057)。在所有步驟中使用相同的幀速率，以確保音頻、遮罩和指導在 3D 電影管線中完美對齊。
使用 FLUX.2 的可選圖像預覽#
為了快速外觀開發而不重新渲染完整的鏡頭，圖像分支加載 Canny (CANNY (#7468)) 和深度 (DEPTH (#7469)) 靜止圖像，將它們混合 (ImageBlend (#7466))，並提示 FLUX.2 Klein 9B (SAMPLER (#7465))。一致性 LoRA 有助於保持顏色和細節與您的指南一致。使用 SaveImage (#7444) 導出預覽框架，這些框架將在運行完整的 3D 電影管線之前告知您的提示和 LoRA 選擇。
Comfyui 3D 電影管線工作流程中的關鍵節點#
LTX 2.3 (#6202)
- 角色：主要視頻生成器，將文本、3D 指導、控制通道和音頻融合到最終序列中。
- 要調整的內容：在提供音頻時開啟唇同步；切換 ControlNet 風格的指導並調整整體強度；放置
START、MIDDLE和END幀，並混合它們的影響以鎖定重要節拍。保持幀速率與您的輸入一致，以避免時間漂移。
DEPTH (#5893)
- 角色：加載建立場景幾何和相機運動的深度影片。
- 要調整的內容：將分辨率匹配到
ResolutionPicker，並保持與佈局和遮罩剪輯相同的長度。在外觀開發期間使用FRAME LOAD CAP進行快速迭代。
CLAY / LAYOUT (#6094)
- 角色：提供用於提取邊緣和引導構圖、照明意圖和輪廓的佈局或粘土渲染。
- 要調整的內容：與深度通道分辨率對齊；如果您在上游更改了分級，請重新運行
BatchColorCorrector以保持指導一致。
USE MASK VIDEO? (#6244)
- 角色：在生成的實心嘴部遮罩和輸入的遮罩影片之間切換。
- 要調整的內容：當唇同步需要逐幀精度時，使用影片遮罩；當您只需要一個廣泛的保護區域時，切換到實心遮罩。
LTXICLoRALoaderModelOnly (#6223)
- 角色：加載用於參考對齊和顏色/結構忠實性的聯合控制 IC‑LoRA。
- 要調整的內容：選擇在您的測試中最匹配 LTX‑2.3 的變體；許多製作在運行 3D 電影管線時更喜歡 19B 構建以獲得更緊密的遵從。
可選附加功能#
- 保持所有輸入的相同持續時間和幀速率，以在 3D 電影管線中保持同步。
- 深度應乾淨且時間上穩定。如果您的 DCC 輸出 EXR 或 16 位 PNG，請轉換一次為中間格式，並將其用於所有迭代。
- 開始/中間/結束幀在顯示明顯、與故事相關的姿勢或照明狀態時效果最好；避免近乎重複。
- 如果嘴部區域閃爍，請在
GrowMaskWithBlur中稍微擴大遮罩以包括嘴唇、牙齒和一薄邊界的皮膚。 - 對於大鏡頭，使用
FRAME LOAD CAP和較小的分辨率進行迭代，然後切換回全分辨率以獲得最終效果。 - 從開發檢查點切換到蒸餾檢查點時，禁用蒸餾 LoRA 以防止過度約束。
- 使用 FLUX.2 預覽分支測試調色板和樣式，並使用實際的 Canny 和深度指南，然後運行完整的 3D 電影管線。
鳴謝#
此工作流程實現並基於以下作品和資源。我們感謝 MickMumpitz.ai 為其貢獻和維護的 3D 電影管線工作流程來源。欲了解權威詳細信息，請參閱以下鏈接的原始文檔和存儲庫。
資源#
- MickMumpitz.ai/3D 電影管線工作流程來源
- 文檔 / 發布說明：3D 電影管線工作流程來源
注意：引用的模型、數據集和代碼的使用受其作者和維護者提供的相應許可和條款約束。