LongCat Video Avatar 1.6 ComfyUI 工作流程#
LongCat Video Avatar 1.6 ComfyUI 工作流程將單個參考圖像和一或兩個語音軌道轉換為乾淨的唇同步 MP4。它隨附兩個畫布組:一個默認的雙聲道對話,通過 SAM 3.1 掩碼將聲音分配給面孔,以及一個單聲道獨白,適用於演講者或角色。創作者、教育者和產品團隊可以快速製作具有穩定身份、自然口型和輕微頭部運動的說話頭像。
在底層,圖形將較長的腳本分割為短的重疊片段,為每個片段生成幀,然後修剪重疊部分,然後將片段重新拼接在一起,同時附上完整的音軌。結果是一個流暢、聲音準確的視頻,尊重您的提示和構圖。
Comfyui LongCat Video Avatar 1.6 ComfyUI 工作流程中的關鍵模型#
- Meituan LongCat Video Avatar 1.6。核心頭像模型,將語音特徵和身份圖像轉換為唇同步幀,並保留外觀。Model card
- LongCat Video Avatar 適配器 (DMD 和 OPSD) 為 ComfyUI 打包。可選適配器,將採樣行為與發布的管道對齊。Weights
- Whisper Large V3 編碼器。提取驅動口型和協同發音的強大語音特徵。Model
- Segment Anything (SAM) 系列。提供高質量的人物掩碼,以便每個語音軌道在對話鏡頭中動畫化正確的臉部。Repository
如何使用 Comfyui LongCat Video Avatar 1.6 ComfyUI 工作流程#
總體流程
- 選擇一個組運行。圖形將音頻分割為重疊的片段,為每個片段生成幀,將它們解碼為圖像,刪除重複的重疊,並將片段與完整的音軌串接成單個視頻。
雙聲道對話 · 默認
- 使用開始圖像加載一張顯示兩人在畫面中的圖像。為每位講者添加兩個語音軌道,一個用於 Voice A,一個用於 Voice B。示例項目將第一行路由到左側的女性,然後將第二行路由到右側的男性。
- SAM 3.1 節點檢測每個人並輸出兩個掩碼。如果需要,請更改閱讀女性和男性的短文本提示以匹配您的照片。使用掩碼預覽確認左右臉已清晰分開。
- 正面和負面提示提供高級相機和質量指導。保持描述性和事實性以維持身份和光照的連續性。
- 片段長度和重疊控制每次生成的幀數及片段如何平滑過渡。較長的片段減少了通道數,而更多的重疊則軟化了過渡。
- 排隊畫布以生成並保存對話視頻。兩個保存視頻節點使用不同的文件名前綴,以便對話和獨白渲染不會相互覆蓋。
單聲道獨白 · 默認繞過
- 加載一個單人參考圖像和一個音頻文件。同一個語音軌道驅動時長、條件和最終音軌。
- 單聲道 LongCat 節點使用整個圖像,因此不需要遮罩。保持主題面朝前,頭部留有適度的空間,以獲得最佳唇讀能力。
- 調整正面和負面提示以匹配您的鏡頭風格。然後排隊畫布以渲染並保存獨白視頻。
模式切換
- 在組菜單中,一次只運行一個組。設置您想要的模式為始終,並將另一個設置為繞過。返回對話時,保持可選的 OPSD 混合繞過,除非您特別想要該變體。
Comfyui LongCat Video Avatar 1.6 ComfyUI 工作流程中的關鍵節點#
LongCatAvatarToVideo (#100) · 對話
- 雙聲道場景的核心生成器。它採用開始圖像、兩個編碼音頻軌道和兩個 SAM 掩碼,以便每個聲音動畫化正確的臉部。只調整重要的內容:片段長度與重疊,以獲得時間上的平滑性,如果需要更清晰的口型調整音頻強度。節點還從循環接收幀偏移,以便每個片段在正確的時間位置著陸。請參閱本地節點介紹以獲取背景。ComfyUI PR
LongCatAvatarToVideo (#300) · 獨白
- 單聲道變體從一個音頻軌道驅動一個面孔。當只有一個主題可見時使用。相同的指導適用:調整片段長度和重疊以適應您的腳本長度,並保持音頻強度適中,以平衡唇部準確性和面部穩定性。ComfyUI PR
SAM3_Detect (#147) 說話者 A 掩碼和 SAM3_Detect (#150) 說話者 B 掩碼
- 這些檢測開始圖像中的人並生成乾淨的掩碼。它們接受簡短的文本標籤,您可以更改以反映您的主題。如果掩碼滲透,請微調提示或提供簡單的框或點;使用內置的掩碼預覽來驗證分離。關於 SAM 的背景,請參閱原始論文和倉庫。Paper · Repo
StartLoop · Segments (子圖“循環開始”)
- 通過計算從音頻持續時間、片段長度和重疊中需要多少片段來自動化長腳本。它在通道之間增加種子以獲得自然的變化,並輸出幀偏移,以便每次通道從正確的時間線位置開始。循環將先前的幀反饋回生成,以保持跨剪輯的連續性。
SamplerCustom 配對 BasicScheduler 和 SplitSigmas
- 該工作流程每個片段使用兩階段採樣器,運行在更高然後更低的噪音範圍內,以穩定運動。保持默認的採樣器和計劃,除非您有理由進行實驗;發貨配置與官方 LongCat 發布行為相匹配。Weights · Model card
可選附加功能#
- 首先是身份。使用清晰、正面朝向的參考圖像,嘴唇自然,光照一致。小幅度的頭部轉動可以;大幅度的偏航或遮擋會降低唇部清晰度。
- 對話設置。如果您的講者重疊或交叉,請調整 SAM 提示或完善掩碼,以便每個聲音僅控制一個面孔。
- 音頻準備。使用乾淨的單聲道 WAV 文件,不要進行過多的噪音消除。修剪開頭和結尾的靜音,以保持緊湊的時間。
- 提示。保持正面提示具體且場景級別。使用負面提示排除過曝、抖動或凍結的嘴等工件。
- 變體。提供可選的 OPSD 混合以供實驗,但默認情況下繞過以鏡像發布的管道。Weights
致謝#
此工作流程實施並建立在以下工作和資源之上。我們感謝美團 LongCat 團隊提供的 LongCat-Video-Avatar 1.6 模型,Comfy-Org 提供的 LongCat-Video-Avatar 權重和 ComfyUI 的原生 LongCat Avatar 節點和源工作流程的貢獻和維護。欲了解權威詳情,請參閱以下鏈接的原始文檔和倉庫。
資源#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- Docs / Release Notes: LongCat-Video-Avatar-1.6 Tech Report (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — 支持 LongCatAvatar (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
注意:引用的模型、數據集和代碼的使用受其作者和維護者提供的各自許可和條款的約束。

