ComfyUI>工作流程>Wan 2.2 動畫 | 角色交換與唇同步

Wan 2.2 動畫 | 角色交換與唇同步

Workflow Name: RunComfy/Wan-2.2-Animate-Swap-Lip-Sync

Workflow ID: 0000...1307

透過這個 ComfyUI 設置，您可以自動匹配演員或虛擬角色的表情、語音和手勢。它使用姿勢跟蹤和面部檢測來動畫化替換角色，並同步唇部運動和相同的身體動作。非常適合希望實現逼真交換和自然動畫的視頻設計師。您可以輕鬆自定義語音同步和視覺精確度。過程完全自動化，但提供細微性能調整的控制。從單一參考剪輯中，在幾分鐘內實現工作室級別的動畫品質。

工作流程教程

Wan 2.2 動畫：角色交換與唇同步

將任何鏡頭前的講者替換為您自己的角色，同時保持動作、表情和嘴型與原始音頻對齊。這個以 Wan 2.2 動畫：角色交換與唇同步為核心的 ComfyUI 工作流程，從輸入視頻中檢測身體姿勢和面部幀，並將其重新定向到單一參考圖像，呈現出一致的、語音同步的結果。

這個工作流程適合那些希望在採訪、影片、VTubing、幻燈片或配音短片中進行可靠角色替換的編輯者、創作者和研究人員。提供一個源剪輯和一個乾淨的參考圖像；管道會在新角色上重新創建姿勢和唇部表達，並將原始音軌混合到最終輸出中。

Comfyui Wan 2.2 動畫：角色交換與唇同步工作流程中的關鍵模型

Wan 2.2 Animate 14B (FP8 scaled)：合成重新定向角色的核心視頻生成器，使用姿勢、面部和上下文信號。Model hub
Wan 2.1 VAE (bf16)：在採樣和輸出過程中由 Wan 使用的視頻潛在編碼/解碼器。Weights
UMT5‑XXL Text Encoder (bf16)：構建文本嵌入以進行輕量提示或鏡頭描述。Weights
CLIP Vision H：從參考肖像中提取堅固的圖像特徵以保留身份。Weights
Lightx2v I2V 14B LoRA：在使用參考幀驅動時改進圖像到視頻的穩定性和保真度。LoRA
Wan22 Relight LoRA：幫助在鏡頭中保持一致的陰影和重新照明。LoRA
YOLOv10m (ONNX)：在姿勢估計之前使用的快速人臉檢測。Model
ViTPose WholeBody Large (ONNX)：高質量的骨架關鍵點，用於全身運動轉移。Model
Segment Anything 2.1：用於創建指導替換的乾淨前景蒙版的分割。Repo

如何使用 Comfyui Wan 2.2 動畫：角色交換與唇同步工作流程

該圖表通過七個組來運行：加載輸入、構建參考、預處理姿勢/面部和蒙版、加載生成模型、運行角色替換、預覽診斷，然後導出帶有音頻。

加載視頻

使用 VHS_LoadVideo (#63) 導入您的源剪輯。該節點提供可選的寬度/高度進行調整大小，並輸出視頻幀、音頻和幀數以供下游使用。如果您希望更快的處理速度，請將剪輯修剪至接近講話部分。音頻會被傳遞給導出器，以便最終視頻保持與原始音軌對齊。

參考圖像

提供目標角色的單一乾淨肖像。使用 ImageResizeKJv2 (#64) 將圖像調整為符合您的工作分辨率，並作為 CLIP Vision 和生成器使用的標準參考。選擇一個清晰、正面朝向且光線類似於您的源鏡頭的圖像，以減少顏色和陰影漂移。

預處理

OnnxDetectionModelLoader (#178) 加載 YOLO 和 ViTPose，然後 PoseAndFaceDetection (#172) 分析每幀以產生全身關鍵點和每幀面部裁剪。Sam2Segmentation (#104) 使用檢測的邊界框或關鍵幀點創建前景蒙版；如果一個提示失敗，請切換到另一個以獲得更好的分離。蒙版使用 GrowMaskWithBlur (#182) 進行精細化，並使用 BlockifyMask (#108) 進行區塊化，為生成器提供穩定且明確的主題區域。選擇性的覆蓋 (DrawViTPose (#173) 和 DrawMaskOnImage (#99)) 幫助您在生成之前視覺驗證姿勢覆蓋和蒙版質量。

模型

WanVideoModelLoader (#22) 加載 Wan 2.2 Animate 14B，WanVideoVAELoader (#38) 提供 VAE。身份特徵由 CLIPVisionLoader (#71) 和 WanVideoClipVisionEncode (#70) 從參考肖像中編碼。樣式和穩定性由 WanVideoLoraSelectMulti (#171) 調整，同時 WanVideoSetLoRAs (#48) 和 WanVideoSetBlockSwap (#50) 將 LoRAs 和區塊交換設置應用於模型；這些工具來自 Wan 包裝庫。請參閱 ComfyUI‑WanVideoWrapper 以獲取實施細節。

角色替換

WanVideoTextEncodeCached (#65) 接受一個簡短的描述性提示，如果您希望調整外觀或鏡頭氛圍。WanVideoAnimateEmbeds (#62) 將參考圖像、每幀姿勢、面部裁剪、背景和蒙版融合成圖像嵌入，保留身份的同時匹配動作和嘴型。然後 WanVideoSampler (#27) 渲染幀；其調度程序和步驟控制清晰度與運動的權衡。從 WanVideoDecode (#28) 解碼的幀交給尺寸/計數檢查器，以便您在導出之前確認尺寸。

結果拼貼

為快速質量檢查，工作流程使用 ImageConcatMulti (#77, #66) 將關鍵輸入串聯成一個簡單的對比條，包含參考、面部裁剪、姿勢可視化和原始幀。用於在測試通過後快速檢查身份提示和嘴型。

輸出

VHS_VideoCombine (#30) 生成最終視頻並混合原始音頻以保持完美時間。包含其他導出器，以便您可以在需要時保存中間診斷或替代剪輯。對於較長的剪輯，先導出一個短測試，然後在提交完整渲染之前迭代 LoRA 混合和蒙版以獲得最佳結果。

Comfyui Wan 2.2 動畫：角色交換與唇同步工作流程中的關鍵節點

VHS_LoadVideo (#63)
一步加載幀和原始音頻。使用它設置符合您 GPU 預算的工作分辨率，並確認下游節點將消耗的幀數。來自 ComfyUI‑VideoHelperSuite。

PoseAndFaceDetection (#172)
運行 YOLO 和 ViTPose 以提取人物框、全身關鍵點和每幀面部裁剪。好的關鍵點是可信運動轉移的骨幹，並直接用於唇部表達。來自 ComfyUI‑WanAnimatePreprocess。

Sam2Segmentation (#104)
使用邊界框或關鍵幀點提示構建環繞主題的前景蒙版。如果頭髮或手被漏掉，請切換提示類型或在區塊化之前擴大模糊/增長設置。來自 ComfyUI‑segment‑anything‑2。

WanVideoLoraSelectMulti (#171)
允許您混合 LoRAs，如 Lightx2v 和 Wan22 Relight，以平衡運動穩定性、光線一致性和身份強度。增加 LoRA 的權重以獲得更多影響，但注意面部過度風格化。來自 ComfyUI‑WanVideoWrapper。

WanVideoAnimateEmbeds (#62)
將參考肖像、姿勢圖像、面部裁剪、背景幀和蒙版組合成一個緊湊的表示，條件化 Wan 2.2 動畫。確保 width、height 和 num_frames 與您打算的導出匹配，以避免重新採樣伪影。來自 ComfyUI‑WanVideoWrapper。

WanVideoSampler (#27)
生成最終幀。當您需要更清晰的細節時，使用更高的步驟和更穩定的調度程序，或者使用較輕的計劃進行快速預覽。對於非常長的剪輯，您可以選擇通過接線 WanVideoContextOptions (#110) 引入上下文窗口控件，以保持窗口間的時間一致性。

VHS_VideoCombine (#30)
導出完成的視頻並混合原始音頻以保持唇部運動同步。修剪到音頻選項保持持續時間與音軌對齊。來自 ComfyUI‑VideoHelperSuite。

可選額外功能

使用銳利、正面對齊的參考，嘴唇自然，以獲得最乾淨的身份轉移；避免濃妝或遮擋。
如果分割未捕捉到頭髮或配件，嘗試在 Sam2Segmentation 提示之間切換邊界框和關鍵幀點，然後在區塊化之前稍微增大蒙版。
Lightx2v LoRA 改善 I2V 穩定性；Wan22 Relight LoRA 幫助匹配不一致的光線。小的權重變化可以解決閃爍而不會過度風格化。
區塊交換可以減少長鏡頭的身份漂移；如果面部隨時間變軟，請在 WanVideoSetBlockSwap (#50) 中啟用它並重新測試。
保持工作分辨率與源比例，以防止縱橫比失真；僅在參考圖像細節足夠支持時進行放大。
對於有能力的運行時，啟用 torch 編譯和包裝節點中的高效注意力可以加速採樣；請參閱 ComfyUI‑WanVideoWrapper 以獲取指導。

這個 Wan 2.2 動畫：角色交換與唇同步工作流程，提供一致的運動轉移和語音同步的嘴型，設定簡單，使高質量的角色交換在 ComfyUI 中快速且可重複。

感謝

這個工作流程實現並構建在以下作品和資源之上。我們誠摯感謝 @MDMZ 建立整個工作流程，Kijai 為 WAN 2.2 動畫和相關 ComfyUI 節點，Wan-AI 提供 Wan2.2-Animate 資產包括 YOLOv10m 檢測，以及 Comfy-Org 提供 Wan 2.1 Clip Vision 模型的貢獻和維護。欲了解權威細節，請參閱以下鏈接的原始文檔和存儲庫。