Wan 2.2 Animate V2 | 實境姿勢視頻生成器

Wan 2.2 Animate V2 姿勢驅動視頻生成工作流程 for ComfyUI

Wan 2.2 Animate V2 是一個姿勢驅動的視頻生成工作流程，將單個參考圖像加上驅動姿勢視頻轉換為逼真且保持身份的動畫。它在第一版的基礎上，提供了更高的保真度、更平滑的運動和更好的時間一致性，同時緊密跟隨來源視頻的全身運動和表情。

這個 ComfyUI 工作流程專為想要快速可靠的角色動畫、舞蹈片段和表演驅動敘事的創作者設計。它結合了強大的預處理（姿勢、面部和主題遮罩）與 Wan 2.2 模型家族和可選的 LoRAs，因此您可以自信地調整風格、照明和背景處理。

ComfyUI Wan 2.2 Animate V2 工作流程中的關鍵模型

• Wan 2.2 Animate 14B。核心視頻擴散模型，從多模態嵌入合成時間一致的幀。權重：Kijai/WanVideo_comfy_fp8_scaled (Wan22Animate)。
• Wan 2.1 VAE。Wan 家族使用的潛在視頻解碼器/編碼器，重建 RGB 幀時損失最小。權重：Wan2_1_VAE_bf16.safetensors。
• UMT5‑XXL 文本編碼器。編碼提示以指導外觀、場景和電影效果。權重：umt5‑xxl‑enc‑bf16.safetensors。
• CLIP Vision (ViT‑H/14)。從參考圖像中提取保持身份的特徵。論文：CLIP。
• ViTPose Whole‑Body (ONNX)。估算驅動運動轉移的密集身體關鍵點。模型：ViTPose‑L WholeBody 和 ViTPose‑H WholeBody。論文：ViTPose。
• YOLOv10 檢測器。提供人框以穩定姿勢檢測和分割。示例：yolov10m.onnx。
• Segment Anything 2。高質量的主題遮罩，用於背景保護、合成或重新照明預覽。倉庫：facebookresearch/segment-anything-2。
• 可選的 LoRAs 用於風格和光線傳輸。對於 Wan 2.2 Animate V2 輸出中的重新照明和紋理細節非常有用。示例：Lightx2v 和 Wan22_relight。

如何使用 ComfyUI Wan 2.2 Animate V2 工作流程

從高層次來看，管道從驅動視頻中提取姿勢和面部提示，從單個參考圖像中編碼身份，選擇性地使用 SAM 2 遮罩隔離主題，然後合成一個與運動匹配且保持身份的視頻。工作流程組織為四組，協作產生最終結果，並提供兩個便捷輸出以快速質量檢查（姿勢和遮罩預覽）。

參考圖像

此組加載您的肖像或全身圖像，將其調整為目標解析度，並在整個圖形中提供。調整大小後的圖像由 Get_reference_image 存儲並重用，並預覽以便您快速評估構圖。身份特徵由 WanVideoClipVisionEncode (CLIP Vision) (#70) 編碼，並且相同的圖像作為 ref_images 饋送至 WanVideoAnimateEmbeds (#62) 以增強身份保護。提供清晰、光線充足的參考，與驅動視頻中的主題類型匹配，以獲得最佳效果。頭部空間和最小遮擋有助於 Wan 2.2 Animate V2 鎖定面部結構和服裝。

預處理

驅動視頻使用 VHS_LoadVideo (#191) 加載，暴露幀、音頻、幀數和源 fps，以便後續使用。姿勢和面部提示由 OnnxDetectionModelLoader (#178) 和 PoseAndFaceDetection (#172) 提取，然後使用 DrawViTPose (#173) 可視化，以便您確認跟踪質量。主題隔離由 Sam2Segmentation (#104) 處理，隨後是 GrowMaskWithBlur (#182) 和 BlockifyMask (#108) 以產生乾淨、穩定的遮罩；助手 DrawMaskOnImage (#99) 預覽遮罩。該組還標準化驅動視頻的寬度、高度和幀數，以便 Wan 2.2 Animate V2 可以在無需猜測的情況下匹配空間和時間設置。快速檢查導出為短視頻：姿勢疊加和遮罩預覽，用於零次驗證。

模型

WanVideoVAELoader (#38) 加載 Wan VAE，WanVideoModelLoader (#22) 加載 Wan 2.2 Animate 主體。可選的 LoRAs 在 WanVideoLoraSelectMulti (#171) 中選擇，並通過 WanVideoSetLoRAs (#48) 應用；WanVideoBlockSwap (#51) 可以通過 WanVideoSetBlockSwap (#50) 啟用，以進行影響風格和保真度的架構調整。提示由 WanVideoTextEncodeCached (#65) 編碼，而 WanVideoClipVisionEncode (#70) 將參考圖像轉換為堅固的身份嵌入。WanVideoAnimateEmbeds (#62) 將 CLIP 特徵、參考圖像、姿勢圖像、面部裁剪、可選的背景幀、SAM 2 遮罩以及選擇的解析度和幀數融合為單一動畫嵌入。該飼料驅動 WanVideoSampler (#27)，合成潛在視頻，與您的提示、身份和運動提示一致，而 WanVideoDecode (#28) 則將潛在轉回 RGB 幀。

結果拼貼

為了幫助比較輸出，工作流程組裝了一個簡單的並排：生成的視頻與顯示參考圖像、面部裁剪、姿勢疊加和驅動視頻幀的豎條相並列。ImageConcatMulti (#77, #66) 構建了視覺拼貼，然後 VHS_VideoCombine (#30) 渲染了一個“Compare” mp4。最終的乾淨輸出由 VHS_VideoCombine (#189) 渲染，並且還從驅動器中攜帶音頻，以便快速回顧剪輯。這些導出使得評估 Wan 2.2 Animate V2 如何跟隨運動、保持身份和維持預期背景變得容易。

ComfyUI Wan 2.2 Animate V2 工作流程中的關鍵節點

VHS_LoadVideo (#191)
加載驅動視頻並暴露幀、音頻和用於整個圖形的元數據。保持主題完全可見，並且運動模糊最小，以便更強的關鍵點跟踪。如果您想要更短的測試，限制加載的幀數；保持源 fps 在下游一致，以避免最終合成中的音頻不同步。

PoseAndFaceDetection (#172)
運行 YOLO 和 ViTPose 以生成全身關鍵點和直接指導運動轉移的面部裁剪。將圖像從加載器和標準化的寬度和高度提供給它；可選的 retarget_image 輸入允許在需要時適應不同構圖的姿勢。如果姿勢疊加顯得噪音大，請考慮質量更高的 ViTPose 模型，並確保主題沒有被嚴重遮擋。參考：ComfyUI‑WanAnimatePreprocess。

Sam2Segmentation (#104)
生成可以在 Wan 2.2 Animate V2 中保護背景或本地化重新照明的主題遮罩。您可以使用 PoseAndFaceDetection 檢測到的邊界框或在需要時繪製快速正點以細化遮罩。將其與 GrowMaskWithBlur 配對以獲得更乾淨的快速運動邊緣，並使用遮罩預覽導出查看結果。參考：Segment Anything 2。

WanVideoClipVisionEncode (#70)
使用 CLIP Vision 編碼參考圖像，以捕捉身份提示，如面部結構、髮型和服裝。您可以平均多個參考圖像以穩定身份或使用負面圖像來抑制不需要的特徵。中心裁剪和一致的照明有助於產生更強的嵌入。

WanVideoAnimateEmbeds (#62)
融合身份特徵、姿勢圖像、面部裁剪、可選的背景幀和 SAM 2 遮罩為單一動畫嵌入。將 width、height 和 num_frames 與您的驅動視頻對齊以減少偽影。如果看到背景漂移，請提供乾淨的背景幀和實心遮罩；如果面部漂移，請確保面部裁剪存在且光線充足。

WanVideoSampler (#27)
生成由您的提示、LoRAs 和動畫嵌入指導的實際視頻潛在。對於長片段，選擇滑動窗口策略或模型的上下文選項；將窗口化與剪輯長度匹配以平衡運動清晰度和長程一致性。調整調度器和指導強度以權衡保真度、風格遵循和運動平滑度，並考慮啟用塊交換，如果您的 LoRA 堆疊受益於此。

可選額外功能

• 從乾淨的驅動剪輯開始：穩定的攝像機、簡單的照明和最小的遮擋給 Wan 2.2 Animate V2 提供最佳機會，以清晰地跟踪運動。
• 使用與目標服裝和構圖相匹配的參考；避免與您的提示或 LoRAs 相衝突的極端角度或重濾鏡。
• 使用 SAM 2 遮罩保留或替換背景；在合成時，保持邊緣足夠柔和，以避免快速運動時的光暈。
• 從加載到導出保持 fps 一致，以在攜帶音頻時保持唇同步和節拍對齊。
• 為了快速迭代，先測試短片段，然後在姿勢、身份和照明效果正確後擴展幀範圍。

此工作流程中使用的有用資源：

• 預處理節點：kijai/ComfyUI‑WanAnimatePreprocess
• ViTPose ONNX 模型：ViTPose‑L、ViTPose‑H 模型 和 數據
• YOLOv10 檢測器：yolov10m.onnx
• Wan 2.2 Animate 14B 權重：Wan22Animate
• LoRAs：Lightx2v、Wan22_relight

致謝

此工作流程實施並基於以下工作和資源。我們對 Benji’s AI Playground 的工作流程以及 Wan 團隊對 Wan 2.2 Animate V2 模型的貢獻和維護表示感謝。欲了解權威詳情，請參考以下鏈接的原始文檔和倉庫。

資源

• Wan 團隊/Wan 2.2 Animate V2
  • 文檔/發布說明：YouTube @Benji’s AI Playground

注意：使用所引用的模型、數據集和代碼須遵循其作者和維護者提供的相應許可和條款。