Wan2.2 動畫 | 照片到現實動態視頻

Wan2.2 動畫：在 ComfyUI 中的全動態參考到視頻動畫

Wan2.2 動畫將單個參考圖像轉變為一個栩栩如生的表演，跟隨一個駕駛視頻的全身運動和面部表情。這個 ComfyUI Wan2.2 動畫工作流程融合了姿勢轉移、面部動作捕捉、背景控制和 LoRA 附加功能，使角色自然運動，同時身份保持不變。

專為化身、表演重現、音樂視頻和故事節拍設計，Wan2.2 動畫產生乾淨、時間穩定的剪輯，具有可選的音頻直通、質量升級和插值。它作為一個引導圖的形式提供，具有合理的默認值，因此您可以專注於創意選擇而不是技術細節。

Comfyui Wan2.2 動畫工作流程中的關鍵模型

• Wan 2.2 動畫 14B (I2V) fp8 scaled。核心視頻模型，解釋姿勢、面部、圖像和文本指導，以合成具有身份保持的運動軌跡。Model set
• Wan 2.1 VAE bf16。用於編碼/解碼 Wan 家族潛在變量的匹配 VAE，確保顏色保真度和清晰度。VAE
• UMT5‑XXL 文本編碼器。為正面和負面提示提供強大的多語言文本條件。Encoder
• CLIP ViT‑H/14 視覺編碼器。從參考圖像中提取視覺嵌入，以保持身份和風格。Paper
• 可選 Wan LoRAs。用於照明和 I2V 行為控制的輕量級適配器，例如 Lightx2v I2V 14B 和 Relight。Lightx2v • Relight
• Segment Anything 2 (SAM 2)。用於隔離主體或背景的高質量圖像/視頻分割。Paper
• DWPose。用於面部/姿勢感知裁剪和遮罩的準確 2D 姿勢估計。Repo
• RIFE。快速視頻幀插值以提高播放平滑度。Paper

如何使用 Comfyui Wan2.2 動畫工作流程

整體流程。該圖表接收一個駕駛視頻和一個單一參考圖像，準備乾淨的主體/背景和面部感知裁剪，然後將姿勢、面部、圖像和文本嵌入物餵入 Wan2.2 動畫進行採樣和解碼。最後階段升級細節並在導出前可選插值幀。

• 模型
  • 這組加載 Wan2.2 動畫基礎、匹配 VAE、文本/視覺編碼器和任何選擇的 LoRAs。WanVideoModelLoader (#22) 和 WanVideoSetLoRAs (#48) 連接模型和適配器，而 WanVideoVAELoader (#38) 和 CLIPLoader (#175) 提供 VAE 和文本骨幹。
  • 如果您打算調整 LoRAs（例如，重新照明或 I2V 風格），每次只激活一個或兩個，以避免衝突，然後使用提供的拼貼節點預覽。

尺寸

• 在尺寸組中設置您的目標 width 和 height，並確認 frame_count 與您計劃從駕駛視頻加載的幀匹配。VHS_LoadVideo (#63) 報告計數；保持採樣器的 num_frames 一致，以避免尾部截斷。
• PixelPerfectResolution (#152) 幫助器讀取駕駛剪輯，以建議穩定生成尺寸。

背景遮罩

• 在 VHS_LoadVideo (#63) 中加載您的駕駛視頻；音頻會自動提取以供後續直通使用。使用 PointsEditor (#107) 在主體上放置一些正點，然後運行 Sam2Segmentation (#104) 以生成乾淨的遮罩。
• GrowMask (#100) 和 BlockifyMask (#108) 穩定並擴展邊緣，而 DrawMaskOnImage (#99) 提供快速的理智檢查。這個遮罩讓 Wan2.2 動畫專注於表演者，同時尊重原始背景。

參考圖像

• 投入一個單一的、光線良好的肖像或全身靜止圖像。ImageResizeKJv2 (#64) 將其匹配到您的工作分辨率，並將輸出存儲在動畫階段中。
• 為了獲得最佳的身份保留，選擇一個面部清晰且遮擋最少的參考圖像。

面部圖像

• 管道構建了一個面部感知裁剪以驅動微表情。DWPreprocessor (#177) 找到姿勢關鍵點，FaceMaskFromPoseKeypoints (#120) 隔離面部區域，ImageCropByMaskAndResize (#96) 產生對齊的面部裁剪。包括一個小型預覽導出器以快速質量檢查（VHS_VideoCombine (#112)）。

採樣和解碼

• 參考圖像通過 WanVideoClipVisionEncode (#70) 嵌入，提示通過 CLIPTextEncode (#172, #182, #183) 編碼，所有內容由 WanVideoAnimateEmbeds (#62) 融合。
• WanVideoSampler (#27) 運行核心 Wan2.2 動畫擴散。您可以在“上下文窗口”模式下工作以處理非常長的剪輯，或使用原始長生成路徑；附帶的說明解釋了何時將上下文窗口與幀計數匹配以保持穩定性。採樣器的輸出由 WanVideoDecode (#28) 解碼並保存，並可選音頻直通（VHS_VideoCombine (#30)）。

結果拼貼

• ImageConcatMulti (#77, #66) 和 GetImageSizeAndCount (#42) 組裝參考、面部、姿勢和輸出的並排面板。用於在最終導出之前檢查身份和運動對齊。

升級和插值

• UltimateSDUpscaleNoUpscale (#180) 使用提供的 UNet (UNETLoader (#181)) 和 VAE (VAELoader (#184)) 精細化邊緣和紋理；正/負提示可以輕微引導細節。
• RIFEInterpolation (#188) 可選地加倍運動平滑度，VHS_VideoCombine (#189) 寫入最終的 Wan2.2 動畫剪輯。

Comfyui Wan2.2 動畫工作流程中的關鍵節點

• VHS_LoadVideo (#63)

  • 角色。加載駕駛視頻，輸出幀，提取音頻，並報告幀計數以保持下游一致性。
  • 提示。保持報告的幀總數與採樣器的生成長度對齊，以防止提前截斷或黑幀。

• Sam2Segmentation (#104) + PointsEditor (#107)

  • 角色。交互式主體遮罩，幫助 Wan2.2 動畫專注於表演者，避免背景纏結。
  • 提示。幾個放置良好的正點加上一個適度的 GrowMask 通常會穩定複雜的背景而不產生光暈。參見 SAM 2 以獲得視頻感知分割指導。Paper

• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)

  • 角色。從檢測到的關鍵點派生出穩健的面部遮罩和對齊的裁剪，以改善唇部、眼睛和下巴的保真度。
  • 提示。如果表情看起來很平淡，請確認面部遮罩覆蓋整個下巴線和臉頰；在調整點後重新運行裁剪。Repo

• WanVideoModelLoader (#22) 和 WanVideoSetLoRAs (#48)

  • 角色。加載 Wan2.2 動畫並應用可選 LoRAs 用於重新照明或 I2V 偏差。
  • 提示。在診斷照明或運動工件時每次激活一個 LoRA；謹慎堆疊以避免過度約束。Models • LoRAs

• WanVideoAnimateEmbeds (#62) 和 WanVideoSampler (#27)

  • 角色。將圖像、面部、姿勢和文本條件融合為視頻潛在變量，並使用 Wan2.2 動畫對序列進行採樣。
  • 提示。對於非常長的剪輯，切換到上下文窗口模式，並保持其長度與預期的幀計數同步，以保持時間一致性。Wrapper repo

• UltimateSDUpscaleNoUpscale (#180)

  • 角色。解碼後的輕量級細節處理，支持平鋪以保持內存穩定。
  • 提示。如果看到平鋪縫隙，適度增加重疊，並保持提示引導非常柔和，以避免模型外紋理。KJNodes

• RIFEInterpolation (#188)

  • 角色。通過插入中間幀平滑運動，而不重新渲染剪輯。
  • 提示。在升級後應用插值，以便光學流看到最終的細節輪廓。Paper

可選附加功能

• 為了獲得最乾淨的身份，選擇一個銳利的正面參考，並保持配件與駕駛視頻一致。
• 如果出現背景閃爍，請細化 SAM 2 遮罩並重新運行；遮罩通常是場景洩漏的最快修復方法。
• 保持寬度和高度與目標平台和輸入的長寬比一致；在 Wan2.2 動畫中，正方形像素、16 的倍數效果良好。
• 駕駛視頻中的音頻可以在導出時傳遞；如果您喜歡靜音，請在保存節點中禁用音頻。
• 從一個 LoRA 開始；如果您同時添加重新照明和 I2V，請先分別測試每一個，以了解它們的影響。

您可能會覺得有用的鏈接：

• Kijai 的 Wan2.2 動畫模型和資產：WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• 使用的 ComfyUI 包裝器和節點：ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

致謝

此工作流程實施並基於以下作品和資源。我們感謝 Wan2.2 和 @ArtOfficialLabs 對 Wan2.2 動畫演示的貢獻和維護。有關權威細節，請參考以下鏈接的原始文檔和存儲庫。

資源

• Wan2.2/Wan2.2 動畫演示
  • 文檔 / 發布說明：Wan2.2 Animate Demo @ArtOfficialLabs

注意：使用參考的模型、數據集和代碼受其作者和維護者提供的相應許可和條款的約束。