Wan 2.2 VACE | 姿勢控制的視頻生成器

Wan 2.2 VACE 姿勢驅動的視頻生成用於 ComfyUI

這個 ComfyUI 的 Wan 2.2 VACE 工作流程將單個參考圖像轉換為與源剪輯的姿勢、節奏和攝像機運動相匹配的動作視頻。它使用 Wan 2.2 VACE 在翻譯複雜的身體運動為流暢、逼真的動畫時保留身份。

專為舞蹈生成、動作轉移和創意角色動畫設計，該工作流程自動從參考圖像中提取樣式提示，從源視頻中提取運動信號，並運行一個兩階段的 Wan 2.2 取樣器，平衡運動一致性和細節。

Comfyui Wan 2.2 VACE 工作流程中的關鍵模型

• Wan 2.2 14B 文本到視頻模型（高噪聲和低噪聲變體）。雙階段使用高噪聲骨幹進行強健的運動塑形，然後使用低噪聲骨幹進行細節細化。
• Wan 2.1 VAE (bf16)。對 Wan 2.2 VACE 的潛在視頻幀進行解碼和編碼。
• Google UMT5-XXL 編碼器。提供 Wan 2.2 用於條件設置的高容量文本特徵。模型卡
• Microsoft Florence-2 (Flux Large)。從參考圖像生成豐富的字幕以啟動和風格化提示。Repo
• Depth Anything v2 (ViT-L)。從運動源視頻中生成每幀深度圖以指導結構和運動。Repo

如何使用 Comfyui Wan 2.2 VACE 工作流程

該工作流程有五個分組階段：輸入、PROMPT、模型、取樣和輸出。您提供一個參考圖像和一個短運動視頻。然後圖表計算運動指導，編碼 VACE 身份特徵，運行兩次 Wan 2.2 取樣器，並保存最終動畫和可選的並排預覽。

輸入

在 VHS_LoadVideo (#141) 中加載運動源剪輯。您可以使用簡單的控件進行修剪並限制幀以節省內存。幀被調整大小以保持一致性，然後 DepthAnythingV2Preprocessor (#135) 計算一個密集的深度序列，捕捉姿勢、佈局和攝像機運動。使用 LoadImage (#113) 加載您的身份圖像；它會自動調整大小並預覽，以便您可以在取樣前確認框架。

PROMPT

Florence2Run (#137) 分析參考圖像並返回詳細的字幕。Style Prompt (#138) 將該字幕與簡短的樣式短語連接，然後 WanVideoTextEncode (#16) 使用 UMT5-XXL 編碼最終的正負提示。如果您想要更強的創意方向，可以自由編輯樣式短語或完全替換正面提示。這個提示嵌入條件兩個取樣器階段，使生成的視頻忠實於您的參考。

模型

WanVideoVAELoader (#38) 加載用於編碼/解碼的 Wan VAE。兩個 WanVideoModelLoader 節點準備 Wan 2.2 14B 模型：一個高噪聲和一個低噪聲，每個都通過在 WanVideoExtraModelSelect (#99, #107) 中選擇的 VACE 模塊增強。可選的細化 LoRA 通過 WanVideoLoraSelect (#56, #97) 附加，讓您在不改變基礎模型的情況下調整銳度或樣式。配置設計為您可以更換 VACE 權重、LoRA 或噪聲變體而不影響圖形的其餘部分。

取樣

WanVideoVACEEncode (#100) 將三個信號融合為 VACE 嵌入：運動序列（深度幀）、您的參考圖像和目標視頻幾何。第一個 WanVideoSampler (#27) 運行高噪聲模型，直到分割步驟，以確立運動、透視和全局樣式。第二個 WanVideoSampler (#90) 從該潛在繼續，並使用低噪聲模型完成，以恢復紋理、邊緣和小細節，同時保持運動鎖定到源。短 CFG 調度和步驟分割控制每個階段對結果的影響程度。

輸出

WanVideoDecode (#28) 將最終潛在轉換回幀。您將獲得兩個保存的視頻：一個乾淨的渲染和一個並排的合併，將生成的幀與參考放在一起以便快速 QA。單獨的“深度圖預覽”顯示推斷的深度序列，以便您一目了然地診斷運動指導。幀速率和文件名設置可在 VHS_VideoCombine 輸出中進行調整 (#139, #60, #144)。

Comfyui Wan 2.2 VACE 工作流程中的關鍵節點

WanVideoVACEEncode (#100)

創建供兩個取樣器使用的 VACE 身份和幾何嵌入。提供您的運動幀和參考圖像；節點處理寬度、高度和幀數。如果您更改持續時間或比例，請保持此節點同步，以便嵌入與目標視頻佈局匹配。

WanVideoSampler (#27)

使用高噪聲 Wan 2.2 模型的第一階段取樣器。調整 steps、短 cfg 調度和 end_step 分割，以決定軌跡中分配給運動塑形的程度。較大的運動或攝像機變化受益於稍後的分割。

WanVideoSampler (#90)

使用低噪聲 Wan 2.2 模型的第二階段取樣器。將 start_step 設置為相同的分割值，以便從第一階段無縫繼續。如果看到紋理過度銳化或漂移，請減少後期 cfg 值或降低 LoRA 強度。

DepthAnythingV2Preprocessor (#135)

從源視頻中提取穩定的深度序列。使用深度作為運動指導有助於 Wan 2.2 VACE 保留場景佈局、手部姿勢和遮擋。為了快速迭代，您可以將輸入幀縮小；為了最終渲染，請提供更高分辨率的幀以獲得更好的結構保真度。

WanVideoTextEncode (#16)

使用 UMT5-XXL 編碼正負提示。提示是從 Florence2Run 自動生成的，但您可以覆蓋以進行藝術指導。保持提示簡潔；使用 VACE 身份指導，較少的關鍵詞通常會產生更乾淨、限制較少的運動轉移。

可選附加功能

• 選擇具有明確主體分離和一致照明的運動片段，以獲得最穩定的 Wan 2.2 VACE 轉移。
• 使用並排輸出驗證面部對齊和服裝連續性，然後再進行最終渲染。
• 如果運動看起來過於僵硬，請將分割提前一點，讓低噪聲階段有更多空間進行細化。
• 如果身份漂移，請稍微增加 LoRA 影響或簡化提示。
• 深度預覽是您的朋友：如果深度噪聲過大，嘗試不同的源剪輯或調整輸入調整大小以減少偽影。

感謝

此工作流程實施並基於以下作品和資源。我們感謝 ComfyUI 社區 Wan 2.2 VACE 源代碼的創作者，對工作流程的貢獻和維護。欲了解權威細節，請參閱以下鏈接的原始文檔和庫。

資源

• Wan 2.2 VACE Source/Wan 2.2 VACE Source
  • 文檔 / 發布說明: Wan 2.2 VACE @ComfyUI

注意：使用引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。