角色 & 姿勢 & 背景替換 V3 — Wan2.2 Animate 視頻角色交換、姿勢轉移和背景控制#
這個 ComfyUI 工作流程將源運動片段和單一參考圖像轉換成一個新視頻，讓角色身份、姿勢和背景都在您的控制之下。角色 & 姿勢 & 背景替換 V3 保持源運動結構穩定，同時交換主題、轉移身體和面部行為，並可選擇性地替換或混合場景。
專為需要快速、引導管道的創作者設計，它將 Wan2.2 Animate 與 SAM 3.1 分割和 SDPose 配對，以獲得強大的個人遮罩和姿勢指導。使用它進行角色替換、姿勢轉移動畫或在一個畫布中進行完整場景刷新，並提供實用的開關和預覽。
ComfyUI 角色 & 姿勢 & 背景替換 V3 工作流程中的關鍵模型#
- Wan2.2 Animate 14B。生成視頻的骨幹，從圖像、姿勢和文本指導中渲染最終幀。它支持圖像調節和 LoRA 適配器以進行風格或重新照明控制。 Model card
- SAM 3.1。高質量的分割模型，用於從幀或參考圖像中提取或細化個人遮罩，驅動乾淨的合成和重繪。 Checkpoints
- SDPose。用於創建精確的姿勢圖和面部裁剪的全身關鍵點提取與繪圖工具包，指導運動和表情轉移。它還提供在此圖中使用的 RT-DETR 檢測權重。 Repository
- ViTPose-L WholeBody ONNX。由預處理節點使用的強大多人關鍵點估計器，用於密集的身體、手部和面部標記點。 Checkpoint
如何使用 ComfyUI 角色 & 姿勢 & 背景替換 V3 工作流程#
該工作流程有三個支柱：指導構建、背景控制和渲染。指導來自您的身份靜止圖像以及從運動片段中提取的姿勢和面部信號。背景控制提供三種可互換的模式。渲染使用 Wan2.2 Animate 與可選的 LoRAs，然後導出一個準備分享的視頻。
圖像加載#
在圖像加載組中加載您的身份或目標角色圖像。圖像會被調整大小以適應模型，並預覽以快速檢查。這個圖像設置了角色 & 姿勢 & 背景替換 V3 的外觀，而運動來自源片段。如果圖像有乾淨的主題，結果將更可靠地跟踪身份。
視頻加載#
使用 VHS_LoadVideo (#63) 在視頻加載組中導入運動源。該節點暴露幀率和總幀數以便於下游安排，並決定渲染器將生成多少幀。如果提供了音頻，則會傳遞到最終導出中。使用文件小工具進行修剪或子採樣，當您需要更短的預覽時。
面部和姿勢區域#
面部和姿勢區域構建兩個關鍵指導流。它檢測人物和面部，然後使用 SDPoseKeypointExtractor (#690) 提取全身關鍵點，並通過 SDPoseDrawKeypoints (#688) 將它們繪製成乾淨的控制圖像。像 RTDETR_detect (#771) 這樣的輔助檢測器和預處理加載器提供強大的身體和面部框。對於多人鏡頭，切換 "Multi-person detection" 控制和 "Detection source" 開關以選擇是否在源或背景替換分支上檢測姿勢。
SAM 3.1 遮罩和細化#
Sam3.1 遮罩組使用 SAM3_Detect (#753) 創建主題遮罩。您可以通過 CLIPTextEncode (#754) 以文本引導，並使用 PointsEditor (#758) 點擊微調選擇。然後，兩個細化器使遮罩達到生產就緒：GrowMaskWithBlur (#502) 柔和地擴展和羽化邊緣，BlockifyMask (#401) 平滑區塊邊界以避免鋸齒狀輪廓。實時疊加預覽 (DrawMaskOnImage (#391)) 幫助您確認剪裁前的渲染效果。
背景替換區域#
您可以：
- 保持原場景。
- 使用
LoadImage(#785) 替換為靜態照片。 - 使用
VHS_LoadVideo(#790) 替換為動態視頻。
簡單的切換選擇行為，您選擇的分支會調整大小以匹配運動幀，然後與個人遮罩合成。如果您需要平面顏色舞台外觀，綠幕子組提供一個在幀之間保持穩定的實心背景。
Uni3C 運動選項#
對於需要增加鏡頭漂移或運動平滑的鏡頭，Uni3C 組加載控制模型，並使用 WanVideoUni3C_ControlnetLoader (#538) 和 WanVideoUni3C_embeds (#546) 將調整大小的源片段轉換為運動嵌入。強度控制和開始或結束安排讓您可以在序列中淡入或淡出效果。
角色替換 - 嵌入階段#
WanVideoAnimateEmbeds (#62) 將一切融合到角色替換路徑中：VAE、CLIP-Vision 圖像特徵、您的身份圖像、SDPose 姿勢圖、可選的面部裁剪、個人遮罩和可選的背景引導。寬度、高度和幀數繼承自視頻，因此運動對齊保持精確。當您希望新主題完全像原演員一樣移動時，使用此模式。
運動轉移 - 嵌入階段#
第二個 WanVideoAnimateEmbeds (#904) 提供一個以運動轉移為主的路徑，當您只需將姿勢和表情應用於圖像主題時，放棄背景和遮罩。每次只應激活一個嵌入階段。選擇符合您目標的模式，然後上游 Any-Switch 將選擇的嵌入轉發。
取樣區域和 LoRA 控制#
WanVideoSamplerSettings (#530) 將 Wan2.2 模型、選擇的圖像嵌入、可選的文本嵌入、Uni3C 運動嵌入和您的種子匯集在一起。使用 WanVideoLoraSelectMulti (#467) 選擇 LoRA 堆疊，並由 WanVideoSetLoRAs (#48) 應用，這對於重新照明、風格或穩定化很有用。WanVideoSamplerFromSettings (#531) 生成潛在視頻，WanVideoDecode (#28) 將其轉換為幀。
預覽和導出#
預覽區域播放中間幀以供檢查，VHS_VideoCombine (#312) 以您選擇的幀率寫入最終片段，並可選擇音頻傳遞。文件名前綴宏已配置，因此每次渲染都會有時間戳。
ComfyUI 角色 & 姿勢 & 背景替換 V3 工作流程中的關鍵節點#
WanVideoAnimateEmbeds (#62, #904) 這是 Wan2.2 Animate docs 指導組裝的核心。它將外觀、姿勢、遮罩和可選的背景合併成一個與視頻大小匹配的單一圖像嵌入流。調整重要的內容：增加 pose_strength 以更接近源運動或提高 face_strength 當身份和嘴唇區域需要更緊密跟踪時。保持 num_frames 和視頻加載器的幀數一致以避免截斷。
SAM3_Detect (#753) 使用 SAM 3.1 checkpoints 生成個人遮罩。當衣物與背景融為一體時，使用提示條件或點擊點。如果遮罩噪聲較大，請在細化前使用檢測工具的邊界框減少選擇範圍。
GrowMaskWithBlur (#502) 和 BlockifyMask (#401) 來自 KJNodes repo，這些準備遮罩以進行乾淨的合成。增長和模糊將隱藏背景替換後的邊緣縫隙，而區塊化則避免主題輪廓上的階梯狀伪影。輕調整並經常預覽。
WanVideoLoraSelectMulti (#467) 和 WanVideoSetLoRAs (#48) 這些節點在 Wan2.2 Animate wrapper 中附加 LoRA 適配器。使用它們進行重新照明、獎勵或運動感覺調整。保持總強度與您的 cfg 和取樣器步驟平衡，以便 LoRAs 指導而非壓倒。
WanVideoUni3C_ControlnetLoader (#538) 和 WanVideoUni3C_embeds (#546) 在相同的取樣器 docs 內提供可選的相機和運動重定向。使用強度和開始或結束安排混合效果。對於非常緊密的跟踪鏡頭，設置強度較低以保持主題運動為主。
VHS_VideoCombine (#312) 來自視頻助手套件 repo。它將幀組裝成最終視頻，並可以從源中合併音頻。將這裡的幀率與加載器的強制率匹配以獲得1:1的時間。
可選附加功能#
- 如果您在高解析度或長片段中看到內存壓力，請在編碼或解碼節點上啟用 VAE 平鋪，並在取樣器設置中降低上下文大小。
- 當主題邊緣看起來鋸齒狀時，稍微增加遮罩增長，然後在再次渲染前調整區塊大小。
- 如果替換後顏色或曝光漂移，請嘗試使用適度強度的重新照明 LoRA，而不是提高 CFG。
- 對於繁忙的場景，先在源分支上檢測姿勢，然後僅在遮罩可靠後切換檢測到替換分支。
- 為了穩定長時間渲染，在您迭代遮罩和 LoRAs 時保持固定的
seed，然後在外觀鎖定後隨機化。
這個工作流程圍繞 Wan2.2 Animate 及其預處理伴侶構建，包含官方參考以供進一步閱讀：Wan2.2 Animate、ComfyUI‑WanVideoWrapper、ComfyUI‑WanAnimatePreprocess、SAM 3.1、SDPose 和 KJNodes。
致謝#
此工作流程實現並基於以下作品和資源。我們感謝 RunningHub 提供的工作流程參考，Wan-AI 提供的 Wan2.2-Animate-14B 模型，kijai 提供的 ComfyUI WanVideoWrapper 和 WanAnimatePreprocess 節點，以及 Comfy-Org 提供的 SAM3.1 和 SDPose 模型及其貢獻和維護。欲了解詳細信息，請參考下列原始文檔和倉庫。
資源#
- RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
- 文檔 / 發布說明: Workflow post
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
注意: 使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。
