SCAIL 2 多角色參考動作轉移：ComfyUI 的多角色、身份保留動作轉移#
此工作流程提供 SCAIL 2 多角色參考動作轉移：它採用驅動視頻並將動作轉移到一個或多個參考角色，同時保留每個主體的視覺身份。它支持動作轉移和完整角色替換，處理多圖像身份參考，並生成適合講故事、對話和群組表演的一致多角色場景。
圍繞 Wan 2.1 視頻生成與 SCAIL_2 嵌入、CLIP Vision 指導和基於分割的角色掩碼構建，該流程專注於一致的身份、自然的動作和可控的整個剪輯互動。
Comfyui SCAIL 2 多角色參考動作轉移工作流程中的關鍵模型#
- 通過 ComfyUI-WanVideoWrapper 的 Wan 2.1 視頻骨幹。生成器從 SCAIL_2 圖像嵌入、視覺條件和提示文本合成視頻幀，同時處理長上下文和高效內存使用。 GitHub
- CLIP Vision 編碼器。從主要參考圖像或拼貼提供穩健的視覺嵌入，以在生成過程中引導身份和外觀。請參閱 CLIP 論文以了解圖像-文本表示學習的背景。 arXiv
- mT5 系列文本編碼器。編碼用於在幀間將內容偏向所需主題和動作的正面和負面提示。 arXiv
- 用於視頻對象跟蹤的 Segment Anything 風格分割。該工作流程使用 SAM 系列檢查點來檢測和跟蹤主體並生成每個角色的掩碼，以驅動多角色動作轉移。 SAM 分割背景： GitHub
- LoRA 適配器。可選的適配器專門為身份保留和動作保真而設計，無需重新訓練整個模型。 LoRA 調整背景： arXiv
- FeiHou 工具箱實用工具。拼貼和掩碼工具促進多圖像身份參考和 SCAIL 2 的彩色角色感知掩碼。 GitHub
- KJNodes 圖像實用工具。高質量的調整大小對齊輸入和掩碼以符合視頻尺寸以穩定采樣。 GitHub
如何使用 Comfyui SCAIL 2 多角色參考動作轉移工作流程#
該工作流程有四個主要階段：加載資產和生成器、構建多角色參考和掩碼、編譯 SCAIL_2 嵌入，然後采樣並導出最終視頻。組從上到下運行，每個步驟都提供有用的預覽。
模型加載區域#
此區域準備 Wan 2.1 骨幹及其 VAE。使用 WanAnimatePlus ModelLoader (#37) 選擇基本模型和精度，並使用 WanAnimatePlus VAELoader (#71) 來匹配 VAE。如果您計劃進一步偏向身份或動作，請使用 WanAnimatePlus LoraSelectMulti (#66) 添加適配器，然後通過 WanAnimatePlus SetLoRAs (#69) 將它們應用於模型。可選的 WanVideoTorchCompileSettings (#72) 可以通過編譯注意力塊來降低延遲。
單圖像加載#
在單圖像加載組中使用 LoadImage 提供主要身份圖像。這張圖片固定了您主要主題的外觀。如果您希望構建多個身份或角色的拼貼畫，請在快速切換組中切換到從拼貼輸入路由，而不是單一圖像。
拼貼輸入#
使用 AutoRefCollage (#370) 將多達幾個參考圖像組合成一個佈局，自動檢測人員並將裁剪放置到乾淨的畫布中。拼貼畫充當多角色身份板：每個主體提供外觀提示，用於 SCAIL 2 多角色參考動作轉移階段。一個預覽節點顯示組裝好的拼貼畫，以便您在繼續之前檢查框架。
多圖像參考#
在這裡，您還可以使用 LoadImage 加載三個或更多精選肖像，並使用 ImageBatchMulti (#331) 將它們打包。 ImageResizeKJv2 將它們的尺寸調整到與預期視頻分辨率匹配。當您希望更嚴格地控制哪些身份和角度影響外觀模型時，此路徑非常有用。
視頻加載#
VHS_LoadVideo (#297) 引入驅動視頻和音頻。您可以強制目標幀率以獲得更流暢的動作，限制總幀數以限制時長，跳過介紹片段，或每 N 幀進行采樣以加快迭代速度。單獨的“參考視頻預覽”子流程組合並播放加載的幀，以便您在跟踪之前確認剪輯正確顯示。
掩碼區域#
該工作流程檢測並跟蹤主體以創建驅動 SCAIL 2 多角色參考動作轉移的角色感知掩碼。三個 SAM3_VideoTrack 節點 (#315, #316, #306) 跟蹤驅動視頻、參考圖像和可選前綴幀中的對象。 SCAIL2ColoredMaskV2 (#354) 將這些跟蹤融合成三個輸出：姿勢視頻掩碼、彩色參考圖像掩碼和暖啟動的前綴掩碼。單角色和多角色掩碼的預覽幫助您在采樣之前驗證每種顏色是否對應於正確的角色。
動作轉移 - 嵌入處理#
WanAnimatePlus SCAIL_2 Embeds (#342) 將您的輸入轉換為生成器使用的 SCAIL_2 圖像嵌入。它結合了 VAE 特徵、CLIP Vision 嵌入、您的參考圖像或拼貼畫、背景替換（可選）、跟踪的姿勢幀和彩色掩碼。您可以以兩種模式運行：動作轉移（使用參考外觀與驅動動作）或角色替換（用參考替換輸入視頻中的人）。還有選項可以保留主要參考背景，並在長或高分辨率運行時裁剪或平鋪前綴幀。
采樣區域#
WanVideoTextEncodeCached 編碼提示，WanVideoContextOptions (#290) 控制幀間的時間窗口。 WanAnimatePlus SamplerSettings (#332) 收集模型、SCAIL_2 圖像嵌入和文本嵌入以及采樣超參數和日程； WanAnimatePlus SamplerFromSettings (#311) 執行生成。 WanAnimatePlus Decode (#267) 將潛在變量轉換為幀；如果面臨內存限制，可以在這裡啟用 VAE 平鋪。視頻通過 VHS_VideoCombine 完成並從預覽區域導出；伴隨的組合可以導出僅有掩碼的剪輯以供快速調試。
快速切換和視頻尺寸#
“true = Character Replacement | false = Motion Transfer” 開關 (#341) 可立即更改下游角色的處理方式。寬度和高度常量饋送所有調整大小和掩碼節點以保持形狀對齊。 FastGroupsBypassSwitch (#351) 允許您在單一圖像和拼貼輸入之間切換，而無需重新接線。
Comfyui SCAIL 2 多角色參考動作轉移工作流程中的關鍵節點#
SCAIL2ColoredMaskV2 (#354)#
通過合併驅動視頻、參考圖像和可選前綴幀的對象跟蹤來生成角色感知掩碼。使用 object_indices 選擇哪些跟踪 ID 成為角色，並使用 prefix_mask_mode 指定單圖像、多色佈局，當您一次驅動多個角色時。保持 replacement_mode 與全局開關一致，以便掩碼語義與嵌入階段匹配。
WanAnimatePlus SCAIL_2 Embeds (#342)#
將 VAE、CLIP Vision、多圖像參考、姿勢幀和掩碼融合成為生成器的 SCAIL_2 嵌入。當身份漂移時增加 ref_strength；當動作保真度低時提高 pose_strength。對於應保留參考背景的場景，啟用背景保留；從單個前綴幀開始時，啟用單幀前綴編碼。
SAM3_VideoTrack (#315, #316, #306)#
檢測並跟蹤幀間的主體以提供掩碼生成器。如果您未檢測到角色，請降低 detection_threshold 或允許更多 max_objects；如果跟踪不穩定，請增加 detect_interval 以減少重新檢測抖動。始終查看彩色掩碼預覽，以確保每個角色在時間上保持穩定。
VHS_LoadVideo (#297)#
控制驅動剪輯。 force_rate 設置工作 FPS，frame_load_cap 限制時長，skip_first_frames 修剪介紹，select_every_nth 允許您子采樣幀以進行更快的測試。這些控件直接影響上下文窗口和內存，因此在采樣之前調整它們。
WanAnimatePlus SamplerSettings (#332)#
持有核心生成旋鈕。 steps、scheduler 和 cfg 引導細節、平滑度和對提示的遵循； denoise_strength 控制 SCAIL_2 指導可以多大程度上重塑幀。使用 seed 輸入在細化多角色場景時保持可重現性。
WanAnimatePlus BlockSwap (#67)#
可選的內存節省器，在采樣過程中交換計算塊。在緊湊的 VRAM 預算或長幀範圍內，增加交換以防止內存不足錯誤；在高 VRAM GPU 上，減少或禁用它以提高速度。
WanAnimatePlus Decode (#267)#
將潛在變量解碼為 RGB 幀。如果您的分辨率或剪輯長度較高且解碼內存不足，請啟用平鋪 VAE 解碼並設置適當的平鋪尺寸和步幅，以便平鋪重疊清晰。
可選額外功能#
- 對於多角色剪輯，為每個角色提供至少一個乾淨、正面的肖像，並保持拼貼畫中的照明一致。
- 先使用動作轉移模式驗證掩碼和動作質量，然後在需要完全更換表演者時切換到角色替換。
- 使用僅有掩碼的視頻預覽確認角色分配和顏色穩定性，然後進行長時間渲染。
- 保持所有輸入對齊相同的寬度和高度；使用提供的調整大小節點，而不是外部工具，以避免微妙的形狀不匹配。
- 如果結果看起來過於風格化或身份偏差，降低提示強度並在嵌入階段提高參考強調；如果啟用了適配器，調整 LoRA 混合。
- 長剪輯受益於
WanVideoContextOptions中較大的上下文窗口；通過啟用 VAE 平鋪和平穩的塊交換來平衡這一點。
這個 SCAIL 2 多角色參考動作轉移工作流程旨在使多角色動作轉移可重複且可預測：準備清晰的參考，驗證掩碼，然後使用穩定設置進行采樣，以實現身份忠實的自然動作跨角色。
感謝#
此工作流程實施並建立在以下作品和資源之上。我們感謝 SCAIL 2 對 SCAIL 2 多角色參考動作轉移工作流程源的貢獻和維護。如需權威性詳細信息，請參閱下方鏈接的原始文檔和存儲庫。
資源#
- SCAIL 2/SCAIL 2 多角色參考動作轉移工作流程源
注意：所引用的模型、數據集和代碼的使用受其作者和維護者提供的相應許可和條款的約束。
