ComfyUI Vid2Vid 舞蹈轉移是一個強大的 ComfyUI Vid2Vid 工作流程，允許用戶將實際影片風格化並轉化為各種物體或元素。透過這個工作流程，您可以通過將原影片的動作和風格轉移到目標圖像或物體上，創造出令人驚豔的影片動畫。本教程將指導您完成實現最佳效果所需的關鍵組件和設置。
Credit
感謝 MDMZ 和 DP 為創建此工作流程所做的傑出貢獻！MDMZ 通過他的 YouTube 教程 Transform Videos with AI: Dancing Noodles Step-by-Step Tutorial 分享了他的 ComfyUI Vid2Vid 舞蹈轉移工作流程，該教程建立在 DP 的原創 DP's - Vid2Vid AniamteDiff LCM dance transfer 工作流程之上。
1. ComfyUI Vid2Vid 舞蹈轉移工作流程的功能是什麼？
ComfyUI Vid2Vid 舞蹈轉移工作流程使您能夠將實際影片轉化為風格化的動畫。它將原影片中的動作和舞蹈動作轉移到您選擇的目標圖像或物體上。
2. ComfyUI Vid2Vid 工作流程的關鍵組件
2.1 上傳影片和創建遮罩
- ComfyUI Vid2Vid 工作流程始於 VHS_LoadVideo 組件，您可以在此上傳包含您想轉移的舞蹈動作的原影片。
- LayerMask: RemBgUltra 組件用於移除影片幀中的背景，並創建主體的黑白遮罩。此遮罩對於正確識別和轉移動作至關重要。
- ImageToMask 和 MaskToImage 組件在 ComfyUI Vid2Vid 工作流程中根據需要在圖像和遮罩格式之間進行轉換。
- 🌟 重要提示：RunComfy 平台已預載 "RemBgultra model"，用於 "Layer Style" 節點。如果您自己安裝了 "Layer Style" 節點，請從您的私人文件瀏覽器中刪除 "Layer Style" 文件以避免衝突。一旦刪除 "Layer Style" 文件，工作流程將使用 RunComfy 的預載運行順利。
2.2 使用 IPAdapter 設置目標圖像
- IPAdapterAdvanced 組件用於加載和配置將接收 ComfyUI Vid2Vid 舞蹈轉移的目標圖像或物體。您可以使用 LoadImage 節點上傳目標圖像，並使用 LoadBgImage 節點上傳目標背景圖像。
- IPAdapterUnifiedLoader 用於加載 IPAdapter，該組件決定目標圖像對輸出的影響強度。
2.3 使用 AnimateDiff 進行動作轉移
- ComfyUI Vid2Vid 舞蹈轉移的核心由 AnimateDiff Latent Condition Model (LCM) 驅動。這是通過 ComfyUI Vid2Vid 中的 ADE_LoadAnimateDiffModel 組件加載的。
- 額外的組件如 ADE_AnimateDiffSamplingSettings、ADE_LoopedUniformContextOptions 和 ADE_ApplyAnimateDiffModelSimple 分別用於配置取樣設置、上下文選項並應用 AnimateDiff 模型。
- ADE_UseEvolvedSampling 組件用於在 ComfyUI Vid2Vid 中為 AnimateDiff 模型選擇合適的取樣方法。
2.4 使用 ControlNet 指導輸出
- ControlNet 用於指導和定義輸出動畫中主體的形狀和輪廓。
- ControlNetLoaderAdvanced 組件用於加載 ControlNet 模型。此工作流程使用兩個 ControlNet 模型：QR Code Monster 和 Lineart。
- ControlNet Stacker 組件用於在 ComfyUI Vid2Vid 轉移中以可調節的強度堆疊和組合 ControlNet 輸出。
2.5 使用 KSampler 生成輸出框架
- ComfyUI Vid2Vid 中的 KSampler (Efficient) 組件負責根據所有提供的配置和輸入生成輸出框架。
- 主要的 KSampler 組件處理影片幀以創建動畫預覽。它將 AnimateDiff 模型、IPAdapter 輸出、ControlNet 堆疊和其他設置作為輸入。
- 第二個 KSampler 組件用於放大和去噪 ComfyUI Vid2Vid 的輸出框架。
2.6 如有需要進行放大
- ImageScaleBy 組件用於放大輸出框架的解析度。ImageUpscaleWithModel 組件用於使用選擇的放大模型進一步放大框架。工作流程默認為禁用放大組件。如果需要，請啟用這些組件以獲得更好的結果。
