MimicMotion | 人類動作視頻生成

MimicMotion 是什麼

MimicMotion 是一個由騰訊和上海交通大學的研究人員開發的可控視頻生成框架。它可以根據任何提供的動作指導生成任意長度的高品質視頻。與以往的方法相比，MimicMotion 在生成具有豐富細節、良好時間平滑性和長序列生成能力的視頻方面表現出色。

MimicMotion 如何運作

MimicMotion 以參考圖像和姿勢指導作為輸入，然後生成一個匹配參考圖像外觀並遵循提供的動作序列的視頻。

一些關鍵創新使 MimicMotion 的性能更強大：

1. 信心感知姿勢指導：通過融合姿勢信心信息，MimicMotion 在時間平滑性方面表現更佳，對噪聲訓練數據的魯棒性更強，這有助於其良好的泛化能力。
2. 區域損失放大：更加專注於高信心姿勢區域的損失，特別是手部，顯著減少生成視頻中的圖像失真。
3. 漸進潛在融合：為了高效生成平滑、長時間的視頻，MimicMotion 生成具有重疊幀的視頻片段，並逐步融合其潛在表示。這允許在受控計算成本下生成任意長度的視頻。

該模型首先在大型視頻數據集上進行預訓練，然後針對動作模仿任務進行微調。這種高效的訓練流程不需要大量專門數據。

如何使用 ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

在測試了 ComfyUI 中可用的不同 MimicMotion 節點後，我們建議使用 ，以獲得最佳效果。

步驟 1：準備您的 MimicMotion 輸入

要開始使用 ComfyUI MimicMotion 進行動畫製作，您需要兩個關鍵材料：

• 參考圖像：這是動畫的起始幀。選擇一張清晰描繪您希望動畫化主題的圖像。
• 姿勢圖像：這些圖像定義動作序列。每張姿勢圖像應顯示動畫中主題在特定時間點的期望位置或姿勢。您可以手動創建這些姿勢圖像，也可以使用姿勢估計工具從視頻中提取姿勢。

🌟確保您的參考圖像和姿勢圖像具有相同的分辨率和縱橫比，以獲得最佳效果。🌟

步驟 2：加載 MimicMotion 模型

ComfyUI MimicMotion 需要 MimicMotion 模型才能正常運作。在 RunComfy 中，模型已經預加載以方便使用。要配置 "DownLoadMimicMotionModel" 節點，請按照以下步驟操作：

• 將 "model" 參數設置為 "MimicMotion-fp16.safetensors"（或適當的模型文件名，如有不同）。
• 根據您的 GPU 能力選擇所需的精度（fp32、fp16 或 bf16）。此選擇可能會影響性能和兼容性。
• 除非您特別想使用該模型的 LCM（潛在條件運動）變體，否則將 "lcm" 參數設置為 False。

一旦您配置了節點設置，將 "DownloadAndLoadMimicMotionModel" 節點的輸出連接到工作流程中下一個節點的輸入。這將確保在 ComfyUI 管道後續步驟中正確利用加載的 MimicMotion 模型。

步驟 3：配置 MimicMotion Sampler

"MimicMotionSampler" 節點負責根據您的輸入生成動畫幀。以下是設置方法：

• 添加 "MimicMotionSampler" 節點，並將其連接到 "DownloadAndLoadMimicMotionModel" 節點的輸出。
• 將 "ref_image" 參數設置為您的參考圖像，將 "pose_images" 參數設置為您的姿勢圖像序列。
• 根據您的喜好調整取樣設置：
  • "steps" 確定擴散步驟的數量（值越高，結果越平滑，但處理時間越長）。
  • "cfg_min" 和 "cfg_max" 控制條件指導的強度（值越高，越接近於姿勢圖像）。
  • "seed" 設置隨機種子以便可重複性。
  • "fps" 指定生成動畫的每秒幀數。
  • 微調其他參數，如 "noise_aug_strength"、"context_size" 和 "context_overlap"，以實驗不同的風格和時間一致性。

步驟 4：解碼潛在樣本

"MimicMotionSampler" 節點輸出動畫幀的潛在空間表示。要將這些潛在表現轉換為實際圖像，您需要使用 "MimicMotionDecode" 節點：

• 添加 "MimicMotionDecode" 節點，並將其連接到 "MimicMotionSampler" 節點的輸出。
• 設置 "decode_chunk_size" 參數以控制同時解碼的幀數（更高的值可能會消耗更多的 GPU 記憶體）。 "MimicMotionDecode" 節點的輸出將是最終的動畫幀的圖像格式。

步驟 5：使用 MimicMotionGetPoses 增強姿勢

如果您想將提取的姿勢與參考圖像一起可視化，您可以使用 "MimicMotionGetPoses" 節點：

• 將 "ref_image" 和 "pose_images" 連接到 "MimicMotionGetPoses" 節點。
• 設置 "include_body"、"include_hand" 和 "include_face" 參數，以控制顯示哪些姿勢關鍵點。 輸出將包含帶有提取姿勢的參考圖像和單獨的姿勢圖像。

提示與最佳實踐

以下是一些提示，幫助您充分利用 ComfyUI MimicMotion：

• 嘗試不同的參考圖像和姿勢序列，以創建多種動畫。
• 根據需要調整取樣設置，以平衡質量和處理時間。
• 使用高品質、一致的姿勢圖像以獲得最佳效果。避免姿勢之間的透視或光照的劇烈變化。
• 監控您的 GPU 記憶體使用情況，特別是在處理高分辨率圖像或長動畫時。
• 利用 "DiffusersScheduler" 節點自定義噪聲調度以獲得獨特效果。

ComfyUI MimicMotion 是一個強大而多功能的工具，使您可以輕鬆創建驚人的動畫。通過理解工作流程並探索各種參數，您將能夠輕鬆地為任何人製作動畫。在您進入動畫世界時，記得嘗試、迭代並在整個過程中享受樂趣。使用 ComfyUI MimicMotion，可能性是無限的，享受將您的創意願景變為現實的過程！