ComfyUI  >  工作流程  >  MimicMotion | 人類動作視頻生成

MimicMotion | 人類動作視頻生成

ComfyUI MimicMotion 工作流程是一個強大的工具,用於生成逼真的人類動作視頻。通過整合由騰訊和上海交通大學開發的 MimicMotion 技術,該工作流程使得詳細且平滑的動作視頻創建變得簡單。您只需提供一張參考圖像和一個動作序列,MimicMotion 將使用這些來生成模仿參考圖像外觀的視頻。

ComfyUI MimicMotion 工作流程

ComfyUI MimicMotion Workflow
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI MimicMotion 範例

ComfyUI MimicMotion 說明

MimicMotion 是什麼

MimicMotion 是一個由騰訊和上海交通大學的研究人員開發的可控視頻生成框架。它可以根據任何提供的動作指導生成任意長度的高品質視頻。與以往的方法相比,MimicMotion 在生成具有豐富細節、良好時間平滑性和長序列生成能力的視頻方面表現出色。

MimicMotion 如何運作

MimicMotion 以參考圖像和姿勢指導作為輸入,然後生成一個匹配參考圖像外觀並遵循提供的動作序列的視頻。

一些關鍵創新使 MimicMotion 的性能更強大:

  1. 信心感知姿勢指導:通過融合姿勢信心信息,MimicMotion 在時間平滑性方面表現更佳,對噪聲訓練數據的魯棒性更強,這有助於其良好的泛化能力。
  2. 區域損失放大:更加專注於高信心姿勢區域的損失,特別是手部,顯著減少生成視頻中的圖像失真。
  3. 漸進潛在融合:為了高效生成平滑、長時間的視頻,MimicMotion 生成具有重疊幀的視頻片段,並逐步融合其潛在表示。這允許在受控計算成本下生成任意長度的視頻。

該模型首先在大型視頻數據集上進行預訓練,然後針對動作模仿任務進行微調。這種高效的訓練流程不需要大量專門數據。

如何使用 ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

在測試了 ComfyUI 中可用的不同 MimicMotion 節點後,我們建議使用 ,以獲得最佳效果。

步驟 1:準備您的 MimicMotion 輸入

要開始使用 ComfyUI MimicMotion 進行動畫製作,您需要兩個關鍵材料:

  • 參考圖像:這是動畫的起始幀。選擇一張清晰描繪您希望動畫化主題的圖像。
  • 姿勢圖像:這些圖像定義動作序列。每張姿勢圖像應顯示動畫中主題在特定時間點的期望位置或姿勢。您可以手動創建這些姿勢圖像,也可以使用姿勢估計工具從視頻中提取姿勢。

🌟確保您的參考圖像和姿勢圖像具有相同的分辨率和縱橫比,以獲得最佳效果。🌟

步驟 2:加載 MimicMotion 模型

ComfyUI MimicMotion 需要 MimicMotion 模型才能正常運作。在 RunComfy 中,模型已經預加載以方便使用。要配置 "DownLoadMimicMotionModel" 節點,請按照以下步驟操作:

  • 將 "model" 參數設置為 "MimicMotion-fp16.safetensors"(或適當的模型文件名,如有不同)。
  • 根據您的 GPU 能力選擇所需的精度(fp32、fp16 或 bf16)。此選擇可能會影響性能和兼容性。
  • 除非您特別想使用該模型的 LCM(潛在條件運動)變體,否則將 "lcm" 參數設置為 False。

一旦您配置了節點設置,將 "DownloadAndLoadMimicMotionModel" 節點的輸出連接到工作流程中下一個節點的輸入。這將確保在 ComfyUI 管道後續步驟中正確利用加載的 MimicMotion 模型。

DownLoadMimicMotionModel

步驟 3:配置 MimicMotion Sampler

"MimicMotionSampler" 節點負責根據您的輸入生成動畫幀。以下是設置方法:

  • 添加 "MimicMotionSampler" 節點,並將其連接到 "DownloadAndLoadMimicMotionModel" 節點的輸出。
  • 將 "ref_image" 參數設置為您的參考圖像,將 "pose_images" 參數設置為您的姿勢圖像序列。
  • 根據您的喜好調整取樣設置:
    • "steps" 確定擴散步驟的數量(值越高,結果越平滑,但處理時間越長)。
    • "cfg_min" 和 "cfg_max" 控制條件指導的強度(值越高,越接近於姿勢圖像)。
    • "seed" 設置隨機種子以便可重複性。
    • "fps" 指定生成動畫的每秒幀數。
    • 微調其他參數,如 "noise_aug_strength"、"context_size" 和 "context_overlap",以實驗不同的風格和時間一致性。
MimicMotionSampler

步驟 4:解碼潛在樣本

"MimicMotionSampler" 節點輸出動畫幀的潛在空間表示。要將這些潛在表現轉換為實際圖像,您需要使用 "MimicMotionDecode" 節點:

  • 添加 "MimicMotionDecode" 節點,並將其連接到 "MimicMotionSampler" 節點的輸出。
  • 設置 "decode_chunk_size" 參數以控制同時解碼的幀數(更高的值可能會消耗更多的 GPU 記憶體)。 "MimicMotionDecode" 節點的輸出將是最終的動畫幀的圖像格式。

步驟 5:使用 MimicMotionGetPoses 增強姿勢

如果您想將提取的姿勢與參考圖像一起可視化,您可以使用 "MimicMotionGetPoses" 節點:

  • 將 "ref_image" 和 "pose_images" 連接到 "MimicMotionGetPoses" 節點。
  • 設置 "include_body"、"include_hand" 和 "include_face" 參數,以控制顯示哪些姿勢關鍵點。 輸出將包含帶有提取姿勢的參考圖像和單獨的姿勢圖像。
MimicMotionGetPoses

提示與最佳實踐

以下是一些提示,幫助您充分利用 ComfyUI MimicMotion:

  • 嘗試不同的參考圖像和姿勢序列,以創建多種動畫。
  • 根據需要調整取樣設置,以平衡質量和處理時間。
  • 使用高品質、一致的姿勢圖像以獲得最佳效果。避免姿勢之間的透視或光照的劇烈變化。
  • 監控您的 GPU 記憶體使用情況,特別是在處理高分辨率圖像或長動畫時。
  • 利用 "DiffusersScheduler" 節點自定義噪聲調度以獲得獨特效果。

ComfyUI MimicMotion 是一個強大而多功能的工具,使您可以輕鬆創建驚人的動畫。通過理解工作流程並探索各種參數,您將能夠輕鬆地為任何人製作動畫。在您進入動畫世界時,記得嘗試、迭代並在整個過程中享受樂趣。使用 ComfyUI MimicMotion,可能性是無限的,享受將您的創意願景變為現實的過程!

想要更多 ComfyUI 工作流程嗎?

RunComfy
版權 2025 RunComfy. 保留所有權利。

RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。