MimicMotion | 人類動作視頻生成
ComfyUI MimicMotion 工作流程是一個強大的工具,用於生成逼真的人類動作視頻。通過整合由騰訊和上海交通大學開發的 MimicMotion 技術,該工作流程使得詳細且平滑的動作視頻創建變得簡單。您只需提供一張參考圖像和一個動作序列,MimicMotion 將使用這些來生成模仿參考圖像外觀的視頻。ComfyUI MimicMotion 工作流程
ComfyUI MimicMotion 範例
ComfyUI MimicMotion 說明
MimicMotion 是什麼
MimicMotion 是一個由騰訊和上海交通大學的研究人員開發的可控視頻生成框架。它可以根據任何提供的動作指導生成任意長度的高品質視頻。與以往的方法相比,MimicMotion 在生成具有豐富細節、良好時間平滑性和長序列生成能力的視頻方面表現出色。
MimicMotion 如何運作
MimicMotion 以參考圖像和姿勢指導作為輸入,然後生成一個匹配參考圖像外觀並遵循提供的動作序列的視頻。
一些關鍵創新使 MimicMotion 的性能更強大:
- 信心感知姿勢指導:通過融合姿勢信心信息,MimicMotion 在時間平滑性方面表現更佳,對噪聲訓練數據的魯棒性更強,這有助於其良好的泛化能力。
- 區域損失放大:更加專注於高信心姿勢區域的損失,特別是手部,顯著減少生成視頻中的圖像失真。
- 漸進潛在融合:為了高效生成平滑、長時間的視頻,MimicMotion 生成具有重疊幀的視頻片段,並逐步融合其潛在表示。這允許在受控計算成本下生成任意長度的視頻。
該模型首先在大型視頻數據集上進行預訓練,然後針對動作模仿任務進行微調。這種高效的訓練流程不需要大量專門數據。
如何使用 ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)
在測試了 ComfyUI 中可用的不同 MimicMotion 節點後,我們建議使用 ,以獲得最佳效果。
步驟 1:準備您的 MimicMotion 輸入
要開始使用 ComfyUI MimicMotion 進行動畫製作,您需要兩個關鍵材料:
- 參考圖像:這是動畫的起始幀。選擇一張清晰描繪您希望動畫化主題的圖像。
- 姿勢圖像:這些圖像定義動作序列。每張姿勢圖像應顯示動畫中主題在特定時間點的期望位置或姿勢。您可以手動創建這些姿勢圖像,也可以使用姿勢估計工具從視頻中提取姿勢。
🌟確保您的參考圖像和姿勢圖像具有相同的分辨率和縱橫比,以獲得最佳效果。🌟
步驟 2:加載 MimicMotion 模型
ComfyUI MimicMotion 需要 MimicMotion 模型才能正常運作。在 RunComfy 中,模型已經預加載以方便使用。要配置 "DownLoadMimicMotionModel" 節點,請按照以下步驟操作:
- 將 "model" 參數設置為 "MimicMotion-fp16.safetensors"(或適當的模型文件名,如有不同)。
- 根據您的 GPU 能力選擇所需的精度(fp32、fp16 或 bf16)。此選擇可能會影響性能和兼容性。
- 除非您特別想使用該模型的 LCM(潛在條件運動)變體,否則將 "lcm" 參數設置為 False。
一旦您配置了節點設置,將 "DownloadAndLoadMimicMotionModel" 節點的輸出連接到工作流程中下一個節點的輸入。這將確保在 ComfyUI 管道後續步驟中正確利用加載的 MimicMotion 模型。

步驟 3:配置 MimicMotion Sampler
"MimicMotionSampler" 節點負責根據您的輸入生成動畫幀。以下是設置方法:
- 添加 "MimicMotionSampler" 節點,並將其連接到 "DownloadAndLoadMimicMotionModel" 節點的輸出。
- 將 "ref_image" 參數設置為您的參考圖像,將 "pose_images" 參數設置為您的姿勢圖像序列。
- 根據您的喜好調整取樣設置:
- "steps" 確定擴散步驟的數量(值越高,結果越平滑,但處理時間越長)。
- "cfg_min" 和 "cfg_max" 控制條件指導的強度(值越高,越接近於姿勢圖像)。
- "seed" 設置隨機種子以便可重複性。
- "fps" 指定生成動畫的每秒幀數。
- 微調其他參數,如 "noise_aug_strength"、"context_size" 和 "context_overlap",以實驗不同的風格和時間一致性。

步驟 4:解碼潛在樣本
"MimicMotionSampler" 節點輸出動畫幀的潛在空間表示。要將這些潛在表現轉換為實際圖像,您需要使用 "MimicMotionDecode" 節點:
- 添加 "MimicMotionDecode" 節點,並將其連接到 "MimicMotionSampler" 節點的輸出。
- 設置 "decode_chunk_size" 參數以控制同時解碼的幀數(更高的值可能會消耗更多的 GPU 記憶體)。 "MimicMotionDecode" 節點的輸出將是最終的動畫幀的圖像格式。
步驟 5:使用 MimicMotionGetPoses 增強姿勢
如果您想將提取的姿勢與參考圖像一起可視化,您可以使用 "MimicMotionGetPoses" 節點:
- 將 "ref_image" 和 "pose_images" 連接到 "MimicMotionGetPoses" 節點。
- 設置 "include_body"、"include_hand" 和 "include_face" 參數,以控制顯示哪些姿勢關鍵點。 輸出將包含帶有提取姿勢的參考圖像和單獨的姿勢圖像。

提示與最佳實踐
以下是一些提示,幫助您充分利用 ComfyUI MimicMotion:
- 嘗試不同的參考圖像和姿勢序列,以創建多種動畫。
- 根據需要調整取樣設置,以平衡質量和處理時間。
- 使用高品質、一致的姿勢圖像以獲得最佳效果。避免姿勢之間的透視或光照的劇烈變化。
- 監控您的 GPU 記憶體使用情況,特別是在處理高分辨率圖像或長動畫時。
- 利用 "DiffusersScheduler" 節點自定義噪聲調度以獲得獨特效果。
ComfyUI MimicMotion 是一個強大而多功能的工具,使您可以輕鬆創建驚人的動畫。通過理解工作流程並探索各種參數,您將能夠輕鬆地為任何人製作動畫。在您進入動畫世界時,記得嘗試、迭代並在整個過程中享受樂趣。使用 ComfyUI MimicMotion,可能性是無限的,享受將您的創意願景變為現實的過程!
想要更多 ComfyUI 工作流程嗎?
RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。