ComfyUI 工作流程／教學中的 AnimateDiff - 穩定擴散動畫
Updated: 4/24/2024
大家好！你是否曾對「將文字轉化為影片」的想法感到驚奇？這不再是遙不可及的幻想，如今已成為越來越有趣的現實。今天，讓我們一起來聊聊 ComfyUI 環境中一個非常酷的工具 —— AnimateDiff。
無論你是數位藝術家，還是單純喜歡探索新科技的創作者，AnimateDiff 都能為你提供一種令人興奮的方式，將文字創意轉化為動畫 GIF 或影片！
我們將涵蓋的內容如下：
- AnimateDiff 如何運作？
- ComfyUI AnimateDiff 工作流程 —— 無需安裝，完全免費
- AnimateDiff V3 vs. AnimateDiff SDXL vs. AnimateDiff V2
- AnimateDiff V3：AnimateDiff 中的最新運動模組
- AnimateDiff SDXL
- AnimateDiff V2
- AnimateDiff 設定：如何在 ComfyUI 中使用 AnimateDiff
- AnimateDiff 模型
- AnimateDiff 的 Checkpoint 模型
- Beta Schedule
- Motion Scale
- 上下文批次大小（決定動畫長度）
- 上下文長度
- Motion LoRA（用於相機運鏡動態，僅適用於 AnimateDiff v2）
- AnimateDiff 提示語設計
- AnimateDiff 提示語 Travel／提示排程
- ComfyUI 高解析修復 —— 增強你的動畫品質
- 現成可用的 ComfyUI AnimateDiff 工作流程：立即探索穩定擴散動畫！
1. AnimateDiff 如何運作？
AnimateDiff 的核心是一個「運動建模模組」。你可以將它想像成動畫的「大腦」，它從各種影片片段中學習動作與移動的方式。就像一位精通舞步的舞蹈老師一樣，這個模組會與預訓練的文字轉圖像模型無縫結合。
因此，你不再受限於靜態圖像 —— 你的創作可以舞動、跳躍、旋轉！
2. ComfyUI AnimateDiff 工作流程 —— 無需安裝，完全免費
請觀看上方影片 —— 它是使用 ComfyUI AnimateDiff 工作流程製作的。現在你也可以立即體驗這個 AnimateDiff 工作流程，完全不需安裝繁雜環境！
我們已經在雲端版 ComfyUI 中幫你預設好一切，包括 AnimateDiff 工作流程，並預載 AnimateDiff V3、SDXL 和 V2 所需的所有基礎模型與自訂節點。
你可以盡情實驗、探索，也可以先閱讀本教學瞭解操作方式，再進行創作。
3. AnimateDiff V3 vs. AnimateDiff SDXL vs. AnimateDiff V2
現在我們來看看 AnimateDiff 的不同版本。每個版本都有其獨特魅力，準備好來一場快速導覽吧！
3.1. AnimateDiff V3：AnimateDiff 中的全新運動模組
AnimateDiff V3 不僅僅是版本升級，它在運動模組的技術上實現了進化。其核心模組為 v3_sd15_mm.ckpt，能產生更細膩、靈活的動畫效果。
它的技術亮點在於使用了 Domain Adapter LoRA 模組，這是一種訓練於影片資料集的靜態影格的運動「啟動器」，使 AnimateDiff 在動作掌握上更加成熟靈活 —— 就像讓模型參加了舞蹈學校！
需要注意的是，V3 並不一定全面勝過 V2，而是提供不同風格的動畫運動，為你的創作工具箱增添更多選擇。
🎯 正向提示詞：masterpiece, best quality, rainbow hair girl, very wild hair, mane
🚫 負向提示詞：(low quality, NSFW, worst quality:1.4), (deformed, twisted, ugly face:1.3), easynegative, hands, bad-hands-5, blur, ugly, text, embedding:easynegative
📌 Checkpoint：toonyou_beta6
3.2. AnimateDiff SDXL
如果你偏好高解析動畫，AnimateDiff SDXL 會是你的選項。它使用 mm_sdxl_v10_beta.ckpt 運動模組，支援輸出 1024x1024 解析度、16 幀的動畫。不過，這仍處於 Beta 測試階段，建議你可以觀望或測試其穩定性。
提示詞與 V3 相同
📌 Checkpoint：dreamshaperXL10_alpha2Xl10
3.3. AnimateDiff V2
AnimateDiff V2 是經典之選！它使用 mm_sd_v15_v2.ckpt，內建支援八種基本鏡頭運動的 Motion LoRA，包括：放大／縮小、左右平移、上下傾斜、順／逆時針旋轉。
如果你想讓動畫呈現戲劇性鏡頭動作，V2 是絕佳選擇！
提示詞與 V3 相同
📌 Checkpoint：toonyou_beta6
4. AnimateDiff 設定：如何在 ComfyUI 中使用 AnimateDiff
進入 ComfyUI 的 AnimateDiff 工作流程後，你會看到標記為 "AnimateDiff Options" 的設定區塊，包含所有動畫參數選項。
4.1. AnimateDiff 模型
在 model_name 下拉選單中選擇你要使用的運動模組：
- AnimateDiff V3 →
v3_sd15_mm.ckpt - AnimateDiff SDXL →
mm_sdxl_v10_beta.ckpt - AnimateDiff V2 →
mm_sd_v15_v2.ckpt
4.2. AnimateDiff 的 Checkpoint 模型
AnimateDiff 需要搭配一個穩定擴散的基礎 Checkpoint 模型：
- V2/V3 搭配 SD 1.5 模型，如：
realisticVisionV60B1_V51VAE、toonyou_beta6、cardos_Animev2.0 - SDXL 請使用
sd_xl_base_1.0或dreamshaperXL10_alpha2Xl10
在 RunComfy 雲端環境中，所有必要模型與節點都已預先載入！
4.3. Beta Schedule
Beta Schedule 決定動畫生成期間的降噪節奏：
- V2/V3 建議使用：
sqrt_linear - 若想測試不同風格可改為：
linear - SDXL 專用選項：
linear (AnimateDiff-SDXL)
4.4. Motion Scale
Motion Scale 控制動畫的動態強度：
- 值 < 1：細膩微動
- 值 > 1：更明顯的動作與鏡頭感
4.5. 上下文批量大小：決定動畫長度
批量大小（batch size）決定生成動畫的片段數量：
- 16 = 約 2 秒影片
- 32 = 約 4 秒片段
- 64 = 約 8 秒特寫段落
數值越高，動畫越長，也越適合敘事型創作。
4.6. 上下文長度（Uniform Context Length）
這項設定控制動畫場景之間的過渡流暢度：
- 較長 → 柔和、自然的過場
- 較短 → 快速、跳轉感明顯，適合節奏強烈的影片
預設值為 16，你可以根據需求微調。
4.7. Motion LoRA（僅適用 AnimateDiff V2）
Motion LoRA 僅支援 AnimateDiff V2，用於控制相機運動，如平移、縮放、旋轉等效果。
建議設定權重為 0.75，可避免背景變形或出現偽影。你也可以混合使用多個 Motion LoRA，編排出富有電影感的鏡頭動態！
以下是結合「左平移」與「放大」兩個 Motion LoRA 效果的示範影片：
5. AnimateDiff 提示詞
好了，現在你已經調整好模型和 AnimateDiff 設定，是時候大展身手了！這裡就是你將文字轉化為動畫影片的地方。
以下是正面提示詞與負面提示詞的範例：
正面提示詞: (傑作, 最佳品質), 一個女孩, 獨自, 精靈, 薄霧, 洋裝, 森林, 站在水中, 瀑布, 看向觀眾, 模糊前景, 斑駁陽光, 青苔, (複雜的, 蓮花, 蘑菇)
負面提示詞: (低品質, NSFW, 最差品質, 文字, 加黑邊:1.4), (變形, 扭曲, 毀容:1.3), easynegative, 手, bad-hands-5, 模糊, 醜陋, embedding:easynegative
6. AnimateDiff 提示詞流轉 / 提示排程（Prompt Travel / Prompt Scheduling）
等等，還沒完！你嘗試過提示詞流轉（Prompt Travel）或提示排程嗎？可以把它想像成你成為電影導演。你掌握整個節奏，一幕接一幕地建構你的故事。就像拼圖一樣，每一塊提示代表你故事中的一個片段。
提示詞流轉如何運作？
想像你正在創作一部迷你動畫電影。你在第 1 幀設定提示詞 A，在第 8 幀設定提示詞 B，AnimateDiff 會在這段時間內自然過渡這兩段描述。
小提示：雖然提示詞流轉非常有趣，但它不一定保證成功，效果也依模型而異。例如，cardos_Animev2.0 模型與提示詞流轉相容，但並非所有模型都具備這樣的特性。而且提示詞之間融合的品質也可能參差不齊，導致畫面不連貫。因此，這是一種實驗性功能，而非穩定動畫的保證。
我們在 AnimateDiff ComfyUI 工作流程的最後加入了 “Prompt Travel / Prompt Scheduling” 節點。如果你感興趣，記得選擇 “Prompt Travel” 來替代傳統的提示詞節點。
7. ComfyUI 高解析度修復 - 強化你的動畫
當你將 AnimateDiff 與高解析度修復結合使用時，可以大幅提升影像的清晰度。這個過程會將原本稍微模糊的影像轉變為高清傑作。以下是兩種方法：
7.1 潛在上採樣（Latent Upscale）
這是 ComfyUI 中的傳統上採樣方法。你可以使用 0.6 的去噪強度、設定為 1.5 倍上採樣，讓動畫變得更加細緻與清晰。就像戴上眼鏡一樣，瞬間看見高清世界！
7.2 使用 ControlNet 上採樣
傳統上採樣雖然已不錯，但如果你希望更精準，可以使用 ControlNet 輔助的潛在上採樣方式。這會透過線稿預處理器與對應的 ControlNet 模型來進行高品質放大，不僅保留動畫風格，還能強化細節表現。
8. 即用型 ComfyUI AnimateDiff 工作流程：探索穩定擴散動畫的可能性
我們已經深入探索了 AnimateDiff 在 ComfyUI 中的強大功能。如果你也想試試我們所展示的工作流程，千萬別錯過 RunComfy —— 這是專為創作者打造的雲端平台，配備強大 GPU，無需安裝，開啟即用！從模型到節點一應俱全，是你發揮創意的絕佳起點。🌟
作者：RunComfy 編輯團隊
我們的團隊擁有超過 15 年與人工智慧技術共舞的經驗，從 RNN/CNN 的 NLP/影像分析時代起步，累積了豐富的 AI 藝術、動畫與影片處理經驗，涵蓋 BERT、GAN、Transformer 等核心技術。如果你在 AI 藝術或動畫影片方面需要協助，歡迎與我們聯繫。