Animatediff V2 & V3 | 文字轉視頻

1. ComfyUI AnimateDiff 工作流程

此 ComfyUI AnimateDiff 工作流程旨在讓用戶深入探索 AnimateDiff 的複雜功能，涵蓋 AnimateDiff V3、AnimateDiff SDXL 和 AnimateDiff V2 版本。它促進對各種動畫的探索，結合不同的動作和風格。在使用 AnimateDiff 創建動畫後，使用兩種方法來實現高解析度效果。第一種方法是利用 ComfyUI 內的傳統潛在放大，進行例如去噪強度和放大因子的調整。第二種方法，控制網輔助潛在放大，通過整合線稿預處理器和合適的控制網模型，提供更精確的增強，大大提升作品的質量，同時保持其原有的神韻。

2. AnimateDiff 概述

2.1. AnimateDiff 簡介

AnimateDiff 作為一個開創性的框架，旨在為由文字生成圖像模型（如穩定擴散）生成的圖像注入生命。此工具允許用戶無縫地將動作整合到靜態圖像中，將其轉換為個性化的動畫視覺效果。該框架基於增強現有文字生成圖像模型的新動作建模模塊，該模塊在視頻片段上進行訓練，以捕捉真實的動態。這一過程消除了對模型特定調整的需求，提供了一個通用的解決方案來為個性化圖像添加動畫效果。

2.2. AnimateDiff 的不同版本

2.2.1. AnimateDiff V3：用新技術革新動作

AnimateDiff V3 引入了一個突破性的動作模塊，囊括了動畫技術的最新進展。在這一演變的核心是 Domain Adapter LoRA 模塊，這是一種通過靜態視頻幀進行訓練來準備動作模塊的機制。此設置使 AnimateDiff 能夠熟練地應對動作的複雜性，確保動畫既細膩又靈活。與其前身相比，V3 並未在所有方面超越 V2，但引入了多樣化的動作能力，豐富了用戶的創作工具箱。

2.2.2. AnimateDiff SDXL：高解析度視頻動畫

對於高清視覺效果的愛好者來說，AnimateDiff SDXL 提供了一個令人興奮的選擇。這個 Beta 版本支持創建高解析度視頻（1024x1024 分辨率，16 幀），可與或不與個性化模型配合使用不同的縱橫比。儘管處於 Beta 階段，SDXL 承諾提升動畫內容的質量，並預期在不久的將來會有更精細的版本。

2.2.3. AnimateDiff V2：經典動作和攝像機運動控制

AnimateDiff V2 作為基礎版本，通過增強的解析度和批量大小訓練顯著提高了樣品質量。它引入了 MotionLoRA，促進對八種基本攝像機運動的控制，包括放大/縮小、左/右平移、上/下傾斜和順/逆時針旋轉。這個版本非常適合希望將動態攝像機運動融入其動畫的用戶，提供了一套強大的工具來創建戲劇性視覺敘事。