AnimateLCM | 加速文字轉影片

1. ComfyUI AnimateLCM 工作流程

ComfyUI AnimateLCM 工作流程旨在提升 AI 動畫的速度。基於 ComfyUI-AnimateDiff-Evolved 的基礎，此工作流程結合了 AnimateLCM，專門用於加速文字轉影片 (t2v) 動畫的創建。您可以嘗試各種提示和步驟以達到所需的效果。

2. AnimateLCM 概述

隨著 SDXL、LCM 和 SDXL Turbo 等技術的出現，圖像生成的速度顯著提升。AnimateLCM 進一步推動了 AI 動畫的進步。它支持快速的圖像到影片生成，旨在提升從靜態圖像或文字描述生成動畫影片的速度和效率，尤其適合快速創建個性化動畫效果。

2.1. AnimateLCM 介紹

AnimateLCM 專為加速個性化擴散模型和適配器的動畫而設計，通過解耦一致性學習來實現。它受一致性模型 (CM) 的啟發，該模型提煉預訓練的圖像擴散模型以加速採樣過程，以及其擴展的潛在一致性模型 (LCM)，專注於條件圖像生成。AnimateLCM 利用這些基礎來實現高保真度影片的快速創建，基於圖像擴散和生成技術的成功，將其能力擴展到影片領域。

2.2. 如何在您的 ComfyUI 工作流程中使用 AnimateLCM

此工作流程基於 工作流程。以下是在 "Use Evolved Sampling" 節點中的配置參數。

Models: 設置檢查點模型和 LoRA 模型。

• Checkpoint: 這涉及用於動畫創建的 StableDiffusion (SD) 模型輸入。根據所選的運動模型，兼容性可能因 SD 版本而異，如 SD1.5 或 SDXL。
• LoRA: 結合 AnimateLCM LoRA 模型，無縫整合現有的適配器以實現多種功能，提升效率和輸出質量，專注於一致性學習而不犧牲採樣速度。

Motion Models (M Models): 這些是從 Apply AnimateDiff Model 過程中生成的輸出，允許使用 AnimateLCM 運動模型。

Context Options: 這些設置調整 AnimateDiff 在動畫製作中的運行，允許通過在整個 Unet 或專門在運動模塊中滑動上下文窗口來創建任何長度的動畫。它們還允許對複雜動畫序列的時間進行調整。請參閱此處

Beta Schedule in Sample Settings: 選擇 LCM。在 ComfyUI 的 AnimateDiff 的 Sample Settings 中，"beta schedule" 選項，包括 "lcm"、"lineart" 等，微調調節整個擴散過程中的噪音水平的 beta 值。此自定義影響動畫的視覺風格和流暢度。每個設置都滿足特定的動畫或運動模型需求。

• LCM (Latent Consistency Module): "lcm" 設置專為 LCM LoRAs 量身定制，增強動畫的一致性並減少創建時間。它通過更少的步驟實現更快速的收斂，需要減少步驟（至少減至約 4 步）及其他參數調整以達到最佳的細節保留。
• Linear (AnimateDiff-SDXL): 推薦用於具有 SDXL 運動模塊的 AnimateDiff，此選項在細節保留和流暢運動之間取得平衡，表明與特定運動模型版本的兼容性。
• Sqrt_lineart (AnimateDiff): 與 "lineart" 相似，此變體專為 AnimateDiff 過程設計，特別是與 V2 運動模塊，調整噪音水平以補充運動模型的輸出，實現更流暢的轉換或運動。