AnimateDiff + ControlNet + IPAdapter V1 | 卡通風格

1. ComfyUI AnimateDiff、ControlNet、IP-Adapter 和 FreeU 工作流程

ComfyUI 工作流程實施了一種視頻再造型的方法，該方法整合了多個組件——AnimateDiff、ControlNet、IP-Adapter 和 FreeU，以增強視頻編輯能力。

AnimateDiff: 此組件利用時間差異模型從靜態圖片創建平滑的動畫。它通過識別連續幀之間的差異並逐步應用這些變化來減少突變，從而保持運動的連貫性。

ControlNet: ControlNet 利用來自姿態估計工具（如 OpenPose）等的控制信號來引導動畫的運動和流動。這些控制信號由類似於控制網絡的模型分層處理，進而塑造最終的動畫輸出。

IP-Adapter: IP-Adapter 設計用於調整輸入圖片，使其更接近目標輸出風格或特徵。它進行諸如著色和風格轉換等過程，無監督地改變圖片屬性。

FreeU: 作為一種成本效益高的增強工具，FreeU 通過微調現有的 U-Net 架構來精煉擴散模型。這大大提高了圖像和視頻生成的質量，只需最少的修改。

這些組件在這個 ComfyUI 工作流程中協同工作，通過複雜的多階段擴散過程將輸入轉化為風格化的動畫。

2. AnimateDiff 概述

請查看 如何在 ComfyUI 中使用 AnimateDiff

3. ControlNet 概述

請查看 如何在 ComfyUI 中使用 ControlNet

4. IP-Adapter 概述

請查看 IPAdapter 介紹

5. FreeU 概述

5.1. FreeU 介紹

FreeU 是一種最先進的擴散模型增強技術，可在不增加額外開銷的情況下提高樣本質量。它在現有系統中工作，不需要進一步的訓練，無需額外參數，並保持當前的內存和處理時間。FreeU 利用擴散 U-Net 架構的現有機制來即時提高生成質量。

FreeU 的創新在於其能夠更有效地利用擴散 U-Net 的架構。它精煉了 U-Net 的去噪主幹和其高頻特徵添加跳躍連接之間的平衡，優化生成圖像和視頻的質量而不損害語義完整性。

FreeU 設計便於與流行的擴散模型集成，只需最小的調整，並在推理過程中調整兩個縮放因子即可顯著提高輸出質量。這使得 FreeU 成為尋求高效增強生成工作流程的人的一個有吸引力的選擇。

最佳 FreeU 性能的參數

根據您的模型、圖像/視頻風格或任務，自由調整這些參數。以下參數僅供參考。

SD1.4: （即將更新）

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

SD1.5: (即將更新）

b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2

SD2.1

b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2

SDXL

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

更多參數範圍

嘗試其他參數時，請考慮以下範圍：

• b1: 1 ≤ b1 ≤ 1.2
• b2: 1.2 ≤ b2 ≤ 1.6
• s1: s1 ≤ 1
• s2: s2 ≤ 1

欲了解更多信息，請查看 Github