AnimateDiff + ControlNet + IPAdapter V1 | Gaya Kartun

1. ComfyUI AnimateDiff, ControlNet, IP-Adapter dan FreeU Workflow

Workflow ComfyUI menerapkan metodologi untuk restyling video yang mengintegrasikan beberapa komponen—AnimateDiff, ControlNet, IP-Adapter, dan FreeU—untuk meningkatkan kemampuan pengeditan video.

AnimateDiff: Komponen ini menggunakan model perbedaan temporal untuk membuat animasi halus dari gambar statis dari waktu ke waktu. Ini beroperasi dengan mengidentifikasi perbedaan antara frame berturut-turut dan secara bertahap menerapkan variasi ini untuk mengurangi perubahan mendadak, sehingga mempertahankan koherensi gerakan.

ControlNet: ControlNet memanfaatkan sinyal kontrol, seperti yang berasal dari alat estimasi pose seperti OpenPose, untuk memandu gerakan dan aliran animasi. Sinyal kontrol ini dilapisi dan diproses oleh model yang mirip dengan jaringan kontrol, yang pada akhirnya membentuk output animasi akhir.

IP-Adapter: IP-Adapter dirancang untuk menyesuaikan gambar input sehingga lebih selaras dengan gaya atau fitur output yang ditargetkan. Ini melakukan proses seperti pewarnaan dan transfer gaya, mengubah atribut gambar secara tidak diawasi.

FreeU: Sebagai alat peningkatan yang hemat biaya, FreeU menyempurnakan model difusi dengan menyempurnakan arsitektur U-Net yang ada. Ini menghasilkan peningkatan kualitas yang signifikan dalam pembuatan gambar dan video, hanya memerlukan sedikit modifikasi.

Bersama-sama, komponen-komponen ini bersinergi dalam workflow ComfyUI ini untuk mengubah input menjadi animasi bergaya melalui proses difusi multi-tahap yang canggih.

2. Ikhtisar AnimateDiff

Silakan lihat detailnya di How to use AnimateDiff in ComfyUI

3. Ikhtisar ControlNet

Silakan lihat detailnya di How to use ControlNet in ComfyUI

4. Ikhtisar IP-Adapter

Silakan lihat detailnya di Introduction to IPAdapter

5. Ikhtisar FreeU

5.1. Pengenalan FreeU

FreeU adalah peningkatan mutakhir untuk model difusi yang meningkatkan kualitas sampel tanpa overhead tambahan. Ini bekerja dalam sistem yang ada, tidak memerlukan pelatihan lebih lanjut, tidak ada parameter tambahan, dan mempertahankan memori dan waktu pemrosesan saat ini. FreeU memanfaatkan mekanisme arsitektur U-Net difusi yang ada untuk langsung meningkatkan kualitas generasi.

Inovasi FreeU terletak pada kemampuannya untuk memanfaatkan arsitektur U-Net difusi secara lebih efektif. Ini menyempurnakan keseimbangan antara backbone denoising U-Net dan koneksi skip penambah fitur frekuensi tinggi, mengoptimalkan kualitas gambar dan video yang dihasilkan tanpa mengorbankan integritas semantik.

FreeU dirancang untuk integrasi mudah dengan model difusi populer, memerlukan penyesuaian minimal dan penyetelan hanya dua faktor skala selama inferensi untuk memberikan peningkatan kualitas output yang signifikan. Ini menjadikan FreeU pilihan menarik bagi mereka yang mencari cara untuk meningkatkan workflow generatif mereka secara efisien.

Parameter untuk Kinerja Optimal FreeU

Silakan sesuaikan parameter ini berdasarkan model Anda, gaya gambar/video, atau tugas. Parameter berikut hanya untuk referensi.

SD1.4: （akan diperbarui segera）

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

SD1.5: (akan diperbarui segera）

b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2

SD2.1

b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2

SDXL

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

Range for More Parameters

Saat mencoba parameter tambahan, pertimbangkan rentang berikut:

• b1: 1 ≤ b1 ≤ 1.2
• b2: 1.2 ≤ b2 ≤ 1.6
• s1: s1 ≤ 1
• s2: s2 ≤ 1

Untuk informasi lebih lanjut, periksa di Github