AnimateDiff + ControlNet + IPAdapter V1 | Styl Kreskówkowy

1. ComfyUI AnimateDiff, ControlNet, IP-Adapter i FreeU Workflow

Workflow ComfyUI wdraża metodologię restylizacji wideo, która integruje kilka komponentów—AnimateDiff, ControlNet, IP-Adapter i FreeU—w celu poprawy możliwości edycji wideo.

AnimateDiff: Ten komponent wykorzystuje modele różnic czasowych do tworzenia płynnych animacji ze statycznych obrazów w czasie. Działa poprzez identyfikację różnic między kolejnymi klatkami i stopniowe stosowanie tych zmian, aby zredukować nagłe zmiany, zachowując spójność ruchu.

ControlNet: ControlNet wykorzystuje sygnały kontrolne, takie jak te pochodzące z narzędzi do szacowania pozycji jak OpenPose, aby kierować ruchem i przepływem animacji. Te sygnały kontrolne są warstwowane i przetwarzane przez modele podobne do sieci kontrolnych, które kształtują końcowy animowany wynik.

IP-Adapter: IP-Adapter jest zaprojektowany, aby dostosować obrazy wejściowe tak, aby bardziej odpowiadały docelowym stylom lub cechom. Przeprowadza procesy takie jak kolorowanie i transfer stylu, zmieniając atrybuty obrazu w sposób niesuperwizyjny.

FreeU: Jako narzędzie do ekonomicznego ulepszania, FreeU udoskonala modele dyfuzji poprzez dostrajanie istniejących architektur U-Net. Rezultatem jest znaczna poprawa jakości generowania obrazów i wideo, wymagająca jedynie minimalnych modyfikacji.

Razem te komponenty synergizują się w tym Workflow ComfyUI, aby przekształcać wejścia w stylizowane animacje poprzez zaawansowany, wieloetapowy proces dyfuzji.

2. Przegląd AnimateDiff

Proszę zapoznać się ze szczegółami na How to use AnimateDiff in ComfyUI

3. Przegląd ControlNet

Proszę zapoznać się ze szczegółami na How to use ControlNet in ComfyUI

4. Przegląd IP-Adapter

Proszę zapoznać się ze szczegółami w Introduction to IPAdapter

5. Przegląd FreeU

5.1. Wprowadzenie do FreeU

FreeU to nowoczesne ulepszenie modeli dyfuzji, które podnosi jakość próbek bez dodatkowych obciążeń. Działa w istniejącym systemie, nie wymagając dalszego szkolenia, dodatkowych parametrów i utrzymując aktualne zużycie pamięci i czas przetwarzania. FreeU wykorzystuje istniejące mechanizmy architektury dyfuzji U-Net, aby natychmiast poprawić jakość generowania.

Innowacja FreeU polega na skuteczniejszym wykorzystaniu architektury dyfuzji U-Net. Udoskonala równowagę między szkieletowym denoisingiem U-Net a jego połączeniami dodającymi funkcje wysokiej częstotliwości, optymalizując jakość generowanych obrazów i wideo bez kompromisów w integralności semantycznej.

FreeU jest zaprojektowany tak, aby łatwo integrować się z popularnymi modelami dyfuzji, wymagając minimalnych dostosowań i dostrojenia tylko dwóch czynników skalowania podczas inferencji, aby dostarczyć znaczące ulepszenia jakości wyjściowej. To sprawia, że FreeU jest atrakcyjną opcją dla tych, którzy chcą skutecznie poprawić swoje generatywne przepływy pracy.

Parametry dla optymalnej wydajności FreeU

Możesz dostosować te parametry w zależności od swoich modeli, stylu obrazu/wideo lub zadań. Następujące parametry są tylko do odniesienia.

SD1.4: （zostanie wkrótce zaktualizowane）

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

SD1.5: (zostanie wkrótce zaktualizowane）

b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2

SD2.1

b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2

SDXL

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

Zakres dla większej liczby parametrów

Podczas próbowania dodatkowych parametrów, rozważ następujące zakresy:

• b1: 1 ≤ b1 ≤ 1.2
• b2: 1.2 ≤ b2 ≤ 1.6
• s1: s1 ≤ 1
• s2: s2 ≤ 1

Więcej informacji znajdziesz na Github