AnimateDiff + ControlNet + IPAdapter V1 | Japoński Styl Anime

Ten przepływ pracy jest inspirowany przez z pewnymi modyfikacjami. Aby uzyskać więcej informacji, odwiedź jego kanał YouTube.

1. Przepływ pracy ComfyUI: AnimateDiff + ControlNet + IPAdapter | Japoński Styl Anime

Ten przepływ pracy pozwala przekształcać standardowe wideo w czarujące japońskie kreacje anime za pomocą AnimateDiff, ControlNet i IPAdapter. Eksperymentuj z różnymi punktami kontrolnymi, ustawieniami LoRA i obrazami referencyjnymi dla IPAdapter, aby stworzyć swój unikalny styl. To zabawny i kreatywny sposób na ożywienie swoich wideo w świecie anime!

2. Przegląd AnimateDiff

Proszę zapoznać się ze szczegółami na stronie

3. Jak używać ControlNet

3.1. Zrozumienie ControlNet

ControlNet rewolucjonizuje sposób generowania obrazów, wprowadzając nowy poziom kontroli przestrzennej do modeli dyfuzji tekst-na-obraz. Ta nowoczesna architektura sieci neuronowej doskonale współpracuje z gigantami takimi jak Stable Diffusion, wykorzystując ich ogromne biblioteki—stworzone z miliardów obrazów—do wplatania przestrzennych niuansów bezpośrednio w strukturę tworzenia obrazów. Od szkicowania krawędzi po mapowanie postaw ludzkich, percepcję głębi czy segmentację wizualną, ControlNet umożliwia kształtowanie obrazów w sposób znacznie wykraczający poza zakres samych tekstowych wskazówek.

3.2. Innowacja ControlNet

W swojej istocie, ControlNet jest genialnie prosty. Zaczyna od zabezpieczenia integralności parametrów oryginalnego modelu—utrzymując podstawowe szkolenie w nienaruszonym stanie. Następnie ControlNet wprowadza lustrzany zestaw warstw kodujących modelu, ale z pewnym haczykiem: są one trenowane za pomocą "zero convolutions". Te zera jako punkt wyjścia oznaczają, że warstwy delikatnie wplatają nowe warunki przestrzenne bez wywoływania zamieszania, zapewniając, że oryginalne talenty modelu są zachowane, nawet gdy wchodzi na nowe ścieżki nauki.

3.3. Zrozumienie ControlNets i T2I-Adapters

Zarówno ControlNets, jak i T2I-Adapters odgrywają kluczowe role w warunkowaniu generowania obrazów, z każdym oferującym różne zalety. T2I-Adapters są znane ze swojej efektywności, szczególnie pod względem przyspieszania procesu generowania obrazów. Mimo to, ControlNets są niezrównane w swojej zdolności do szczegółowego prowadzenia procesu generowania, co czyni je potężnym narzędziem dla twórców.

Biorąc pod uwagę nakładanie się funkcjonalności wielu modeli T2I-Adapter i ControlNet, nasza dyskusja skupi się głównie na ControlNets. Warto jednak zauważyć, że platforma RunComfy ma wczytane kilka modeli T2I-Adapter dla łatwości użycia. Dla tych, którzy są zainteresowani eksperymentowaniem z T2I-Adapters, można bezproblemowo wczytać te modele i zintegrować je w swoich projektach.

Wybór między modelami ControlNet i T2I-Adapter w ComfyUI nie wpływa na użycie węzłów ControlNet ani na spójność przepływu pracy. Ta jednolitość zapewnia usprawniony proces, pozwalając na wykorzystanie unikalnych zalet każdego typu modelu zgodnie z potrzebami projektu.

3.4. Użycie węzłów ControlNet

3.4.1. Wczytywanie węzła "Apply ControlNet"

Aby rozpocząć, musisz wczytać węzeł "Apply ControlNet" do ComfyUI. To twój pierwszy krok w kierunku podróży z podwójnym warunkowaniem obrazu, łącząc elementy wizualne z tekstowymi wskazówkami.

3.4.2. Zrozumienie wejść węzła "Apply ControlNet"

Pozytywne i negatywne warunkowanie: To są twoje narzędzia do kształtowania końcowego obrazu—co powinno uwzględniać, a czego unikać. Podłącz je do slotów "Positive prompt" i "Negative prompt", aby zsynchronizować je z tekstową częścią twojego kierunku twórczego.

Wybór modelu ControlNet: Musisz podłączyć to wejście do wyjścia węzła "Load ControlNet Model". To tutaj decydujesz, czy użyć modelu ControlNet, czy T2IAdaptor, w zależności od specyficznych cech lub stylów, które chcesz osiągnąć. Chociaż skupiamy się na modelach ControlNet, warto wspomnieć o niektórych poszukiwanych T2IAdaptors dla pełniejszego obrazu.

Przetwarzanie obrazu: Podłącz swój obraz do węzła "ControlNet Preprocessor", co jest kluczowe, aby upewnić się, że twój obraz jest gotowy do użycia z ControlNet. Ważne jest, aby dopasować preprocesor do modelu ControlNet. Ten krok dostosowuje twój oryginalny obraz do potrzeb modelu—zmieniając rozmiar, koloryzując lub stosując niezbędne filtry—przygotowując go do użycia przez ControlNet.

3.4.3. Zrozumienie wyjść węzła "Apply ControlNet"

Po przetworzeniu, węzeł "Apply ControlNet" przedstawia dwa wyjścia odzwierciedlające wyrafinowaną interakcję ControlNet i twojego twórczego wkładu: Pozytywne i Negatywne Warunkowanie. Te wyjścia prowadzą model dyfuzji w ComfyUI, prowadząc do kolejnego wyboru: udoskonal obraz za pomocą KSampler lub zagłębij się dalej, dodając więcej ControlNets dla tych, którzy szukają niezrównanej szczegółowości i personalizacji.

3.4.4. Dostosowanie "Apply ControlNet" dla najlepszych wyników

Określanie siły: To ustawienie kontroluje, jak bardzo ControlNet wpływa na wynikowy obraz. Pełne 1.0 oznacza, że wkład ControlNet ma pełną kontrolę, podczas gdy obniżenie do 0.0 pozwala modelowi działać bez wpływu ControlNet.

Dostosowanie procentu startu: To mówi, kiedy ControlNet zaczyna wpływać na proces dyfuzji. Na przykład, start na poziomie 20% oznacza, że od jednej piątej drogi ControlNet zaczyna mieć wpływ.

Ustawienie procentu końca: To odwrotność procentu startu, oznaczając, kiedy ControlNet przestaje wpływać. Jeśli ustawisz to na 80%, wpływ ControlNet zanika, gdy obraz zbliża się do finalnych etapów, nie dotknięty przez ControlNet w ostatnich fazach.

3.5. Przewodnik po modelach ControlNet: Openpose, Depth, SoftEdge, Canny, Lineart, Tile

3.5.1. Model ControlNet: Openpose

• Openpose (znany również jako Openpose body): Ten model działa jako kamień węgielny ControlNet do identyfikacji kluczowych punktów na ludzkim ciele, takich jak oczy, nos, szyja, ramiona, łokcie, nadgarstki, kolana i kostki. Jest idealny do odtwarzania prostych ludzkich postaw.
• Openpose_face: Ta wersja Openpose idzie krok dalej, wykrywając kluczowe punkty twarzy, co pozwala na szczegółową analizę wyrazu twarzy i kierunku, w którym skierowana jest twarz. Jeśli twój projekt koncentruje się na mimice twarzy, ten model jest niezbędny.
• Openpose_hand: To ulepszenie modelu Openpose koncentruje się na szczegółach ruchów rąk i palców, co jest kluczowe dla szczegółowego zrozumienia gestów rąk i ich pozycji. Poszerza zakres tego, co Openpose może zrobić w ramach ControlNet.
• Openpose_faceonly: Skierowany na analizę szczegółów twarzy, ten model pomija kluczowe punkty ciała, aby skupić się wyłącznie na wyrazach twarzy i jej orientacji. Gdy liczą się tylko cechy twarzy, to jest model do wyboru.
• Openpose_full: Ten model all-in-one integruje możliwości Openpose, Openpose_face i Openpose_hand dla pełnej analizy kluczowych punktów ciała, twarzy i rąk, co czyni go idealnym wyborem do kompleksowej analizy postaw ludzkich w ControlNet.
• DW_Openpose_full: Budując na Openpose_full, ten model wprowadza dalsze ulepszenia dla lepszej szczegółowości i dokładności wykrywania postaw. Jest to najbardziej zaawansowana wersja dostępna w pakiecie ControlNet.

Opcje preprocesora obejmują: Openpose lub DWpose

3.5.2. Model ControlNet: Depth

Modele głębi używają obrazu 2D do wnioskowania o głębokości, przedstawiając ją jako mapę w odcieniach szarości. Każdy z nich ma swoje mocne strony pod względem szczegółowości lub skupienia na tle:

• Depth Midas: Zrównoważone podejście do szacowania głębokości, Depth Midas oferuje kompromis między szczegółami a przedstawieniem tła.
• Depth Leres: Kładzie nacisk na szczegóły, jednocześnie nadal wyraźnie uchwycając elementy tła.
• Depth Leres++: Przekracza granice szczegółowości w informacjach o głębokości, co jest szczególnie przydatne w skomplikowanych scenach.
• Zoe: Znajduje równowagę między poziomami szczegółowości modeli Midas i Leres.
• Depth Anything: Ulepszony model do wszechstronnego szacowania głębokości w różnych scenach.
• Depth Hand Refiner: Specjalnie dopracowuje szczegóły rąk na mapach głębokości, co jest nieocenione w scenach, gdzie precyzyjne rozmieszczenie rąk jest kluczowe.

Preprocesory do rozważenia: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Ten model wyróżnia się solidnością i kompatybilnością z rzeczywistymi mapami głębokości z silników renderujących.

3.5.3. Model ControlNet: SoftEdge

ControlNet Soft Edge został zaprojektowany, aby tworzyć obrazy o delikatniejszych krawędziach, zwiększając szczegółowość przy zachowaniu naturalnego wyglądu. Wykorzystuje nowoczesne sieci neuronowe do precyzyjnej manipulacji obrazami, oferując szeroką kontrolę twórczą i bezbłędną integrację.

Pod względem solidności: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

Dla najwyższej jakości wyników: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

Jako ogólne zalecenie, SoftEdge_PIDI jest najlepszym wyborem, ponieważ zazwyczaj dostarcza doskonałe rezultaty.

Preprocesory obejmują: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

3.5.4. Model ControlNet: Canny

Model Canny wdraża wykrywanie krawędzi Canny do wyeksponowania szerokiego zakresu krawędzi w obrazach. Ten model jest doskonały do utrzymania integralności elementów strukturalnych przy jednoczesnym upraszczaniu ogólnego wyglądu obrazu, co pomaga w tworzeniu stylizowanej sztuki lub przygotowaniu obrazów do dalszej manipulacji.

Dostępne preprocesory: Canny

3.5.5. Model ControlNet: Lineart

Modele Lineart to twoje narzędzia do przekształcania obrazów w stylizowane rysunki liniowe, odpowiednie do różnych zastosowań artystycznych:

• Lineart: Standardowy wybór do przekształcania obrazów w rysunki liniowe, zapewniający wszechstronny punkt wyjścia do różnych artystycznych lub kreatywnych przedsięwzięć.
• Lineart anime: Dostosowany do tworzenia czystych, precyzyjnych rysunków liniowych w stylu anime, idealny do projektów dążących do inspiracji anime.
• Lineart realistic: Ma na celu uchwycenie bardziej realistycznej reprezentacji w rysunkach liniowych, oferując więcej szczegółów do projektów wymagających realizmu.
• Lineart coarse: Kładzie nacisk na grubsze, bardziej wyraziste linie dla uderzającego efektu wizualnego, idealne do odważnych graficznych deklaracji.

Dostępne preprocesory mogą produkować zarówno szczegółowe, jak i bardziej wyraziste rysunki liniowe (Lineart i Lineart_Coarse).

3.5.6. Model ControlNet: Tile

Model Tile Resample doskonale wydobywa szczegóły w obrazach. Jest szczególnie skuteczny, gdy jest używany w tandemie z narzędziem do zwiększania rozdzielczości, aby poprawić rozdzielczość obrazu i szczegóły, często stosowany do wyostrzania i wzbogacania tekstur i elementów obrazu.

Zalecany preprocesor: Tile

3.6. Przewodnik po używaniu wielu ControlNet

Włączenie wielu ControlNets lub T2I-Adapters pozwala na sekwencyjne stosowaniejson różnych typów warunkowania do procesu generowania obrazu. Na przykład, możesz połączyć ControlNets Lineart i OpenPose dla lepszego szczegółowania.

Lineart dla kształtu obiektu: Zacznij od integracji ControlNet Lineart, aby dodać głębi i szczegółowości obiektom lub elementom w twoim obrazie. Ten proces obejmuje przygotowanie mapy lineart lub canny dla obiektów, które chcesz uwzględnić.

OpenPose dla kontroli postawy: Po szczegółowym lineart, wykorzystaj ControlNet OpenPose, aby określić postawę osób w twoim obrazie. Będziesz musiał wygenerować lub zdobyć mapę OpenPose, która uchwyci pożądaną postawę.

Sekwencyjne zastosowanie: Aby skutecznie połączyć te efekty, połącz wyjście z ControlNet Lineart do ControlNet OpenPose. Ta metoda zapewnia, że zarówno postawa osób, jak i kształty obiektów są jednocześnie prowadzone podczas procesu generowania, tworząc wynik, który harmonijnie współgra ze wszystkimi specyfikacjami wejściowymi.

4. Przegląd IPAdapter

Proszę zapoznać się ze szczegółami na stronie