AnimateDiff ComfyUI Workflow/Tutorial - Stable Diffusion Animacja

Cześć! Zastanawiałeś się kiedyś nad możliwością przekształcenia tekstu w filmy? To nie jest zupełna nowość, ale staje się coraz bardziej ekscytujące. Dziś porozmawiajmy o jednym z tych fajnych narzędzi, AnimateDiff w środowisku ComfyUI. Niezależnie od tego, czy jesteś cyfrowym artystą, czy po prostu lubisz eksplorować nowe technologie, AnimateDiff oferuje ekscytujący sposób na przekształcanie swoich pomysłów tekstowych w animowane GIF-y i filmy.

Omówimy:

1. Jak działa AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Bez Instalacji, Całkowicie Za Darmo
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Nowy Moduł Ruchu w Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Ustawienia AnimateDiff: Jak używać AnimateDiff w ComfyUI
   • Modele AnimateDiff
   • Modele CheckPoint dla AnimateDiff
   • Harmonogram Beta
   • Skala Ruchu
   • Rozmiar Partii Kontekstowych Określa Długość Animacji
   • Długość Kontekstu
   • Motion LoRA dla Dynamiki Kamery (tylko AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Harmonogram Promptów
7. ComfyUI Hires Fix - Poprawa Twoich Animacji
8. Gotowy do Użycia ComfyUI AnimateDiff Workflow: Odkrywanie Stable Diffusion Animacji

1. Jak działa AnimateDiff?

Sednem AnimateDiff jest moduł modelowania ruchu. Pomyśl o nim jak o mózgu operacji, uczącym się o ruchu z różnych klipów wideo. To jak mieć nauczyciela tańca, który zna każdy ruch. Ten moduł płynnie integruje się z wytrenowanymi modelami tekst-do-obrazu. Więc nie jesteś już ograniczony do statycznych obrazów – twoje kreacje mogą tańczyć, skakać i wirować!

2. ComfyUI AnimateDiff Workflow - Bez Instalacji, Całkowicie Za Darmo

Obejrzyj powyższy film, który został stworzony przy użyciu ComfyUI AnimateDiff workflow. Teraz możesz zanurzyć się bezpośrednio w ten Animatediff Workflow bez kłopotów z instalacją. Mamy wszystko przygotowane dla ciebie w chmurze ComfyUI, w pełni wyposażone w AnimateDiff workflow i wszystkie niezbędne modele oraz niestandardowe węzły Animatediff V3, Animatediff SDXL i Animatediff V2.

Poczuj się swobodnie, eksperymentując i bawiąc się. Albo możesz kontynuować czytanie tego tutorialu, jak używać AnimateDiff, a potem spróbować samodzielnie.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Przejdźmy przez różne wersje AnimateDiff. Każda wersja ma swój urok, więc przygotuj się na krótką wycieczkę!

3.1. AnimateDiff V3: Nowy Moduł Ruchu w Animatediff

AnimateDiff V3 to nie tylko nowa wersja, to ewolucja technologii modułu ruchu, wyróżniająca się udoskonalonymi funkcjami. Moduł ruchu v3_sd15_mm.ckpt jest sercem tej wersji, odpowiedzialnym za subtelne i elastyczne animacje.

rozłóżmy na części techniczne cuda za tym. Głównym graczem tutaj jest moduł Domain Adapter LoRA, który jest w zasadzie primerem dla modułu ruchu. Trenując na statycznych klatkach z zestawu danych wideo, ten moduł LoRA wyposaża AnimateDiff, aby lepiej radził sobie z ruchem. Całkiem fajne, prawda?

Kiedy używasz AnimateDiff V3, zauważysz, że niekoniecznie przewyższa Animatediff V2 we wszystkich aspektach. Zamiast tego oferuje różne rodzaje ruchów, dodając więcej narzędzi do twojego kreatywnego arsenału.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Jeśli lubisz filmy w wysokiej rozdzielczości, AnimateDiff SDXL może być wyborem. Działając na module ruchu mm_sdxl_v10_beta.ckpt, jest zaprojektowany do tworzenia animacji o rozdzielczości 1024x1024 z 16 klatkami. Tylko ostrzeżenie, jest jeszcze w wersji Beta, więc może warto poczekać trochę przed zanurzeniem się.

Użyj tego samego Positive Prompt i Negative Prompt z AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 to klasyk! Z mm_sd_v15_v2.ckpt, ta wersja oferuje MotionLoRA dla ośmiu podstawowych ruchów kamery: Zoom In/Out, Pan Left/Right, Tilt Up/Down i Rolling Clockwise/Anticlockwise. Animatediff V2 jest idealny, jeśli szukasz dynamicznych ruchów kamery, aby dodać dramatyzmu swoim animacjom.

Użyj tego samego Positive Prompt i Negative Prompt z AnimateDiff V3

CheckPoint: toonyou_beta6

4. Ustawienia AnimateDiff: Jak używać AnimateDiff w ComfyUI

Po wejściu do AnimateDiff workflow w ComfyUI, napotkasz grupę oznaczoną "AnimateDiff Options", jak pokazano poniżej. To miejsce zawiera ustawienia i funkcje, które prawdopodobnie będziesz używać podczas pracy z AnimateDiff.

4.1. Modele AnimateDiff

Na początek wybierz moduł ruchu AnimateDiff, który chcesz wypróbować w menu rozwijanym model_name:

• v3_sd15_mm.ckpt dla AnimateDiff V3
• mm_sdxl_v10_beta.ckpt dla AnimateDiff SDXL
• mm_sd_v15_v2.ckpt dla AnimateDiff V2

4.2. Modele CheckPoint dla AnimateDiff

AnimateDiff potrzebuje modelu chickpoint Stable Diffusion.

Dla AnimateDiff V2 i V3 musisz używać modelu SD v1.5. Modele takie jak realisticVisionV60B1_V51VAE, toonyou_beta6 i cardos_Animev2.0 są najlepszymi wyborami.

Jeśli skłaniasz się ku AnimateDiff SDXL, celuj w model SDXL, taki jak sd_xl_base_1.0 lub dreamshaperXL10_alpha2Xl10.

W środowisku chmurowym RunComfy wszystkie moduły ruchu i modele checkpoint są preinstalowane dla Twojej wygody.

4.3. Harmonogram Beta

Harmonogram Beta w AnimateDiff określa zachowanie procesu redukcji szumów podczas generowania animacji.

Dla AnimateDiff V3 i V2 ustawienie sqrt_linear jest zazwyczaj drogą do celu, ale nie bój się wypróbować linear dla interesujących efektów.

Dla AnimateDiff XL trzymaj się linear (AnimateDiff-SDXL).

4.4. Skala Ruchu

Skala Ruchu w AnimateDiff pozwala kontrolować intensywność ruchu. Poniżej 1 oznacza subtelniejszy ruch; powyżej 1 oznacza bardziej wyraźny ruch.

4.5. Rozmiar Partii Kontekstowych Określa Długość Animacji

Rozmiar Partii w AnimateDiff reprezentuje elementy składowe twojej animacji. Służy jako fundamentalny czynnik wpływający na długość twojej animacji. Określa liczbę "scen" lub segmentów, z których składa się twoja animacja.

Większe Rozmiary Partii prowadzą do większej liczby scen w twojej animacji, umożliwiając dłuższą i bardziej rozbudowaną opowieść. Nie ma górnego limitu Rozmiaru Partii, więc możesz tworzyć animacje tak długie lub krótkie, jak chcesz. Domyślny Rozmiar Partii to 16.

• 16 Rozmiar Partii = Krótki, 2-sekundowy film
• 32 Rozmiar Partii = Krótki, 4-sekundowy klip
• 64 Rozmiar Partii = Dłuższa, 8-sekundowa funkcja

4.6. Długość Kontekstu

Jednolita Długość Kontekstu w AnimateDiff odgrywa kluczową rolę w zapewnieniu płynnych przejść między scenami ustawionymi przez Rozmiar Partii. To jak mieć wykwalifikowanego montażystę, który dokładnie wie, jak zszyć sceny, aby uzyskać najbardziej naturalny przepływ.

Długość, którą ustawisz dla Jednolitego Kontekstu, będzie dyktować naturę przejść między scenami. Dłuższa Jednolita Długość Kontekstu prowadzi do płynniejszych, bardziej stopniowych przejść, sprawiając, że zmiana z jednej sceny na drugą jest prawie niewidoczna. Z drugiej strony, krótsza długość stworzy szybsze, bardziej zauważalne przejścia, co może być idealne dla określonych efektów narracyjnych. Domyślna Jednolita Długość Kontekstu to 16.

4.7. Motion LoRA dla Dynamiki Kamery (tylko AnimateDiff v2)

Motion LoRA są kompatybilne wyłącznie z AnimateDiff v2. Te sprytne dodatki wprowadzają dynamiczną warstwę ruchu kamery do twoich animacji. Podczas korzystania z Motion LoRA ważne jest, aby znaleźć odpowiednią równowagę z wagą LoRA. Ustawienie jej na około 0.75 zazwyczaj trafia w punkt, dając płynne ruchy kamery bez irytujących artefaktów tła.

Co więcej, masz kreatywną swobodę łączenia wielu Motion LoRA. Dzięki strategicznemu łączeniu różnych modeli Motion LoRA, możesz orkiestracyjnie tworzyć złożone ruchy kamery, eksperymentować i znaleźć idealne połączenie ruchów dla swojej unikalnej wizji animacji, tym samym podnosząc swoją animację do rangi arcydzieła filmowego.

Oto przykład użycia funkcji Motion LoRa "Pan Left" i "Zoom In" razem.

5. AnimateDiff Prompt

Dobrze, teraz gdy masz już ustawiony model i ustawienia AnimateDiff, czas na show! To jest miejsce, gdzie zamieniasz swój tekst w animacje wideo.

Oto przykład pozytywnego promptu i negatywnego promptu:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Harmonogram Promptów

Ale poczekaj, jest więcej! Czy próbowałeś Prompt Travel / Harmonogramu Promptów? Pomyśl o tym jak o wcieleniu się w rolę reżysera filmowego. Masz kontrolę, tworzysz swoją historię scena po scenie. To jak układanie puzzli, gdzie każdy kawałek to moment w twojej historii.

Jak działa Prompt Travel?

Wyobraź sobie, że tworzysz mini-film. Ustawiasz Prompt 1 w Ramce 1 i Prompt 2 w Ramce 8, i tak dalej. AnimateDiff płynnie połączy te prompty, tworząc płynne przejście od Ramki 1 do Ramki 8.

Wskazówka: Chociaż Prompt Travel może być intrygujący, warto zauważyć, że nie zawsze jest to gwarantowany sukces. Skuteczność Prompt Travel zależy również od wybranego modelu checkpoint. Na przykład model cardos_Animev2.0 jest kompatybilny z Prompt Travel, ale nie dotyczy to wszystkich modeli. Dodatkowo, wynik może być nieprzewidywalny - niektóre prompty mogą nie łączyć się dobrze, co skutkuje mniej niż idealnymi przejściami. To sprawia, że Prompt Travel jest bardziej eksperymentalną funkcją niż gwarantowanym narzędziem do płynnej animacji.

Umieściliśmy węzeł "Prompt Travel / Harmonogram Promptów" na końcu AnimateDiff ComfyUI workflow. Jeśli jesteś ciekawy eksperymentowania, będziesz musiał użyć "Prompt Travel" zamiast opcji regularnego "Prompt".

7. ComfyUI Hires Fix - Poprawa Twoich Animacji

Stosując AnimateDiff wraz z Hi-Res fix, możesz poprawić rozdzielczość swoich obrazów. Ten proces przekształca nieco rozmyte obrazy w krystalicznie czyste arcydzieła. W tej sekcji przedstawimy dwie metody.

7.1. Latent Upscale

Tradycyjne latent upscaling w ComfyUI. Stosując ustawienia takie jak 0.6 siły odszumiania i wybierając 1.5x upscale, zobaczysz, jak twoje animacje przekształcają się z bogatszymi detalami i ostrzejszą klarownością. To jak założenie okularów i nagłe zobaczenie świata w wysokiej rozdzielczości!

7.2. ControlNet Upscale

Tradycyjne latent upscaling jest fajne, ale idźmy dalej z Control Net Assisted Latent Upscale. Używa ControlNets dla bardziej precyzyjnego upscale, zapewniając, że twoja animacja zachowuje swoją integralność. Dzięki dodaniu preprocessora lineart i odpowiedniego modelu controlnet, poprawisz swoją sztukę, zachowując jej duszę nienaruszoną.

8. Gotowy do Użycia ComfyUI AnimateDiff Workflow: Odkrywanie Stable Diffusion Animacji

Zanurzyliśmy się w ekscytujący świat AnimateDiff w ComfyUI. Dla tych, którzy chcą eksperymentować z wyróżnionym przez nas ComfyUI AnimateDiff Workflow, zdecydowanie wypróbuj RunComfy, środowisko chmurowe wyposażone w potężny GPU i w pełni przygotowane, w tym wszystko, od niezbędnych modeli po niestandardowe węzły. Żadnych ręcznych ustawień! Tylko plac zabaw do uwolnienia twojej kreatywności. 🌟

Autor: Redakcja RunComfy

Nasz zespół redaktorów pracuje z AI od ponad 15 lat, zaczynając od NLP/Vision w erze RNN/CNN. Zgromadziliśmy ogromne doświadczenie w dziedzinie AI Chatbot/Art/Animation, takich jak BERT/GAN/Transformer, itp. Porozmawiaj z nami, jeśli potrzebujesz pomocy w zakresie AI art, animacji i wideo.