AnimateDiff ComfyUI Workflow/Návod - Stable Diffusion Animace

Ahoj! Už jste někdy žasli nad myšlenkou přeměny textu na videa? To není úplně nové, ale stále se to zlepšuje. Dnes si povíme o jednom z těchto skvělých nástrojů, AnimateDiff v prostředí ComfyUI. Ať už jste digitální umělec nebo jen rádi objevujete nové technologie, AnimateDiff nabízí vzrušující způsob, jak přeměnit vaše textové nápady na animované GIFy a videa.

Budeme se zabývat:

1. Jak funguje AnimateDiff?
2. ComfyUI AnimateDiff Workflow - Není třeba instalace, zcela zdarma
3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2
   • AnimateDiff V3: Nový Motion Module v Animatediff
   • AnimateDiff SDXL
   • AnimateDiff V2
4. Nastavení AnimateDiff: Jak používat AnimateDiff v ComfyUI
   • AnimateDiff Models
   • CheckPoint Models pro AnimateDiff
   • Beta Schedule
   • Motion Scale
   • Context Batch Size Určuje Délku Animace
   • Context Length
   • Motion LoRA pro Dynamiku Kamery (pouze AnimateDiff v2)
5. AnimateDiff Prompt
6. AnimateDiff Prompt Travel / Prompt Scheduling
7. ComfyUI Hires Fix - Zlepšení Vašich Animací
8. Připravený k použití ComfyUI AnimateDiff Workflow: Prozkoumávání Stable Diffusion Animace

1. Jak funguje AnimateDiff?

Jádrem AnimateDiff je modul pro modelování pohybu. Představte si to jako mozek operace, který se učí o pohybu z různých videoklipů. Je to jako mít tanečního učitele, který zná každý pohyb v knize. Tento modul se bez problémů integruje do předtrénovaných text-to-image modelů. Takže už nejste omezeni jen na statické obrázky – vaše výtvory mohou tančit, skákat a točit se!

2. ComfyUI AnimateDiff Workflow - Není třeba instalace, zcela zdarma

Podívejte se na video výše, které bylo vytvořeno pomocí ComfyUI AnimateDiff workflow. Nyní se můžete ponořit přímo do tohoto Animatediff Workflow bez jakýchkoli potíží s instalací. Všechno jsme pro vás nastavili v cloudovém ComfyUI, kompletní s AnimateDiff workflow a všemi potřebnými modely a vlastními uzly Animatediff V3, Animatediff SDXL a Animatediff V2.

Neváhejte experimentovat a hrát si s tím. Nebo můžete pokračovat ve čtení tohoto návodu, jak používat AnimateDiff, a pak to vyzkoušet později.

3. AnimateDiff V3 vs. Animatediff SDXL vs. AnimateDiff v2

Pojďme se projít různými verzemi AnimateDiff. Každá verze má své kouzlo, takže se připravte na rychlou prohlídku!

3.1. AnimateDiff V3: Nový Motion Module v Animatediff

AnimateDiff V3 není jen nová verze, je to evoluce v technologii motion module, vynikající svými rafinovanými funkcemi. Motion module v3_sd15_mm.ckpt je srdcem této verze, zodpovědný za jemné a flexibilní animace.

Pojďme si rozebrat technologickou magii za tím. Hlavním hráčem je zde modul Domain Adapter LoRA, který je v podstatě základním prvkem pro motion module. Trénováním na statických snímcích z video datasetu tento LoRA modul vybavuje AnimateDiff k lepšímu zvládání pohybu. Docela cool, že?

Při používání AnimateDiff V3 si všimnete, že nemusí nutně předčit Animatediff V2 v každém aspektu. Místo toho nabízí různé typy pohybů, přidávající více nástrojů do vašeho kreativního arzenálu.

Positive Prompt：masterpiece, best quality, girl with rainbow hair, really wild hair, mane

Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative

CheckPoint: toonyou_beta6

3.2. AnimateDiff SDXL

Pokud máte rádi videa ve vysokém rozlišení, AnimateDiff SDXL by mohl být volbou. Běží na motion module mm_sdxl_v10_beta.ckpt, je navržen pro vytváření animací v rozlišení 1024x1024 s 16 snímky. Jen malé upozornění, je stále v Beta verzi, takže by bylo moudré chvíli počkat, než se do toho pustíte.

Použijte stejný Positive Prompt a Negative Prompt jako u AnimateDiff V3

CheckPoint: dreamshaperXL10_alpha2Xl10

3.3. AnimateDiff V2

AnimateDiff V2 je klasika! S mm_sd_v15_v2.ckpt, tato verze nabízí MotionLoRA pro osm základních pohybů kamery: Zoom In/Out, Pan Left/Right, Tilt Up/Down a Rolling Clockwise/Anticlockwise. Animatediff V2 je perfektní, pokud hledáte dynamické pohyby kamery, které přidají vaší animaci dramatický nádech.

Použijte stejný Positive Prompt a Negative Prompt jako u AnimateDiff V3

CheckPoint: toonyou_beta6

4. Nastavení AnimateDiff: Jak používat AnimateDiff v ComfyUI

Jakmile vstoupíte do AnimateDiff workflow v ComfyUI, narazíte na skupinu označenou "AnimateDiff Options" jak je ukázáno níže. Tato oblast obsahuje nastavení a funkce, které pravděpodobně použijete při práci s AnimateDiff.

4.1. AnimateDiff Models

Nejprve si vyberte motion module AnimateDiff, který chcete vyzkoušet v rozbalovací nabídce model_name:

• v3_sd15_mm.ckpt pro AnimateDiff V3
• mm_sdxl_v10_beta.ckpt pro AnimateDiff SDXL
• mm_sd_v15_v2.ckpt pro AnimateDiff V2

4.2. CheckPoint Models pro AnimateDiff

AnimateDiff potřebuje Stable Diffusion chickpoint model.

Pro AnimateDiff V2 a V3, musíte použít SD v1.5 model. Modely jako realisticVisionV60B1_V51VAE, toonyou_beta6 a cardos_Animev2.0 jsou nejlepší volby.

Pokud se přikláníte k AnimateDiff SDXL, zaměřte se na SDXL model, jako je sd_xl_base_1.0 nebo dreamshaperXL10_alpha2Xl10.

V cloudovém prostředí RunComfy jsou všechny motion modules a checkpoint models předinstalovány pro vaše pohodlí.

4.3. Beta Schedule

Beta Schedule v AnimateDiff určuje chování procesu snižování šumu během generování animace.

Pro AnimateDiff V3 a V2 je obecně nejlepší nastavení sqrt_linear, ale nebojte se vyzkoušet linear pro zajímavé efekty.

Pro AnimateDiff XL se držte linear (AnimateDiff-SDXL).

4.4. Motion Scale

Motion Scale v AnimateDiff vám umožňuje ovládat intenzitu pohybu. Pod 1 znamená jemnější pohyb; nad 1 znamená výraznější pohyb.

4.5. Context Batch Size Určuje Délku Animace

Batch Size v AnimateDiff představuje stavební bloky vaší animace. Slouží jako základní faktor ovlivňující délku vaší animace. Určuje počet "scén" nebo segmentů, které vaše animace bude obsahovat.

Větší Batch Sizes vedou k více scénám ve vaší animaci, což umožňuje delší a složitější vyprávění. Neexistuje horní limit pro Batch Size, takže jste volní vytvářet animace tak dlouhé nebo krátké, jak chcete. Výchozí Batch Size je 16.

• 16 Batch Size = Rychlé, 2sekundové video
• 32 Batch Size = Krátký, 4sekundový klip
• 64 Batch Size = Delší, 8sekundový snímek

4.6. Context Length

Uniform Context Length v AnimateDiff hraje klíčovou roli při zajišťování plynulých přechodů mezi scénami nastavenými vaším Batch Size. Je to jako mít zkušeného editora, který přesně ví, jak spojit scény pro co nejpřirozenější tok.

Délka, kterou nastavíte pro Uniform Context, bude určovat povahu přechodů mezi scénami. Delší Uniform Context Length vede k plynulejším, postupným přechodům, které činí přechod od jedné scény k druhé téměř nepostřehnutelným. Na druhou stranu, kratší délka vytvoří rychlejší, výraznější přechody, což může být ideální pro určité vypravěčské efekty. Výchozí délka Uniform Context je 16.

4.7. Motion LoRA pro Dynamiku Kamery (pouze AnimateDiff v2)

Motion LoRAs jsou výhradně kompatibilní s AnimateDiff v2. Tyto šikovné doplňky přinášejí dynamický prvek pohybu kamery do vašich animací. Při používání Motion LoRAs je klíčové najít správnou rovnováhu s váhou LoRA. Nastavení okolo 0.75 má tendenci trefit ten správný bod, poskytující plynulé pohyby kamery bez nepříjemných artefaktů na pozadí.

Navíc máte kreativní volnost kombinovat více Motion LoRAs. Strategickým kombinováním různých Motion LoRA modelů můžete orchestrát složité pohyby kamery, experimentovat a najít dokonalou směs pohybů pro vaši jedinečnou animační vizi, čímž povýšíte svou animaci na kinematografické mistrovské dílo.

Zde je příklad použití funkcí Motion LoRa "Pan Left" a "Zoom In" dohromady.

5. AnimateDiff Prompt

Dobře, teď když máte svůj model a nastavení AnimateDiff doladěné, je čas na show! Tady přeměníte svůj text na video animace.

Zde je příklad pozitivního promptu a negativního promptu:

Positive Prompt：(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)

Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative

6. AnimateDiff Prompt Travel / Prompt Scheduling

Ale počkejte, je toho víc! Zkusili jste Prompt Travel / Prompt Scheduling? Představte si to jako vstup do bot režiséra filmu. Máte kontrolu, vytváříte svůj příběh scénu po scéně. Je to jako sestavování puzzle, kde každý dílek je momentem ve vašem příběhu.

Jak funguje Prompt Travel?

Představte si, že vytváříte mini-film. Nastavíte Prompt 1 na Frame 1 a Prompt 2 na Frame 8 a tak dále. AnimateDiff plynule spojí tyto prompty, vytvářející hladký přechod od Frame 6 do Frame 8.

Tip: Zatímco Prompt Travel může být zajímavý, je důležité si uvědomit, že to není vždy zaručený úspěch. Účinnost Prompt Travel také závisí na modelu checkpointu, který vyberete. Například model cardos_Animev2.0 je kompatibilní s Prompt Travel, ale to neplatí pro všechny modely. Navíc výsledek může být nepředvídatelný - některé prompty se nemusí dobře spojit, což vede k méně než ideálním přechodům. To činí Prompt Travel spíše experimentální funkcí než zaručeným nástrojem pro plynulou animaci.

Umístili jsme uzel "Prompt Travel / Prompt Scheduling" na konec AnimateDiff ComfyUI workflow. Pokud jste zvědaví experimentovat, budete muset použít "Prompt Travel" místo běžné možnosti "Prompt".

7. ComfyUI Hires Fix - Zlepšení Vašich Animací

Použitím AnimateDiff spolu s Hi-Res fix můžete zvýšit rozlišení vašich obrázků. Tento proces přemění mírně rozmazané obrázky na křišťálově čisté mistrovské dílo. V této sekci představíme dvě metody.

7.1. Latent Upscale

Tradiční latentní upscaling v ComfyUI. Použitím nastavení jako 0.6 denoising strength a výběrem 1.5x upscale, uvidíte, jak se vaše animace transformují s bohatšími detaily a ostřejší jasností. Je to jako nasadit si brýle a náhle vidět svět ve vysokém rozlišení!

7.2. ControlNet Upscale

Tradiční latentní upscaling je skvělý, ale pojďme to povýšit s Control Net Assisted Latent Upscale. Používá ControlNets pro přesnější upscale, což zajišťuje, že vaše animace si udrží svou integritu. S přidáním lineart preprocessor a správného controlnet modelu vylepšíte své umění při zachování jeho duše.

8. Připravený k použití ComfyUI AnimateDiff Workflow: Prozkoumávání Stable Diffusion Animace

Prozkoumali jsme vzrušující svět AnimateDiff v ComfyUI. Pro ty, kteří se chtějí experimentovat s ComfyUI AnimateDiff Workflow, které jsme zdůraznili, určitě vyzkoušejte RunComfy, cloudové prostředí vybavené výkonným GPU a plně připravené, včetně všeho od nezbytných modelů po vlastní uzly. Není třeba žádné ruční nastavení! Jen hřiště pro uvolnění vaší kreativity. 🌟

Autor: RunComfy Editors

Náš tým editorů pracoval s AI více než 15 let, počínaje NLP/Vision v době RNN/CNN. Nabrali jsme obrovské množství zkušeností s AI Chatbot/Art/Animation, jako jsou BERT/GAN/Transformer, atd. Mluvte s námi, pokud potřebujete pomoc s AI uměním, animací a videem.