AnimateDiff V2 & V3 | Text na Video

1. ComfyUI AnimateDiff Workflow

Tento workflow ComfyUI AnimateDiff je navržen pro uživatele, aby se ponořili do sofistikovaných funkcí AnimateDiff napříč verzemi AnimateDiff V3, AnimateDiff SDXL a AnimateDiff V2. Umožňuje prozkoumání široké škály animací, které zahrnují různé pohyby a styly. Po vytvoření animací s AnimateDiff je použita Latent Upscale pro dosažení vysokého rozlišení pomocí dvou přístupů. První využívá tradiční latentní upscale v rámci ComfyUI, s úpravami jako je síla odšumění a faktor zvětšení. Druhý, Control Net Assisted Latent Upscale, poskytuje přesnější vylepšení integrací line art preprocesoru a vhodného modelu control net, což výrazně zlepšuje umělecké dílo při zachování jeho původní podstaty.

2. Přehled AnimateDiff

2.1. Úvod do AnimateDiff

AnimateDiff se objevuje jako průkopnický rámec, navržený k vdechnutí života do obrázků generovaných modely text-to-image, jako je Stabilní Difúze. Tento nástroj umožňuje uživatelům bezproblémově integrovat pohyb do statických obrázků, transformovat je na personalizované animované vizuály. Rámec je postaven na principu vylepšení existujících modelů text-to-image modulem pohybu, trénovaným na video klipech pro zachycení realistické dynamiky pohybu. Tento proces eliminuje potřebu úprav specifických pro model, nabízející univerzální řešení pro animaci personalizovaných obrázků.

2.2. Různé verze AnimateDiff

2.2.1. AnimateDiff V3: Revoluce pohybu s novými technologiemi

AnimateDiff V3 představuje průlomový modul pohybu, který zahrnuje nejnovější pokroky v technologii animace. V jádru této evoluce leží modul Domain Adapter LoRA, mechanismus, který připravuje modul pohybu trénováním na statických video rámech. Toto nastavení umožňuje AnimateDiff zdatně navigovat složitostmi pohybu, zajišťující, že animace jsou jak jemné, tak flexibilní. Na rozdíl od svého předchůdce, V3 nepřekonává V2 ve všech dimenzích, ale zavádí různé pohybové schopnosti, obohacující tvůrčí nástroje uživatele.

2.2.2. AnimateDiff SDXL: Animace videa ve vysokém rozlišení

Pro nadšence vysokého rozlišení vizuálů představuje AnimateDiff SDXL lákavou možnost. Tato Beta verze podporuje tvorbu videí ve vysokém rozlišení (1024x1024 rozlišení se 16 snímky), přičemž umožňuje různé poměry stran s nebo bez personalizovaných modelů. Navzdory tomu, že je v Beta verzi, SDXL slibuje zvýšení kvality animovaného obsahu, s očekáváním jemnějších verzí v blízké budoucnosti.

2.2.3. AnimateDiff V2: Klasický pohyb a ovládání pohybu kamery

AnimateDiff V2 stojí jako základní verze, která významně zlepšila kvalitu vzorků prostřednictvím zvýšeného rozlišení a tréninku v dávkách. Představila MotionLoRA, která usnadňuje ovládání osmi základních pohybů kamery, včetně přibližování/oddalování, posunu vlevo/vpravo, naklánění nahoru/dolů a otáčení po směru/ proti směru hodinových ručiček. Tato verze je ideální pro uživatele, kteří chtějí do svých animací začlenit dynamické pohyby kamery, nabízející robustní sadu nástrojů pro tvorbu dramatických vizuálních příběhů.