AnimateDiff + ControlNet | Styl keramického umění

1. ComfyUI Workflow: AnimateDiff + ControlNet | Styl keramického umění

Tento pracovní postup využívá AnimateDiff, ControlNet zaměřený na hloubku a specifickou Lora k dovedné přeměně videí do stylu keramického umění. Doporučujeme používat různé prompty k dosažení různých uměleckých stylů, čímž přeměníte své nápady ve skutečnost.

2. Jak používat AnimateDiff

AnimateDiff je navržen k animování statických obrázků a textových promptů do dynamických videí, využívajících modely Stable Diffusion a specializovaný motion module. Automatizuje proces animace předpovědí plynulých přechodů mezi snímky, což jej činí přístupným uživatelům bez programovacích dovedností.

2.1 AnimateDiff Motion Modules

Začněte výběrem požadovaného motion module AnimateDiff z rozbalovací nabídky model_name:

• Použijte v3_sd15_mm.ckpt pro AnimateDiff V3
• Použijte mm_sd_v15_v2.ckpt pro AnimateDiff V2
• Použijte mm_sdxl_v10_beta.ckpt pro AnimateDiff SDXL

2.2 Beta Schedule

Beta Schedule v AnimateDiff je klíčový pro nastavení procesu snižování šumu během tvorby animace.

Pro verze V3 a V2 AnimateDiff se doporučuje nastavení sqrt_linear, ačkoli experimentování s nastavením linear může přinést jedinečné efekty.

Pro AnimateDiff SDXL se doporučuje nastavení linear (AnimateDiff-SDXL).

2.3 Motion Scale

Funkce Motion Scale v AnimateDiff umožňuje nastavení intenzity pohybu ve vašich animacích. Motion Scale pod 1 vede k jemnějšímu pohybu, zatímco škála nad 1 zvyšuje pohyb.

2.4 Context Length

Uniform Context Length v AnimateDiff je nezbytný pro zajištění plynulých přechodů mezi scénami definovanými vaší Batch Size. Funguje jako odborný editor, který plynule spojuje scény pro plynulé vyprávění. Nastavení delší Uniform Context Length zajišťuje plynulejší přechody, zatímco kratší délka nabízí rychlejší, výraznější změny scén, což je přínosné pro určité efekty. Standardní Uniform Context Length je nastavena na 16.

2.5 Využití Motion LoRA pro vylepšenou dynamiku kamery (specifické pro AnimateDiff v2)

Motion LoRAs, kompatibilní pouze s AnimateDiff v2, přinášejí další vrstvu dynamického pohybu kamery. Dosažení optimální rovnováhy s váhou LoRA, obvykle kolem 0.75, zajišťuje plynulý pohyb kamery bez zkreslení pozadí.

Navíc, řetězení různých modelů Motion LoRA umožňuje složité dynamiky kamery. To umožňuje tvůrcům experimentovat a objevit ideální kombinaci pro jejich animaci, čímž ji povyšují na filmovou úroveň.

3. Jak používat ControlNet

ControlNet zlepšuje generování obrázků zavedením přesné prostorové kontroly do text-to-image modelů, což umožňuje uživatelům sofistikovaně manipulovat s obrázky nad rámec pouhých textových promptů, využívající rozsáhlé knihovny z modelů jako Stable Diffusion pro složité úkoly jako skicování, mapování a segmentace vizuálů.

Následuje nejjednodušší pracovní postup používající ControlNet.

3.1 Načtení "Apply ControlNet" Node

Začněte tvorbu svého obrázku načtením "Apply ControlNet" Node v ComfyUI, čímž vytvoříte základ pro kombinaci vizuálních a textových prvků ve svém návrhu.

3.2 Vstupy "Apply ControlNet" Node

Použijte Positive a Negative Conditioning k tvarování svého obrázku, vyberte model ControlNet pro definování stylových vlastností a předzpracujte svůj obrázek, aby odpovídal požadavkům modelu ControlNet, což jej připraví na transformaci.

3.3 Výstupy "Apply ControlNet" Node

Výstupy node vedou difúzní model, nabízejí volbu mezi dalším vylepšením obrázku nebo přidáním více ControlNetů pro zvýšené detaily a přizpůsobení na základě interakce ControlNet s vašimi kreativními vstupy.

3.4 Ladění "Apply ControlNet" pro nejlepší výsledky

Ovládejte vliv ControlNet na svůj obrázek pomocí nastavení jako Determining Strength, Adjusting Start Percent a Setting End Percent pro jemné doladění kreativního procesu a výsledku obrázku.

Pro více podrobností si prosím prohlédněte

Tento pracovní postup je inspirován s některými úpravami. Pro více informací prosím navštivte jeho YouTube kanál.