Workflow ComfyUI Vid2Vid, vytvořený , představuje dva odlišné workflowy pro dosažení vysoce kvalitních, profesionálních animací.
Tento workflow zvyšuje kreativitu zaměřením na kompozici a maskování vašeho původního videa.
Vyberte vhodné modely pro vaši animaci. To zahrnuje výběr checkpoint modelu, VAE (Variational Autoencoder) modelu a LoRA (Low-Rank Adaptation) modelu. Tyto modely jsou zásadní pro definování schopností a stylu vaší animace.
Node Input Video je zodpovědný za import video souboru, který bude použit pro animaci. Node čte video a převádí ho na jednotlivé snímky, které jsou pak zpracovávány v následujících krocích. To umožňuje detailní úpravy snímek po snímku a jejich vylepšení.
Odstranění Pozadí (Automatické Maskování) izoluje subjekt od pozadí pomocí automatizované maskovací techniky. To zahrnuje modely, které detekují a oddělují popřední subjekt od pozadí, čímž vytváří binární masku. Tento krok je zásadní pro zajištění, že subjekt může být manipulován nezávisle na pozadí.
Tento krok umožňuje upřesnění masky vytvořené v předchozím kroku. Můžete buď ručně maskovat specifické oblasti pomocí jiného softwaru, nebo se spolehnout na 'Segment Anything' automatickou maskovací funkci ComfyUI.
Výchozí verze používá manuální masku. Pokud chcete vyzkoušet automatickou, obejděte skupinu s manuální maskou a povolte skupinu s automatickou maskou. Dále připojte MASK 'GroundingDinoSAM' (automatická maska) k 'GrowMaskWithBlur' místo připojení 'ImageToMask' (manuální maska) k 'GrowMaskWithBlur'.
Transformace Masky převádí masku na obrázek a umožňuje další úpravy, jako je přidání rozmazání k původní masce. To pomáhá změkčit okraje a zajistit, aby maska přirozeně splynula se zbytkem obrázku.
Zadejte textové prompty pro vedení animačního procesu. Prompt může popisovat požadovaný styl, vzhled nebo akce subjektu. Je zásadní pro definování kreativního směru animace, zajišťující, že konečný výstup odpovídá plánovanému uměleckému stylu.
Node AnimateDiff vytváří plynulé animace identifikací rozdílů mezi po sobě jdoucími snímky a aplikací těchto změn postupně. To pomáhá zachovat koherenci pohybu a snížit náhlé změny v animaci, což vede k plynulejšímu a přirozenějšímu vzhledu.
Node IPAdapter přizpůsobuje vstupní obrázky tak, aby odpovídaly požadovaným výstupním stylům nebo vlastnostem. To zahrnuje úkoly jako kolorování a převod stylů, zajišťující, že každý snímek animace udržuje konzistentní vzhled a dojem.
Použití ControlNet - v1.1 - Instruct Pix2Pix Version modelu zlepšuje difúzní modely tím, že jim umožňuje zpracovávat další vstupní podmínky (např. mapy hran, segmentační mapy). Umožňuje generování obrazů z textu kontrolou těchto předtrénovaných modelů s úkolově specifickými podmínkami end-to-end způsobem, což umožňuje robustní učení i s menšími datovými sadami.
Ve fázi Render jsou zpracované snímky sestaveny do konečného video výstupu. Tento krok zajišťuje, že všechny jednotlivé snímky jsou bezproblémově kombinovány do koherentní animace, připravené k exportu a dalšímu použití.
Toto zahrnuje kompozici animovaného subjektu s pozadím. Můžete přidat statické nebo dynamické pozadí k animaci, zajistit, aby subjekt hladce integroval s novým pozadím a vytvořil vizuálně atraktivní konečný produkt.
Použitím workflowu ComfyUI Vid2Vid Část1 můžete vytvořit složité animace s přesnou kontrolou nad každým aspektem procesu, od kompozice a maskování až po konečné renderování.
© Autorská práva 2024 RunComfy. Všechna práva vyhrazena.