LivePortrait | Animace Portrétů | Vid2Vid

Díky  je nyní vytváření realistických animací LivePortrait v ComfyUI snazší. Následuje rozpis klíčových komponent a parametrů jeho workflowu.

Nejprve si přečtěte popis , abyste pochopili kroky workflowu. Po seznámení se s procesem LivePortrait Img2Vid si všimnete několika malých změn mezi workflowy LivePortrait Vid2Vid a Img2Vid.

Rozdíl mezi ComfyUI LivePortrait Vid2Vid a Img2Vid

1. Načítání videí pomocí "VHS_LoadVideo" místo obrázků

• V tomto workflowu LivePortrait Img2Vid načítáte statický obrázek jako zdroj pomocí uzlu "LoadImage". V workflowu Vid2Vid však musíte jako zdroj načíst video. Nastavte "frame_load_cap" pro kontrolu, kolik snímků se načte.
• Změňte velikost zdrojového videa na vyšší rozlišení, například 1024x1024, pro lepší kvalitu. Po načtení zdrojového videa pomocí "VHS_LoadVideo" použijte uzel "ImageResizeKJ" k zvětšení snímků na rozlišení jako 1024x1024. To pomůže udržet ostrost a detaily ve finálním výstupu. Při práci s videi se doporučuje použít vyšší rozlišení zdroje ve srovnání s workflowem Img2Vid. Zatímco 512x512 je často dostatečné pro statické obrázky, videa těží z vyšších rozlišení pro zachování detailů a kvality.
• Snímky řídícího videa mohou být stále zmenšeny na nižší rozlišení, například 480x480, aby se ušetřil čas zpracování, protože poskytují pouze informace o pohybu.

2. Použití režimu relativního pohybu "source_video_smoothed" pro hladší výsledky LivePortrait Vid2Vid

• Uzel "LivePortraitProcess" má parametr "relative_motion_mode", který ovládá, jak se pohyb přenáší z řídícího videa na zdroj. Pro Vid2Vid se doporučuje použít režim "source_video_smoothed".
• V tomto režimu je pohyb LivePortrait vyhlazen v průběhu času na základě vstupního videa, což pomáhá vytvářet časově koherentnější a stabilnější výsledky. To je obzvláště důležité pro videa, kde mohou být náhlé skoky nebo chvění pohybu více patrné než u jednotlivých obrázků.
• Jiné režimy pohybu jako "relative" nebo "single_frame" mohou fungovat lépe pro Img2Vid, ale "source_video_smoothed" je obvykle nejlepší volbou pro Vid2Vid.

3. Připojení FPS a zvuku zdrojového videa k "VHS_VideoCombine" pro zachování synchronizace zvuku u LivePortrait Vid2Vid

• Při vytváření finálního výstupního videa pomocí uzlu "VHS_VideoCombine" je důležité zachovat synchronizaci zvuku s video snímky. To zahrnuje dvě klíčová připojení:
• Nejprve připojte zvuk zdrojového videa ke vstupu "audio" uzlu "VHS_VideoCombine" pomocí uzlu "Reroute". Tím zajistíte, že bude ve výstupním videu použit původní zvuk.
• Za druhé, připojte snímkovou frekvenci (FPS) zdrojového videa ke vstupu "frame_rate" uzlu "VHS_VideoCombine". FPS můžete získat pomocí uzlu "VHS_VideoInfo", který extrahuje metadata ze zdrojového videa. Tím zajistíte, že výstupní video bude odpovídat časování zdroje.
• Pečlivým zpracováním zvuku a snímkové frekvence můžete vytvořit výstup LivePortrait Vid2Vid, který udržuje správnou synchronizaci a časování, což je klíčové pro realistický a sledovatelný výsledek.