MimicMotion | Generování videí s lidským pohybem

Co je MimicMotion

MimicMotion je rámec pro kontrolovatelné generování videí, vyvinutý výzkumníky ze společnosti Tencent a Šanghajské univerzity Jiao Tong. Může generovat vysoce kvalitní videa libovolné délky podle poskytnutého pohybového vedení. Ve srovnání s předchozími metodami MimicMotion vyniká produkcí videí s bohatými detaily, dobrou časovou plynulostí a schopností generovat dlouhé sekvence.

Jak MimicMotion funguje

MimicMotion bere jako vstup referenční obrázek a vedení pózy. Poté generuje video, které odpovídá vzhledu referenčního obrázku a zároveň následuje poskytnutou sekvenci pohybu.

Několik klíčových inovací umožňuje silný výkon MimicMotion:

1. Vedení pózy s vědomím důvěry: Začleněním informací o důvěře pózy dosahuje MimicMotion lepší časové plynulosti a je odolnější vůči šumovým tréninkovým datům. To mu pomáhá dobře se zobecňovat.
2. Regionální zesílení ztráty: Zaměřením ztráty více na oblasti s vysokou důvěrou pózy, zejména na ruce, výrazně snižuje zkreslení obrazu v generovaných videích.
3. Progresivní fúze latentních prostorů: Pro efektivní generování plynulých, dlouhých videí generuje MimicMotion segmenty videa s překrývajícími se snímky a postupně fúzuje jejich latentní reprezentace. To umožňuje generování videí libovolné délky s kontrolovanými výpočetními náklady.

Model je nejprve předtrénován na velkých video datasetech a potom doladěn pro úkol napodobování pohybu. Tento efektivní tréninkový pipeline nevyžaduje obrovské množství specializovaných dat.

Jak používat ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Po testování různých uzlů MimicMotion dostupných v ComfyUI doporučujeme používat pro nejlepší výsledky.

Krok 1: Příprava vstupu pro MimicMotion

Pro zahájení animace s ComfyUI MimicMotion budete potřebovat dvě klíčové ingredience:

• Referenční obrázek: Toto je počáteční snímek, který slouží jako výchozí bod pro vaši animaci. Vyberte obrázek, který jasně zobrazuje subjekt, který chcete animovat.
• Obrázky póz: Tyto obrázky definují sekvenci pohybu. Každý obrázek pózy by měl ukazovat požadovanou pozici nebo pózu vašeho subjektu v konkrétním bodě animace. Tyto obrázky póz můžete vytvořit ručně nebo použít nástroje pro odhad póz k extrakci póz z videa.

🌟Ujistěte se, že váš referenční obrázek a obrázky póz mají stejné rozlišení a poměr stran pro optimální výsledky.🌟

Krok 2: Načtení modelu MimicMotion

ComfyUI MimicMotion vyžaduje model MimicMotion pro správnou funkci. V RunComfy je model již předem načten pro vaše pohodlí. Pro konfiguraci uzlu "DownLoadMimicMotionModel" postupujte takto:

• Nastavte parametr "model" na "MimicMotion-fp16.safetensors" (nebo na příslušný název souboru modelu, pokud je jiný).
• Vyberte požadovanou přesnost (fp32, fp16 nebo bf16) podle schopností vaší GPU. Tato volba může ovlivnit výkon a kompatibilitu.
• Nechte parametr "lcm" nastaven na False, pokud konkrétně nechcete použít variantu modelu LCM (Latent Conditional Motion).

Jakmile máte nastavení uzlu nakonfigurováno, připojte výstup uzlu "DownloadAndLoadMimicMotionModel" k vstupu následujícího uzlu ve vašem workflow. To zajistí, že načtený model MimicMotion bude správně využit v následujících krocích vašeho pipeline v ComfyUI.

Krok 3: Konfigurace sampleru MimicMotion

Uzel "MimicMotionSampler" je odpovědný za generování animovaných snímků na základě vašeho vstupu. Zde je návod, jak jej nastavit:

• Přidejte uzel "MimicMotionSampler" a připojte jej k výstupu uzlu "DownloadAndLoadMimicMotionModel".
• Nastavte parametr "ref_image" na váš referenční obrázek a parametr "pose_images" na vaši sekvenci obrázků póz.
• Upravte nastavení vzorkování podle vašich preferencí:
  • "steps" určuje počet kroků difuze (vyšší hodnoty vedou k plynulejším výsledkům, ale delší doby zpracování).
  • "cfg_min" a "cfg_max" řídí sílu podmíněného vedení (vyšší hodnoty se přísněji drží obrázků póz).
  • "seed" nastavuje náhodné semeno pro reprodukovatelnost.
  • "fps" specifikuje počet snímků za sekundu generované animace.
  • Doladěte další parametry jako "noise_aug_strength", "context_size" a "context_overlap" pro experimentování s různými styly a časovou koherencí.

Krok 4: Dekódování latentních vzorků

Uzel "MimicMotionSampler" generuje latentní prostorové reprezentace animovaných snímků. Pro převod těchto latencí na skutečné obrázky musíte použít uzel "MimicMotionDecode":

• Přidejte uzel "MimicMotionDecode" a připojte jej k výstupu uzlu "MimicMotionSampler".
• Nastavte parametr "decode_chunk_size" pro kontrolu počtu snímků dekódovaných současně (vyšší hodnoty mohou spotřebovávat více paměti GPU). Výstup uzlu "MimicMotionDecode" budou finální animované snímky ve formátu obrázků.

Krok 5: Vylepšení póz s MimicMotionGetPoses

Pokud chcete vizualizovat extrahované pózy spolu s vaším referenčním obrázkem, můžete použít uzel "MimicMotionGetPoses":

• Připojte "ref_image" a "pose_images" k uzlu "MimicMotionGetPoses".
• Nastavte parametry "include_body", "include_hand" a "include_face" pro kontrolu, které klíčové body pózy se zobrazí. Výstup bude zahrnovat referenční obrázek s extrahovanou pózou a jednotlivé obrázky póz.

Tipy a osvědčené postupy

Zde jsou některé tipy, které vám pomohou co nejlépe využít ComfyUI MimicMotion:

• Experimentujte s různými referenčními obrázky a sekvencemi póz pro vytvoření různých animací.
• Upravte nastavení vzorkování pro vyvážení kvality a doby zpracování podle vašich potřeb.
• Používejte vysoce kvalitní, konzistentní obrázky póz pro nejlepší výsledky. Vyhněte se drastickým změnám perspektivy nebo osvětlení mezi pózami.
• Sledujte využití paměti GPU, zejména při práci s obrázky vysokého rozlišení nebo dlouhými animacemi.
• Využijte uzel "DiffusersScheduler" pro přizpůsobení plánování šumu pro unikátní efekty.

ComfyUI MimicMotion je mocný a všestranný nástroj, který vám umožňuje snadno vytvářet úchvatné animace. Pochopením workflow a prozkoumáním různých parametrů budete schopni snadno animovat kohokoli. Jak se ponoříte do světa animace, nezapomeňte experimentovat, iterovat a bavit se během celého procesu. S ComfyUI MimicMotion jsou možnosti nekonečné, takže si užijte přinášení svých kreativních vizí k životu!