ComfyUI  >  Workflow  >  ComfyUI LivePortrait Workflow | Animovat portréty

ComfyUI LivePortrait Workflow | Animovat portréty

Tento ComfyUI LivePortrait workflow přináší statické portrétní obrázky k životu integrací efektivního rámce LivePortrait. Umožňuje vám vytvářet vysoce realistická animovaná videa s plnou kontrolou nad výrazy obličeje, pohyby hlavy a jemnými detaily jako oči a ústa.

ComfyUI LivePortrait Workflow

ComfyUI LivePortrait Workflow
Chcete spustit toto workflow?
  • Plně funkční workflow
  • Žádné chybějící uzly nebo modely
  • Není nutné žádné ruční nastavení
  • Obsahuje úchvatné vizuály

ComfyUI LivePortrait Examples

ComfyUI LivePortrait Description

Co je LivePortrait?

LivePortrait je efektivní rámec pro animaci portrétů vyvinutý společností Kuaishou Technology, který má za cíl syntetizovat realistická videa z jednoho zdrojového obrázku. Používá zdrojový obrázek jako referenci vzhledu a odvozuje pohyb (výrazy obličeje a polohu hlavy) z řídícího videa, audia, textu nebo generování.

Na rozdíl od hlavních metod založených na difuzi, LivePortrait zkoumá a rozšiřuje rámec založený na implicitních klíčových bodech, aby efektivně vyvážil výpočetní efektivitu a kontrolovatelnost. Zaměřuje se na lepší generalizaci, kontrolovatelnost a efektivitu pro praktické použití. LivePortrait má vysokou kvalitu generování i ve srovnání s metodami difuze, přičemž je extrémně rychlý - asi 12,8ms na snímek na GPU RTX 4090 s PyTorch.

Pro více podrobností navštivte LivePortrait

Jak LivePortrait funguje

Na vysoké úrovni, LivePortrait bere zdrojový obrázek a řídící video jako vstupy. Extrahuje vzhled ze zdrojového obrázku a pohyb z řídícího videa. Tyto jsou pak kombinovány pomocí modulů deformace a generování k syntéze animovaného portrétního videa, které si zachovává identitu zdrojového obrázku, ale následuje pohyb a výrazy z řídícího videa.

Klíčové komponenty v LivePortrait jsou:

  1. Extraktor vzhledových rysů: Kóduje identitu a vzhledové informace ze zdrojového obrázku.
  2. Extraktor pohybu: Extrahuje pohybové rysy (klíčové body obličeje) z rámců řídícího videa.
  3. Modul deformace: Používá extrahovaný pohyb k deformaci vzhledových rysů zdrojového obrázku, zarovnává je s řídící polohou a výrazem.
  4. Generátor obrázků: Bere deformované rysy a syntetizuje finální fotorealistický animovaný snímek.
  5. Modul šití a přesměrování: Volitelně sešije generovaný portrét zpět na původní obrázek a umožňuje kontrolu specifických oblastí obličeje jako oči a ústa.

Tyto moduly jsou efektivně navrženy a spolupracují na umožnění vysoce kvalitní, kontrolovatelné animace LivePortrait.

Jak používat ComfyUI LivePortrait

Díky kijai's ComfyUI-LivePortraitKJ uzlu a workflow je vytváření realistických animací portrétů v ComfyUI nyní snazší. Následuje rozpis klíčových komponent a parametrů jeho ComfyUI LivePortrait workflow.

Použití LivePortrait v ComfyUI

  1. Přidejte uzel "(Down)LoadLivePortraitModels" k stažení a načtení předtrénovaných modelů LivePortrait.
    • Vyberte požadovanou přesnost (fp32, fp16 nebo auto).
  2. Přidejte uzel "LivePortraitProcess" a připojte jej k uzlu modelů.
    • Připojte svůj zdrojový obrázek a rámce řídícího videa k příslušným vstupům.
    • Upravte parametry:
      • dsize: Velikost oříznutí (výchozí: 512)
      • scale: Měřítko oříznutí (výchozí: 2.3)
      • vx_ratiovy_ratio: Poměry posunu oříznutí (výchozí: 0, -0.125)
      • lip_zero: Ústa zavřená, když je hodnota blízko 0 (výchozí: True)
      • eye_retargeting: Povolit přesměrování očí (výchozí: False)
      • lip_retargeting: Povolit přesměrování rtů (výchozí: False)
      • stitching: Sešít generovaný portrét zpět na původní obrázek (výchozí: True)
      • relative: Přesměrování relativně k referenčnímu snímku (výchozí: True)
      • onnx_device: Zařízení pro ONNX oříznutí obličeje (CPU/CUDA, výchozí: CPU)
  3. Uzel "LivePortraitProcess" výstupy oříznuté generované snímky stejně jako plné snímky s pozadím.

Některé klíčové parametry LivePortrait v ComfyUI

  • dsizescalevx_ratiovy_ratio řídí detekci obličeje a oříznutí. Upravte je, pokud není obličej správně detekován a centrován.
  • Povolit eye_retargeting a lip_retargeting pro umožnění jemnější kontroly nad těmito oblastmi. Přesměrování používá implicitní blendshapes a je relativní k prvnímu snímku.
  • lip_zero uzavírá ústa, když je hodnota pohybu blízko nuly. Užitečné pro neutrální referenční snímek.
  • Povolit stitching k vložení generovaného portrétu zpět na původní obrázek. Vypněte pro výstup pouze oříznutého obličeje.

Vezměte prosím na vědomí, že model Insightface je integrován v tomto ComfyUI LivePortrait workflow. Licence modelu Insightface (https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip) je nekomerční povahy.

Chcete více workflow pro ComfyUI?

RunComfy

© Autorská práva 2024 RunComfy. Všechna práva vyhrazena.

RunComfy je přední ComfyUI platforma, nabízející ComfyUI online prostředí a služby, spolu s workflow ComfyUI s úchvatnými vizuály.