LivePortrait | Animacja Portretów | Vid2Vid

Dzięki nodowi i workflow , tworzenie realistycznych animacji LivePortrait w ComfyUI jest teraz łatwiejsze. Poniżej znajduje się przegląd kluczowych komponentów i parametrów jego workflow.

Proszę przeczytać najpierw opis , aby zrozumieć kroki workflow. Po zapoznaniu się z procesem LivePortrait Img2Vid, zauważysz pewne małe różnice między workflow LivePortrait Vid2Vid a Img2Vid.

Różnica między ComfyUI LivePortrait Vid2Vid a Img2Vid

1. Ładowanie wideo za pomocą "VHS_LoadVideo" zamiast obrazów

• W tym workflow LivePortrait Img2Vid, ładujesz statyczny obraz jako źródło za pomocą noda "LoadImage". Jednak w workflow Vid2Vid musisz zamiast tego załadować wideo jako źródło. Dostosuj "frame_load_cap", aby kontrolować, ile klatek jest ładowanych.
• Zmień rozdzielczość wideo źródłowego na wyższą, np. 1024x1024, dla lepszej jakości. Po załadowaniu wideo źródłowego za pomocą "VHS_LoadVideo", użyj noda "ImageResizeKJ", aby powiększyć klatki do rozdzielczości np. 1024x1024. Pomoże to zachować ostrość i szczegóły w końcowym wyniku. Pracując z wideo, zaleca się użycie wyższej rozdzielczości dla źródła w porównaniu do workflow Img2Vid. Podczas gdy 512x512 często wystarcza dla statycznych obrazów, wideo korzysta z wyższych rozdzielczości, aby zachować szczegóły i jakość.
• Klatki wideo napędzającego mogą nadal być zmniejszane do niższej rozdzielczości, np. 480x480, aby zaoszczędzić czas przetwarzania, ponieważ dostarczają one tylko informacji o ruchu.

2. Użyj trybu "source_video_smoothed" w nodzie "relative_motion_mode" dla płynniejszych wyników LivePortrait Vid2Vid

• Nod "LivePortraitProcess" ma parametr "relative_motion_mode", który kontroluje, jak ruch jest przenoszony z wideo napędzającego na źródło. Dla Vid2Vid zaleca się użycie trybu "source_video_smoothed".
• W tym trybie ruch LivePortrait jest wygładzany w czasie na podstawie wideo wejściowego, co pomaga stworzyć bardziej spójne i stabilne wyniki w czasie. Jest to szczególnie ważne dla wideo, gdzie nagłe skoki lub drgania w ruchu mogą być bardziej zauważalne niż w pojedynczych obrazach.
• Inne tryby ruchu, takie jak "relative" lub "single_frame", mogą lepiej działać dla Img2Vid, ale "source_video_smoothed" jest zazwyczaj najlepszym wyborem dla Vid2Vid.

3. Podłącz FPS i audio wideo źródłowego do "VHS_VideoCombine", aby zachować synchronizację audio dla LivePortrait Vid2Vid

• Tworząc końcowe wideo za pomocą noda "VHS_VideoCombine", ważne jest, aby zachować synchronizację dźwięku z klatkami wideo. Obejmuje to dwa kluczowe połączenia:
• Po pierwsze, podłącz dźwięk wideo źródłowego do wejścia "audio" w "VHS_VideoCombine" za pomocą noda "Reroute". Zapewni to, że oryginalny dźwięk zostanie użyty w końcowym wideo.
• Po drugie, podłącz liczbę klatek na sekundę (FPS) wideo źródłowego do wejścia "frame_rate" w "VHS_VideoCombine". Możesz uzyskać FPS za pomocą noda "VHS_VideoInfo", który wyciąga metadane z wideo źródłowego. Zapewni to, że końcowe wideo będzie zgodne z czasem źródła.
• Poprzez staranne zarządzanie dźwiękiem i liczbą klatek, możesz stworzyć wynik LivePortrait Vid2Vid, który zachowuje prawidłową synchronizację i czas, co jest kluczowe dla realistycznego i przyjemnego do oglądania wyniku.