MimicMotion | Generowanie filmów z ruchem ludzi

Co to jest MimicMotion

MimicMotion to kontrolowalny framework do generowania filmów opracowany przez badaczy z Tencent i Shanghai Jiao Tong University. Może generować wysokiej jakości filmy dowolnej długości, podążając za dowolnym dostarczonym przewodnikiem ruchu. W porównaniu do poprzednich metod, MimicMotion wyróżnia się produkcją filmów z bogatymi detalami, dobrą płynnością czasową i możliwością generowania długich sekwencji.

Jak działa MimicMotion

MimicMotion przyjmuje obraz referencyjny i przewodnik pozy jako dane wejściowe. Następnie generuje film, który dopasowuje wygląd obrazu referencyjnego, podążając za dostarczoną sekwencją ruchu.

Kilka kluczowych innowacji umożliwia silne działanie MimicMotion:

1. Przewodnik pozy uwzględniający pewność: Poprzez uwzględnienie informacji o pewności pozy, MimicMotion osiąga lepszą płynność czasową i jest bardziej odporny na szumy w danych treningowych. Pomaga to w dobrej generalizacji.
2. Wzmacnianie straty regionalnej: Skupienie straty bardziej intensywnie na obszarach pozy o wysokiej pewności, szczególnie na rękach, znacznie redukuje zniekształcenia obrazu w generowanych filmach.
3. Progresywne łączenie latentów: Aby efektywnie generować płynne, długie filmy, MimicMotion generuje segmenty filmów z nakładającymi się klatkami i progresywnie łączy ich latentne reprezentacje. Pozwala to na generowanie filmów dowolnej długości przy kontrolowanym koszcie obliczeniowym.

Model jest najpierw wstępnie trenowany na dużych zestawach danych wideo, a następnie dostrajany do zadania naśladowania ruchu. Ten efektywny pipeline treningowy nie wymaga ogromnych ilości specjalistycznych danych.

Jak używać ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

Po przetestowaniu różnych węzłów MimicMotion dostępnych w ComfyUI, zalecamy używanie dla najlepszych wyników.

Krok 1: Przygotowanie danych wejściowych dla MimicMotion

Aby rozpocząć animację za pomocą ComfyUI MimicMotion, będziesz potrzebować dwóch kluczowych składników:

• Obraz referencyjny: Jest to początkowa klatka, która służy jako punkt wyjścia dla Twojej animacji. Wybierz obraz, który wyraźnie przedstawia temat, który chcesz animować.
• Obrazy pozy: Są to obrazy, które definiują sekwencję ruchu. Każdy obraz pozy powinien pokazywać pożądaną pozycję lub pozę Twojego tematu w określonym punkcie animacji. Możesz stworzyć te obrazy pozy ręcznie lub użyć narzędzi do estymacji pozy, aby wyodrębnić pozy z filmu.

🌟Upewnij się, że Twój obraz referencyjny i obrazy pozy mają tę samą rozdzielczość i proporcje dla optymalnych wyników.🌟

Krok 2: Ładowanie modelu MimicMotion

ComfyUI MimicMotion wymaga modelu MimicMotion do prawidłowego działania. W RunComfy model jest już wstępnie załadowany dla Twojej wygody. Aby skonfigurować węzeł "DownLoadMimicMotionModel", wykonaj następujące kroki:

• Ustaw parametr "model" na "MimicMotion-fp16.safetensors" (lub odpowiednią nazwę pliku modelu, jeśli jest inna).
• Wybierz pożądaną precyzję (fp32, fp16 lub bf16) w zależności od możliwości Twojego GPU. Ten wybór może wpływać na wydajność i kompatybilność.
• Pozostaw parametr "lcm" ustawiony na False, chyba że chcesz specjalnie używać wariantu modelu LCM (Latent Conditional Motion).

Po skonfigurowaniu ustawień węzła, połącz wyjście węzła "DownloadAndLoadMimicMotionModel" z wejściem następnego węzła w Twoim workflow. To zapewni, że załadowany model MimicMotion zostanie prawidłowo wykorzystany w kolejnych krokach Twojego pipeline'u ComfyUI.

Krok 3: Konfiguracja sampleru MimicMotion

Węzeł "MimicMotionSampler" jest odpowiedzialny za generowanie animowanych klatek na podstawie Twoich danych wejściowych. Oto jak go skonfigurować:

• Dodaj węzeł "MimicMotionSampler" i połącz go z wyjściem węzła "DownloadAndLoadMimicMotionModel".
• Ustaw parametr "ref_image" na Twój obraz referencyjny i parametr "pose_images" na Twoją sekwencję obrazów pozy.
• Dostosuj ustawienia próbkowania zgodnie z Twoimi preferencjami:
  • "steps" określa liczbę kroków dyfuzji (wyższe wartości prowadzą do płynniejszych wyników, ale dłuższych czasów przetwarzania).
  • "cfg_min" i "cfg_max" kontrolują siłę przewodnictwa warunkowego (wyższe wartości bardziej trzymają się obrazów pozy).
  • "seed" ustawia losowe ziarno dla powtarzalności.
  • "fps" określa liczbę klatek na sekundę generowanej animacji.
  • Dostosuj dodatkowe parametry takie jak "noise_aug_strength", "context_size" i "context_overlap", aby eksperymentować z różnymi stylami i spójnością czasową.

Krok 4: Dekodowanie próbek latentnych

Węzeł "MimicMotionSampler" wyjściowo generuje reprezentacje przestrzeni latentnej animowanych klatek. Aby przekształcić te latenty w rzeczywiste obrazy, musisz użyć węzła "MimicMotionDecode":

• Dodaj węzeł "MimicMotionDecode" i połącz go z wyjściem węzła "MimicMotionSampler".
• Ustaw parametr "decode_chunk_size" na kontrolowanie liczby dekodowanych jednocześnie klatek (wyższe wartości mogą zużywać więcej pamięci GPU). Wyjście węzła "MimicMotionDecode" to finalne animowane klatki w formacie obrazów.

Krok 5: Ulepszanie pozy za pomocą MimicMotionGetPoses

Jeśli chcesz wizualizować wyodrębnione pozy wraz z obrazem referencyjnym, możesz użyć węzła "MimicMotionGetPoses":

• Połącz "ref_image" i "pose_images" z węzłem "MimicMotionGetPoses".
• Ustaw parametry "include_body", "include_hand" i "include_face" na kontrolowanie, które punkty kluczowe pozy są wyświetlane. Wyjście będzie zawierać obraz referencyjny z wyodrębnioną pozą i indywidualne obrazy pozy.

Wskazówki i najlepsze praktyki

Oto kilka wskazówek, które pomogą Ci w pełni wykorzystać ComfyUI MimicMotion:

• Eksperymentuj z różnymi obrazami referencyjnymi i sekwencjami pozy, aby tworzyć różnorodne animacje.
• Dostosuj ustawienia próbkowania, aby zrównoważyć jakość i czas przetwarzania w zależności od Twoich potrzeb.
• Używaj wysokiej jakości, spójnych obrazów pozy dla najlepszych wyników. Unikaj drastycznych zmian w perspektywie lub oświetleniu między pozami.
• Monitoruj zużycie pamięci GPU, zwłaszcza pracując z obrazami wysokiej rozdzielczości lub długimi animacjami.
• Wykorzystaj węzeł "DiffusersScheduler" do dostosowania harmonogramu szumów dla unikalnych efektów.

ComfyUI MimicMotion to potężne i wszechstronne narzędzie, które umożliwia bezproblemowe tworzenie oszałamiających animacji. Rozumiejąc workflow i eksplorując różne parametry, będziesz w stanie z łatwością animować każdego. W miarę jak zagłębiasz się w świat animacji, pamiętaj, aby eksperymentować, iterować i cieszyć się procesem. Z ComfyUI MimicMotion możliwości są nieograniczone, więc ciesz się ożywianiem swoich kreatywnych wizji!