Z-Depth Maps | Animacje w stylu Houdini

Czy kiedykolwiek chciałeś tworzyć oszałamiające animacje w stylu Houdini, ale czułeś się przytłoczony złożonością oprogramowania 3D? Nie szukaj dalej! Ten innowacyjny workflow ComfyUI poprowadzi Cię przez proces stosowania manipulacji głębią (Z-Depth) i generowania wciągających animacji, używając tylko obrazów 2D.

Niezależnie od tego, czy jesteś artystą, projektantem, czy entuzjastą, będziesz w stanie generować oszałamiające animacje, które wyglądają i czują się, jakby zostały stworzone za pomocą zaawansowanych technik 3D, a wszystko to pracując z prostotą i łatwością obrazów 2D w ComfyUI.

Krok 1: Tworzenie obrazu początkowego

Na początek będziesz musiał wygenerować obraz początkowy, który posłuży jako podstawa dla Twojej animacji. Gdy już masz swój obraz, zmniejsz go do mniejszego rozmiaru, na przykład 1 megapiksel, aby utrzymać rozmiar pliku na rozsądnym poziomie.

Krok 2: Tworzenie animacji maski z pojedynczego obrazu

W tym kroku przekształcisz swój pojedynczy obraz w animację maski. Zacznij od stworzenia wideo z pojedynczego obrazu, powtarzając go przez żądaną liczbę klatek, na przykład 32. Aby odizolować swój obiekt, usuń tło za pomocą modelu do usuwania tła, takiego jak InSPyR-Net. Po usunięciu tła, lekko skurcz powstałą maskę o kilka pikseli, aby dobrze współpracowała z procesem manipulacji głębią.

Następnie wyodrębnij informacje o głębi z pojedynczej klatki i podłącz je do głębokości kontrolnej siatki. Powtórz obraz głębi dla tej samej liczby klatek, co Twoje wideo. Przekaż powtarzające się klatki głębi do węzłów Time Feature i Flex Mask Depth Chamber. Węzeł Time Feature poprowadzi animację w czasie z ustaloną szybkością klatek. Ustaw czas efektu na "smooth" i wybierz niską wartość prędkości, na przykład 0.1.

Cechy czasowe będą kontrolować cięcie Twojego obiektu wzdłuż osi głębokości Z. Dostosuj początkową pozycję płaszczyzn Z-front i Z-back, aby rozpocząć akcję w połowie Twojego obiektu. Przesuń obie płaszczyzny za pomocą parametru "feature" z ruchem "squeeze", aby stworzyć pożądany efekt cięcia. Aby wzmocnić efekt dyfuzji różnicowej i zapewnić płynniejsze przejścia, dodaj niewielką ilość rozmycia, używając ustawienia "grow with blur".

Pod koniec tego kroku przekształcisz swój pojedynczy obraz w animację maski, która jest gotowa do procesu manipulacji głębią i cięcia. Ta animacja maski będzie stanowić podstawę do tworzenia efektu w stylu Houdini w kolejnych krokach workflow.

Krok 3: Generowanie animacji

W tym kroku ożywisz swoją animację, generując klatki za pomocą przygotowanej animacji maski i informacji o głębi. Zacznij od załadowania punktu kontrolnego, takiego jak punkt kontrolny 1.5 dla AnimateDiff, wraz z dowolnymi LoRAs, aby poprawić jakość i styl wygenerowanych klatek.

Skonfiguruj prosty krok kondycjonowania z pozytywną podpowiedzią, która opisuje część wynikowej maski, która będzie cięta. Ta podpowiedź poprowadzi proces generowania i pomoże utrzymać spójność animacji. Zastosuj głębokość ControlNet na podstawie głębi oryginalnego obiektu, aby zapewnić, że wygenerowane klatki zachowują pożądane cechy głębi.

Jeśli masz większe obszary wymagające malowania, możesz opcjonalnie włączyć grupę IP Adapter, aby skuteczniej obsługiwać te regiony. Wykonaj wnioskowanie z dyfuzją różnicową i ustaw maskę szumu latentnego. Zakoduj 32 klatki swojego oryginalnego obrazu i manipuluj przestrzenią latentną z szumem dla każdej klatki, ale tylko w odpowiadającym białym obszarze, który został wycięty.

Aby dodatkowo poprawić płynność i płynność animacji, przekaż wynikowe klatki przez węzeł RIFE (Real-Time Intermediate Flow Estimation) do interpolacji klatek. Ten proces podwoi liczbę klatek, skutecznie wydłużając i wygładzając Twoje wideo. Interpolując między wygenerowanymi klatkami, RIFE pomaga stworzyć bardziej płynną i wizualnie atrakcyjną animację.

Pod koniec tego kroku wygenerujesz kompletną animację na podstawie oryginalnego obrazu, informacji o głębi i animacji maski.

Krok 4: Mieszanie różnych animacji (opcjonalnie)

Jeśli chcesz przenieść swoją animację na wyższy poziom, możesz wygenerować dwie różne animacje, takie jak ogień i lód, używając tego samego procesu, ale z różnymi podpowiedziami i ponownym kondycjonowaniem głębi. Podziel interwał obrazu na pięć sekcji. Weź pierwsze 25% jednej animacji i pozostałe 25% (75% do 100%) drugiej animacji jako punkty początkowe i końcowe. Zmieszaj środkowe punkty (25% do 40%, 40% do 60%, 60% do 75%) obu animacji, aby wynikowa mieszanka zaczynała się bardziej jak pierwsza animacja i stopniowo stawała się bardziej jak druga animacja.