ToonCrafter | Generatywna Interpolacja Kreskówek

1. Czym jest ToonCrafter?

ToonCrafter to zaawansowana technika AI, która interpoluje między dwoma obrazami kreskówek, używając wytrenowanych wcześniej priorytetów dyfuzji obraz-wideo. Dzięki temu ToonCrafter może generować interpolowane filmy z dwóch różnych obrazów kreskówek, tworząc płynne przejście między nimi. Obsługuje generowanie wideo do 16 klatek w rozdzielczości 512x320 pikseli.

2. Jak działa ToonCrafter?

ToonCrafter to narzędzie AI zaprojektowane do tworzenia płynnych animacji z statycznych obrazów kreskówek, wykorzystujące zaawansowane techniki AI. Wykorzystuje Modele Dyfuzji Utajonej (LDMs) do kodowania obrazów w skompresowaną przestrzeń utajoną, gdzie dodawany jest szum, a następnie stopniowo usuwany w procesie odszumiania. Ta metoda generuje pośrednie klatki między oryginalnymi obrazami, co skutkuje płynnymi animacjami​.

Znaczącą cechą ToonCrafter jest jego Toon Rectification Learning. Proces ten adaptuje model AI, pierwotnie wytrenowany na filmach fabularnych, do rozumienia i generowania animacji kreskówek. Dzięki dostrojeniu modelu z dużym zbiorem danych wysokiej jakości filmów kreskówek, ToonCrafter uczy się unikalnych elementów ruchu i stylu kreskówek, takich jak przesadzone ruchy i prostsze tekstury​.

ToonCrafter zawiera również mechanizm Detail Injection and Propagation. Wykorzystuje on dekoder 3D oparty na podwójnym odniesieniu, aby utrzymać wizualną wierność generowanych klatek. Dekoder analizuje i wstrzykuje szczegóły na poziomie pikseli z wejściowych klatek do nowych klatek, zapewniając zgodność z oryginalnym dziełem i zapobiegając artefaktom wizualnym​.

Dodatkowo, ToonCrafter oferuje możliwość generowania kontrolowanego szkicami, pozwalając animatorom dostarczać szkice, które kierują tworzeniem pośrednich klatek. Ta funkcja daje artystom większą kontrolę nad procesem animacji, umożliwiając im określanie konkretnych pozycji lub ruchów i zapewniając, że ostateczna animacja jest zgodna z ich wizją​​.

3. Jak używać ComfyUI ToonCrafter

ComfyUI ToonCrafter Node: Parametry wejściowe

Węzeł ToonCrafter wymaga kilku parametrów wejściowych, które określają zachowanie i wynik procesu interpolacji. Oto szczegółowe wyjaśnienie każdego parametru:

• image: Pierwszy obraz wejściowy (typ: IMAGE).
• image2: Drugi obraz wejściowy (typ: IMAGE).
• ckpt_name: Nazwa punktu kontrolnego do użycia (typ: STRING, opcje: lista dostępnych punktów kontrolnych).
• prompt: Opis tekstowy, który kieruje interpolacją (typ: STRING, obsługuje wieloliniowe i dynamiczne podpowiedzi).
• seed: Wartość ziarna do generowania liczb losowych w celu zapewnienia powtarzalności (typ: INT, domyślnie: 123).
• eta: Parametr kontroluje skalę szumu dodawanego podczas procesu dyfuzji. W modelach dyfuzyjnych szum jest stopniowo redukowany, aby wygenerować ostateczny obraz lub klatkę. Dostosowanie wartości eta określa, ile szumu jest wprowadzane w każdej iteracji tego procesu. (typ: FLOAT, domyślnie: 1.0, zakres: 0.0 do 15.0, krok: 0.1).
• cfg_scale: Skala prowadzenia bez klasyfikatora (typ: FLOAT, domyślnie: 7.5, zakres: 1.0 do 15.0, krok: 0.5).
• steps: Liczba kroków dyfuzji (typ: INT, domyślnie: 50, zakres: 1 do 60, krok: 1).
• frame_count: Liczba generowanych klatek (typ: INT, domyślnie: 10, zakres: 5 do 30, krok: 1).
• fps: Liczba klatek na sekundę dla wyjściowego wideo (typ: INT, domyślnie: 8, zakres: 1 do 60, krok: 1).

ComfyUI ToonCrafter Node: Parametry wyjściowe

Wynikiem węzła ToonCrafter jest sekwencja interpolowanych klatek, które mogą być użyte do stworzenia wideo. Oto czego można się spodziewać:

• IMAGE: Generowane klatki interpolowanego wideo. Te klatki są zwracane jako tensor i mogą być dalej przetwarzane lub zapisane jako plik wideo.