Animatediff V2 & V3 | Tekst na Wideo

1. ComfyUI AnimateDiff Workflow

Ten workflow ComfyUI AnimateDiff jest zaprojektowany, aby użytkownicy mogli zgłębiać zaawansowane funkcje AnimateDiff w wersjach AnimateDiff V3, AnimateDiff SDXL i AnimateDiff V2. Umożliwia eksplorację szerokiego zakresu animacji, obejmujących różne ruchy i style. Po stworzeniu animacji za pomocą AnimateDiff, Latent Upscale jest używany do osiągania wyników w wysokiej rozdzielczości przy użyciu dwóch podejść. Pierwsze polega na tradycyjnym latentnym upscalingu w ComfyUI, z regulacjami takimi jak siła denoisingu i współczynnik skalowania. Drugie, Control Net Assisted Latent Upscale, oferuje bardziej precyzyjne ulepszenia poprzez integrację preprocesora line art i odpowiedniego modelu control net, znacznie poprawiając dzieło sztuki, zachowując jego oryginalną istotę.

2. Przegląd AnimateDiff

2.1. Wprowadzenie do AnimateDiff

AnimateDiff pojawia się jako pionierskie ramy, zaprojektowane, aby ożywiać obrazy generowane przez modele tekst-na-obraz, takie jak Stabilna Dyfuzja. To narzędzie pozwala użytkownikom na bezproblemowe integrowanie ruchu w statycznych obrazach, przekształcając je w spersonalizowane animowane wizualizacje. Ramy są oparte na założeniu ulepszania istniejących modeli tekst-na-obraz za pomocą modułu modelowania ruchu, szkolonego na klipach wideo, aby uchwycić realistyczną dynamikę ruchu. Ten proces eliminuje potrzebę dostosowań specyficznych dla modelu, oferując uniwersalne rozwiązanie do animacji spersonalizowanych obrazów.

2.2. Różne wersje AnimateDiff

2.2.1. AnimateDiff V3: Rewolucjonizowanie Ruchu Nowymi Technologiami

AnimateDiff V3 wprowadza przełomowy moduł ruchu, zawierający najnowsze osiągnięcia w technologii animacji. W sercu tej ewolucji leży moduł Domain Adapter LoRA, mechanizm, który przygotowuje moduł ruchu poprzez szkolenie na statycznych klatkach wideo. To ustawienie pozwala AnimateDiff zręcznie poruszać się po złożonościach ruchu, zapewniając, że animacje są zarówno subtelne, jak i elastyczne. W przeciwieństwie do swojego poprzednika, V3 nie przewyższa V2 we wszystkich wymiarach, ale wprowadza zróżnicowane możliwości ruchu, wzbogacając kreatywny zestaw narzędzi użytkownika.

2.2.2. AnimateDiff SDXL: Animacja Wideo w Wysokiej Rozdzielczości

Dla entuzjastów wizualizacji w wysokiej rozdzielczości, AnimateDiff SDXL stanowi kuszącą opcję. Ta wersja Beta wspiera tworzenie filmów w wysokiej rozdzielczości (rozdzielczość 1024x1024 z 16 klatkami), obsługując różne proporcje obrazu z lub bez spersonalizowanych modeli. Pomimo bycia w wersji Beta, SDXL obiecuje podnieść jakość animowanych treści, z bardziej dopracowanymi wersjami oczekiwanymi wkrótce.

2.2.3. AnimateDiff V2: Klasyczne Kontrole Ruchu i Kamery

AnimateDiff V2 jest podstawową wersją, która znacznie poprawiła jakość próbek dzięki zwiększonej rozdzielczości i szkoleniu w większych partiach. Wprowadziła MotionLoRA, umożliwiając kontrolę nad ośmioma podstawowymi ruchami kamery, w tym Zoom In/Out, Pan Left/Right, Tilt Up/Down i Rolling Clockwise/Anticlockwise. Ta wersja jest idealna dla użytkowników, którzy chcą włączyć dynamiczne ruchy kamery do swoich animacji, oferując solidny zestaw narzędzi do tworzenia dramatycznych narracji wizualnych.