Produkt Relighting Video | Vid2Vid

Przegląd workflow Produkt Relighting Video

Ten workflow pozwala wprowadzić wideo i jedną lub więcej masek świetlnych, aby wygenerować wideo z relightingiem. Obsługuje trzy scenariusze:

1. Poruszający się obiekt z poruszającą się maską świetlną
2. Nieruchomy obiekt z poruszającą się maską świetlną
3. Poruszający się obiekt z nieruchomą maską świetlną

Chociaż ten workflow relighting video jest eksperymentalny i może nie dawać idealnych wyników, reprezentuje znaczący krok w kierunku nie-AnimateDiff pipeline'ów, które priorytetowo traktują wierność produktu nad idealnym łączeniem klatek w procesie relighting wideo.

Wejścia i zmienne dla wideo z relightingiem

Aby uruchomić workflow i osiągnąć pożądane efekty relighting wideo, musisz dostarczyć następujące wejścia i zmienne:

• Wideo źródłowe: Wprowadź wideo do relightingu
• Liczba klatek: Całkowita liczba klatek do przetworzenia
• Liczba początkowych klatek do pominięcia: Liczba klatek do pominięcia od początku wideo
• Nieruchomy lub poruszający się obiekt: Przełącznik boolowski wskazujący, czy obiekt jest nieruchomy, czy poruszający się
• Rozmiar dłuższego boku (zmiana rozmiaru): Rozmiar, do którego klatki zostaną zmienione na podstawie dłuższego boku
• Dwie maski świetlne: Albo początkowe i końcowe pozycje maski świetlnej (dla poruszającej się maski świetlnej), albo ta sama maska świetlna (dla nieruchomej maski świetlnej)
• Light prompt: Tekstowy prompt opisujący pożądane oświetlenie
• CFG: Wartość między 1.05 a 3, aby kontrolować siłę zmian oświetlenia (wyższe wartości prowadzą do bardziej zauważalnych zmian, ale większego ryzyka artefaktów)
• Denoise: Wartość między 0.3 a 0.6, aby kontrolować siłę odszumiania (wyższe wartości powodują mniejsze migotanie, ale mogą sprawić, że maska świetlna będzie wyglądać bardziej jak filtr)

Jak działa workflow relighting wideo

1. Workflow używa IC-Light do relightingu każdej klatki niezależnie.
2. Dla każdej klatki generowany jest latent na podstawie mieszanki klatki obiektu i odpowiadającej jej klatki maski świetlnej.
3. Latent jest generowany przy niskiej wartości denoise, aby wymusić nałożenie maski świetlnej na końcowy wynik.
4. Ponieważ IC-Light może tracić szczegóły przy niskim odszumianiu, szczegóły i oryginalne kolory są przenoszone z powrotem przy użyciu Frequency Separation na końcu workflow, aby zachować jakość wideo po relightingu.