Product Relighting Video | Vid2Vid

Přehled workflow pro Product Relighting Video

Tento workflow vám umožňuje zadat video a jednu nebo více světelných masek pro generování přebleskujícího videa. Podporuje tři scénáře:

1. Pohybující se objekt s pohybující se světelnou maskou
2. Statický objekt s pohybující se světelnou maskou
3. Pohybující se objekt se statickou světelnou maskou

I když je tento workflow pro přebleskující video experimentální a nemusí produkovat dokonalé výsledky, představuje významný krok směrem k ne-AnimateDiff pipeline, které upřednostňují věrnost produktu před dokonalým sloučením snímků v procesu přebleskujícího videa.

Vstupy a proměnné pro přebleskující video

Pro spuštění workflow a dosažení požadovaných efektů přebleskujícího videa musíte poskytnout následující vstupy a proměnné:

• Zdrojové video: Vstupní video, které má být přeblesknuto
• Počet snímků: Celkový počet snímků, které je třeba zpracovat
• Počet počátečních snímků, které se mají přeskočit: Počet snímků, které se mají přeskočit od začátku videa
• Statický nebo pohybující se objekt: Logický přepínač pro indikaci, zda je objekt statický nebo pohybující se
• Velikost delší strany (resize): Velikost, na kterou budou snímky zmenšeny na základě delší strany
• Dvě světelné masky: Buď počáteční a konečné pozice světelné masky (pro pohybující se světelnou masku) nebo stejná světelná maska (pro statickou světelnou masku)
• Světelný prompt: Textový prompt popisující požadované osvětlení
• CFG: Hodnota mezi 1.05 a 3 pro kontrolu síly změn osvětlení (vyšší hodnoty vedou k výraznějším změnám, ale vyšší šanci na artefakty)
• Denoise: Hodnota mezi 0.3 a 0.6 pro kontrolu síly denoisingu (vyšší hodnoty vedou k menšímu blikání, ale mohou způsobit, že světelná maska bude vypadat více jako filtr)

Jak funguje workflow pro přebleskující video

1. Workflow používá IC-Light pro přeblesknutí každého snímku samostatně.
2. Pro každý snímek je generován latentní obraz na základě směsi rámce objektu a odpovídajícího rámce světelné masky.
3. Latentní obraz je generován při nízké hodnotě denoise, aby se světelná maska přenesla do konečného výstupu.
4. Protože IC-Light může při nízkém denoisingu ztratit detaily, detaily a původní barvy jsou na konci workflow přeneseny zpět pomocí Frequency Separation, aby byla zachována kvalita videa po přeblesknutí.