Обзор рабочего процесса создания видео с переналожением света
Этот рабочий процесс позволяет вам ввести видео и одну или несколько световых масок, чтобы создать видео с переналожением света. Он поддерживает три сценария:
- Движущийся объект с движущейся световой маской
- Неподвижный объект с движущейся световой маской
- Движущийся объект с неподвижной световой маской
Хотя этот рабочий процесс создания видео с переналожением света является экспериментальным и может не давать идеальных результатов, он представляет собой значительный шаг к не-AnimateDiff конвейерам, которые ставят приоритет на точность продукта, а не на идеальное слияние кадров в процессе переналожения света.
Входные данные и переменные для создания видео с переналожением света
Для запуска рабочего процесса и достижения желаемых эффектов переналожения света в видео, вы должны предоставить следующие входные данные и переменные:
- Исходное видео: Входное видео, которое нужно осветить
- Количество кадров: Общее количество кадров для обработки
- Количество начальных кадров для пропуска: Количество кадров для пропуска с начала видео
- Неподвижный или движущийся объект: Булевский переключатель, указывающий, неподвижен ли объект или движется
- Размер длинной стороны (изменение размера): Размер, до которого будут изменены кадры на основе длинной стороны
- Две световые маски: Либо начальная и конечная позиции световой маски (для движущейся световой маски) либо одна и та же световая маска (для неподвижной световой маски)
- Световой запрос: Текстовый запрос, описывающий желаемое освещение
- CFG: Значение от 1.05 до 3 для управления силой изменения освещения (более высокие значения приводят к более заметным изменениям, но также повышают вероятность артефактов)
- Деноиз: Значение от 0.3 до 0.6 для управления силой шумоподавления (более высокие значения приводят к меньшему мерцанию, но могут сделать световую маску больше похожей на фильтр)
Как работает рабочий процесс создания видео с переналожением света
- Рабочий процесс использует IC-Light для осветления каждого кадра независимо.
- Для каждого кадра создается латентный образ на основе смеси кадра объекта и соответствующего кадра световой маски.
- Латентный образ создается при низком значении денойза, чтобы принудительно наложить световую маску на конечный результат.
- Поскольку IC-Light может терять детали при низком денойзе, детали и оригинальные цвета возвращаются с помощью частотного разделения в конце рабочего процесса, чтобы сохранить качество видео после переналожения света.
