Visão Geral do Fluxo de Trabalho de Reiluminação de Produto
Este fluxo de trabalho permite que você insira um vídeo e uma ou mais máscaras de luz para gerar um vídeo de reiluminação. Ele suporta três cenários:
- Sujeito em movimento com uma máscara de luz em movimento
- Sujeito estático com uma máscara de luz em movimento
- Sujeito em movimento com uma máscara de luz estática
Embora este fluxo de trabalho de reiluminação de vídeo seja experimental e possa não produzir resultados perfeitos, ele representa um passo significativo em direção a pipelines não-AnimateDiff que priorizam a fidelidade do produto sobre a fusão perfeita de quadros no processo de reiluminação de vídeo.
Entradas e Variáveis para Reiluminação de Vídeo
Para executar o fluxo de trabalho e alcançar os efeitos desejados de reiluminação de vídeo, você deve fornecer as seguintes entradas e variáveis:
- Vídeo de Origem: O vídeo de entrada a ser reiluminado
- Número de quadros: O número total de quadros a serem processados
- Número de quadros iniciais a serem pulados: O número de quadros a serem pulados desde o início do vídeo
- Sujeito Estático ou em Movimento: Um interruptor booleano para indicar se o sujeito está estático ou em movimento
- Tamanho do lado mais longo (redimensionar): O tamanho para o qual os quadros serão redimensionados com base no lado mais longo
- Duas Máscaras de Luz: Ou as posições iniciais e finais da máscara de luz (para uma máscara de luz em movimento) ou a mesma máscara de luz (para uma máscara de luz estática)
- Prompt de Luz: Um prompt de texto descrevendo a iluminação desejada
- CFG: Um valor entre 1.05 e 3 para controlar a força das mudanças de iluminação (valores mais altos levam a mudanças mais perceptíveis, mas uma maior chance de artefatos)
- Denoise: Um valor entre 0.3 e 0.6 para controlar a força da remoção de ruído (valores mais altos resultam em menos cintilação, mas podem fazer a máscara de luz parecer mais um filtro)
Como Funciona o Fluxo de Trabalho de Reiluminação de Vídeo
- O fluxo de trabalho usa IC-Light para reiluminar cada quadro de forma independente.
- Para cada quadro, um latente é gerado com base em uma mistura do quadro do sujeito e do quadro correspondente da máscara de luz.
- O latente é gerado com um valor de denoise baixo para forçar a máscara de luz no resultado final.
- Como o IC-Light pode perder detalhes em baixos níveis de denoising, os detalhes e cores originais são transferidos de volta usando a Separação de Frequência no final do fluxo de trabalho para manter a qualidade do vídeo após a reiluminação.
