LivePortrait | Anima Retratos | Vid2Vid

Graças ao  nó e fluxo de trabalho, criar animações LivePortrait realistas no ComfyUI agora é mais fácil. A seguir está uma análise dos principais componentes e parâmetros do fluxo de trabalho dele.

Por favor, leia primeiro a descrição do para entender as etapas do fluxo de trabalho. Após se familiarizar com o processo LivePortrait Img2Vid, você notará algumas pequenas mudanças entre os fluxos de trabalho LivePortrait Vid2Vid e Img2Vid.

A Diferença Entre ComfyUI LivePortrait Vid2Vid e Img2Vid

1. Carregar vídeos usando "VHS_LoadVideo" em vez de imagens

• Neste fluxo de trabalho LivePortrait Img2Vid, você carrega uma imagem estática como fonte usando o nó "LoadImage". No entanto, no fluxo de trabalho Vid2Vid, você precisa carregar um vídeo como fonte. Ajuste o "frame_load_cap" para controlar quantos quadros são carregados.
• Redimensione o vídeo fonte para uma resolução mais alta, como 1024x1024, para melhor qualidade. Após carregar o vídeo fonte com "VHS_LoadVideo", use o nó "ImageResizeKJ" para aumentar a escala dos quadros para uma resolução como 1024x1024. Isso ajudará a manter a nitidez e o detalhe no resultado final. Ao trabalhar com vídeos, é recomendado usar uma resolução mais alta para a fonte em comparação com o fluxo de trabalho Img2Vid. Enquanto 512x512 é frequentemente suficiente para imagens estáticas, vídeos se beneficiam de resoluções mais altas para preservar detalhes e qualidade.
• Os quadros do vídeo de condução ainda podem ser redimensionados para uma resolução mais baixa, como 480x480, para economizar tempo de processamento, já que eles fornecem apenas informações de movimento.

2. Use o modo de movimento relativo "source_video_smoothed" para resultados mais suaves no LivePortrait Vid2Vid

• O nó "LivePortraitProcess" possui um parâmetro "relative_motion_mode" que controla como o movimento é transferido do vídeo de condução para a fonte. Para Vid2Vid, é recomendado usar o modo "source_video_smoothed".
• Neste modo, o movimento do LivePortrait é suavizado ao longo do tempo com base no vídeo de entrada, o que ajuda a criar resultados mais coerentes e estáveis ao longo do tempo. Isto é especialmente importante para vídeos, onde saltos ou tremores súbitos no movimento podem ser mais perceptíveis do que em imagens únicas.
• Outros modos de movimento como "relative" ou "single_frame" podem funcionar melhor para Img2Vid, mas "source_video_smoothed" é tipicamente a melhor escolha para Vid2Vid.

3. Conecte o FPS e o áudio do vídeo fonte ao "VHS_VideoCombine" para manter a sincronização de áudio no LivePortrait Vid2Vid

• Ao criar o vídeo de saída final com o nó "VHS_VideoCombine", é importante manter a sincronização de áudio com os quadros do vídeo. Isso envolve duas conexões principais:
• Primeiro, conecte o áudio do vídeo fonte à entrada "audio" do "VHS_VideoCombine" usando um nó "Reroute". Isso garantirá que o áudio original seja usado no vídeo de saída.
• Segundo, conecte a taxa de quadros (FPS) do vídeo fonte à entrada "frame_rate" do "VHS_VideoCombine". Você pode obter o FPS usando o nó "VHS_VideoInfo", que extrai metadados do vídeo fonte. Isso garantirá que o vídeo de saída corresponda ao tempo do fonte.
• Ao lidar cuidadosamente com o áudio e a taxa de quadros, você pode criar uma saída LivePortrait Vid2Vid que mantém a sincronização e o tempo adequados, o que é crucial para um resultado realista e assistível.