Sonic | Animação de Retratos com Sincronização Labial

ComfyUI Sonic redefine a animação de retratos ao aproveitar a percepção global do áudio para movimentos e expressões faciais ultra-realistas. Ao contrário dos métodos tradicionais, ele captura todo o contexto da fala—além dos fonemas—para gerar animações fluidas e ricas em emoção. Com tecnologia de IA de ponta, Sonic garante uma sincronização perfeita entre voz e visuais, dando vida aos personagens com realismo incomparável. Eleve suas animações com Sonic e faça cada expressão parecer realmente viva.

Os nós do ComfyUI Sonic e o fluxo de trabalho relacionado foram desenvolvidos por smthemex. Para mais informações, por favor visite o GitHub de smthemex.

1.1 Como Usar o Fluxo de Trabalho do Sonic?

Os nós à esquerda são suas entradas para Áudio e Imagem do Avatar. O do meio é o Nó de Processamento Sonic. O lado direito é o nó de combinação de vídeo para saída de vídeo.

Siga estas etapas:

1. Insira sua Imagem de Avatar que será usada para visualizar os diálogos do áudio.
2. Insira seu Áudio para gerar uma narração dirigida por áudio da imagem inserida.
3. Clique em Queue Prompt!!

Feito! Seu vídeo renderizado será armazenado na pasta Outputs.

Pontos Fortes e Fracos do Sonic:

Pontos Fortes:

• Sonic gera animações de retrato altamente realistas e expressivas dirigidas por áudio.
• Sonic usa SVD, então não há cintilação entre os quadros.
• A consistência é melhor do que os modelos audio2video lançados anteriormente.

Pontos Fracos:

• Como Sonic usa SVD, capturas de corpo inteiro ou distantes podem ter dificuldade em projetar vocais adequadamente no rosto.
• Rostos de perfil ou em ângulos complexos podem resultar em distorções.

1.2 Entrada de Áudio e Vídeo do Sonic

• Carregue seu Áudio no nó de carregar áudio (Diálogos ou Vocais)
• Carregue sua imagem no nó de carregar imagem (Um close-up ou plano médio de uma pessoa)

1.3 Nó de Processamento Sonic

ComfyUI Sonic usa Modelo SVD sob o capô para processamento, então os resultados e configurações são de acordo com o modelo SVD. Essas configurações estão ajustadas para o ótimo; não há necessidade de alterá-las.

• Mantenha min resolution próximo a 768 ou abaixo se houver artefatos como distorção ou mãos distorcidas.

Sonic transforma a animação de retratos ao focar na percepção global do áudio para expressões suaves e realistas. Ao capturar toda a profundidade da fala, cria animações que parecem naturais, emotivas e envolventes. Seja para contar histórias, avatares virtuais ou criação de conteúdo, Sonic oferece realismo incomparável. Entre no futuro da animação com Sonic—onde cada palavra ganha vida.