Sonic | Animation de Portrait Synchronisée sur les Lèvres

ComfyUI Sonic redéfinit l'animation de portrait en exploitant la perception audio globale pour des mouvements et expressions faciaux ultra-réalistes. Contrairement aux méthodes traditionnelles, il capture le contexte complet du discours—au-delà des phonèmes—pour générer des animations fluides et riches en émotions. Avec une technologie IA de pointe, Sonic assure une synchronisation parfaite entre la voix et les visuels, donnant vie aux personnages avec un réalisme inégalé. Élevez vos animations avec Sonic et faites en sorte que chaque expression semble véritablement vivante.

1.1 Comment Utiliser le Flux de Travail Sonic ?

Les nœuds de gauche sont vos entrées pour l'Audio et l'Image de l'Avatar. Celui du milieu est le nœud de traitement Sonic. Le côté droit est le nœud de combinaison vidéo pour la sortie vidéo.

Suivez ces étapes :

1. Entrez votre Image d'Avatar qui sera utilisée pour visualiser les dialogues à partir de l'audio.
2. Entrez votre Audio pour générer une voix off pilotée par l'audio de l'image insérée.
3. Cliquez sur Queue Prompt !!

Fait ! Votre vidéo rendue sera stockée dans le dossier Outputs.

Forces et Faiblesses de Sonic :

Forces :

• Sonic génère des animations de portrait très réalistes et expressives pilotées par l'audio.
• Sonic utilise SVD, donc il n'y a pas de scintillement entre les images.
• La cohérence est meilleure que celle des modèles audio2video précédemment publiés.

Faiblesses :

• Comme Sonic utilise SVD, les plans éloignés ou en pied peuvent avoir du mal à projeter les voix sur le visage correctement.
• Les visages de profil ou à des angles complexes peuvent donner des résultats déformés.

1.2 Entrée Audio et Vidéo de Sonic

• Téléchargez votre Audio dans le nœud de chargement audio (Dialogues ou Vocaux)
• Téléchargez votre image dans le nœud de chargement d'image (Un gros plan ou un plan moyen d'une personne)

1.3 Nœud de Traitement Sonic

ComfyUI Sonic utilise le Modèle SVD en arrière-plan pour le traitement, donc les résultats et les paramètres sont selon le modèle SVD. Ces paramètres sont réglés de manière optimale ; il n'est pas nécessaire de les modifier.

• Gardez min resolution près de 768 ou en dessous s'il y a des artefacts comme des déformations ou des mains déformées.

Sonic transforme l'animation de portrait en se concentrant sur la perception audio globale pour des expressions fluides et réalistes. En capturant toute la profondeur du discours, il crée des animations qui semblent naturelles, émotive et engageante. Que ce soit pour la narration, les avatars virtuels ou la création de contenu, Sonic offre un réalisme inégalé. Entrez dans le futur de l'animation avec Sonic—où chaque mot prend vie.