Sonic | Animazione Lip-Sync per Ritratti

ComfyUI Sonic ridefinisce l'animazione dei ritratti sfruttando la percezione audio globale per movimenti ed espressioni facciali ultra-realistici. A differenza dei metodi tradizionali, cattura il contesto completo del discorso—oltre i fonemi—per generare animazioni fluide e ricche di emozioni. Con la tecnologia AI all'avanguardia, Sonic garantisce una sincronizzazione perfetta tra voce e immagini, dando vita ai personaggi con realismo impareggiabile. Eleva le tue animazioni con Sonic e fai sentire ogni espressione veramente viva.

I nodi ComfyUI Sonic e il relativo workflow sono stati sviluppati da smthemex. Per maggiori informazioni, visita il GitHub di smthemex.

1.1 Come Utilizzare il Workflow di Sonic?

I nodi a sinistra sono i tuoi input per Audio e Immagine Avatar. Quello centrale è il Nodo di Elaborazione Sonic. Il lato destro è il nodo di combinazione video per l'output video.

Segui questi passaggi:

1. Inserisci la tua Immagine Avatar che verrà utilizzata per visualizzare i dialoghi dall'audio.
2. Inserisci il tuo Audio per generare una voce fuori campo guidata dall'audio dell'immagine inserita.
3. Fai clic su Queue Prompt!!

Fatto! Il tuo video renderizzato verrà memorizzato nella cartella Outputs.

Punti di Forza e Debolezze di Sonic:

Punti di Forza:

• Sonic genera animazioni di ritratti altamente realistiche ed espressive guidate dall'audio.
• Sonic utilizza SVD, quindi non ci sono sfarfallii tra i fotogrammi.
• La coerenza è migliore rispetto ai modelli audio2video rilasciati in precedenza.

Debolezze:

• Poiché Sonic utilizza SVD, le riprese lontane o a figura intera possono avere difficoltà a proiettare correttamente le vocali sul viso.
• I volti di profilo o i volti con angolazioni complesse potrebbero dare risultati distorti.

1.2 Input Audio e Video di Sonic

• Carica il tuo Audio nel nodo di caricamento audio (Dialoghi o Voci)
• Carica la tua immagine nel nodo di caricamento immagine (Un primo piano o un'inquadratura media di una persona)

1.3 Nodo di Elaborazione Sonic

ComfyUI Sonic utilizza il Modello SVD sotto il cofano per l'elaborazione, quindi i risultati e le impostazioni sono secondo il modello SVD. Queste impostazioni sono ottimali; non c'è necessità di cambiarle.

• Mantieni min resolution vicino a 768 o inferiore se ci sono artefatti come morphing o mani distorte.

Sonic trasforma l'animazione dei ritratti concentrandosi sulla percezione audio globale per espressioni fluide e realistiche. Catturando tutta la profondità del discorso, crea animazioni che sembrano naturali, emotive e coinvolgenti. Che sia per narrazione, avatar virtuali o creazione di contenuti, Sonic offre un realismo impareggiabile. Entra nel futuro dell'animazione con Sonic—dove ogni parola prende vita.