Sonic | Lip-Sync Portrait-Animation

ComfyUI Sonic definiert die Portrait-Animation neu, indem es die globale Audiowahrnehmung nutzt, um ultrarealistische Gesichtsausdrücke und Bewegungen zu erzeugen. Im Gegensatz zu traditionellen Methoden erfasst es den vollständigen Kontext der Sprache—über Phoneme hinaus—um flüssige, emotional reiche Animationen zu erzeugen. Mit modernster KI-Technologie sorgt Sonic für nahtlose Synchronisation zwischen Stimme und Visuals, sodass Charaktere mit unvergleichlichem Realismus zum Leben erweckt werden. Heben Sie Ihre Animationen mit Sonic auf ein neues Niveau und lassen Sie jeden Ausdruck wirklich lebendig wirken.

1.1 Wie verwendet man den Sonic-Workflow?

Die linken Nodes sind Ihre Eingaben für Audio und Avatar-Bild. Der mittlere ist der Sonic Processing Node. Auf der rechten Seite ist der Videokombinations-Node für die Ausgabe des Videos.

Folgen Sie diesen Schritten:

1. Geben Sie Ihr Avatar-Bild ein, das zur Visualisierung der Dialoge aus dem Audio verwendet wird.
2. Geben Sie Ihr Audio ein, um ein audiogesteuertes Voice-Over des eingefügten Bildes zu erzeugen.
3. Klicken Sie auf Queue Prompt!!

Fertig! Ihr gerendertes Video wird im Outputs-Ordner gespeichert.

Stärken und Schwächen von Sonic:

Stärken:

• Sonic erzeugt hochrealistische und ausdrucksstarke Portrait-Animationen, die durch Audio gesteuert werden.
• Sonic verwendet SVD, sodass es kein Flackern zwischen den Frames gibt.
• Die Konsistenz ist besser als bei zuvor veröffentlichten audio2video-Modellen.

Schwächen:

• Da Sonic SVD verwendet, können weite oder Ganzkörperaufnahmen Schwierigkeiten haben, die Stimme richtig auf das Gesicht zu projizieren.
• Seitenansichten von Gesichtern oder Gesichter in komplexen Winkeln können verzerrte Ergebnisse liefern.

1.2 Sonic Audio- und Videoeingabe

• Laden Sie Ihr Audio im Lade-Audio-Node hoch (Dialoge oder Gesang)
• Laden Sie Ihr Bild im Lade-Bild-Node hoch (Eine Nahaufnahme oder eine mittlere Aufnahme einer Person)

1.3 Sonic Processing Node

ComfyUI Sonic verwendet das SVD-Modell im Hintergrund für die Verarbeitung, daher sind die Ergebnisse und Einstellungen entsprechend dem SVD-Modell. Diese Einstellungen sind auf optimal eingestellt; es ist nicht notwendig, sie zu ändern.

• Halten Sie die min resolution bei 768 oder darunter, wenn Artefakte wie Verformungen oder verzerrte Hände auftreten.

Sonic transformiert die Portrait-Animation, indem es sich auf die globale Audiowahrnehmung konzentriert, um nahtlose, lebendige Ausdrücke zu schaffen. Durch die Erfassung der gesamten Tiefe der Sprache erzeugt es Animationen, die natürlich, emotional und fesselnd wirken. Ob für Geschichtenerzählen, virtuelle Avatare oder Content-Erstellung, Sonic liefert unvergleichlichen Realismus. Treten Sie ein in die Zukunft der Animation mit Sonic—wo jedes Wort zum Leben erwacht.