Sonic | Анимация портретов с синхронизацией речи

ComfyUI Sonic переопределяет анимацию портретов, используя глобальное восприятие аудио для ультрареалистичных движений и выражений лица. В отличие от традиционных методов, он захватывает полный контекст речи — за пределами фонем — для создания плавной, эмоционально богатой анимации. С использованием передовых технологий ИИ, Sonic обеспечивает бесшовную синхронизацию между голосом и визуальными элементами, оживляя персонажей с непревзойденным реализмом. Поднимите свои анимации на новый уровень с Sonic и сделайте каждое выражение действительно живым.

1.1 Как использовать рабочий процесс Sonic?

Левые узлы — это ваши входные данные для аудио и изображения аватара. Средний — это узел обработки Sonic. Правая сторона — это узел комбинирования видео для вывода видео.

Следуйте этим шагам:

1. Введите изображение вашего аватара, которое будет использоваться для визуализации диалогов из аудио.
2. Введите ваше аудио для создания аудиосинхронизированного озвучивания вставленного изображения.
3. Нажмите Queue Prompt!!

Готово! Ваше отрендеренное видео будет сохранено в папке Outputs.

Преимущества и недостатки Sonic:

Преимущества:

• Sonic генерирует высокореалистичную и выразительную анимацию портретов, управляемую аудио.
• Sonic использует SVD, поэтому нет мерцания между кадрами.
• Консистентность лучше, чем у ранее выпущенных моделей audio2video.

Недостатки:

• Поскольку Sonic использует SVD, дальние или полноформатные кадры могут испытывать трудности с правильным проецированием вокала на лицо.
• Лицо в профиль или под сложными углами может давать искаженные результаты.

1.2 Входные данные аудио и видео Sonic

• Загрузите ваше аудио в узел загрузки аудио (Диалоги или Вокал)
• Загрузите ваше изображение в узел загрузки изображения (Крупный план или средний план человека)

1.3 Узел обработки Sonic

ComfyUI Sonic использует SVD Model под капотом для обработки, поэтому результаты и настройки соответствуют модели SVD. Эти настройки оптимальны; нет необходимости их изменять.

• Держите min resolution около 768 или ниже, если появляются артефакты, такие как деформация или искаженные руки.

Sonic трансформирует анимацию портретов, сосредотачиваясь на глобальном восприятии аудио для бесшовных, реалистичных выражений. Захватывая всю глубину речи, он создает анимацию, которая кажется естественной, эмоциональной и увлекательной. Будь то для повествования, виртуальных аватаров или создания контента, Sonic обеспечивает непревзойденный реализм. Шагните в будущее анимации с Sonic — где каждое слово оживает.