Sonic | Анимация портретов с синхронизацией речи

ComfyUI Sonic переопределяет анимацию портретов, используя глобальное восприятие аудио для ультрареалистичных движений и выражений лица. В отличие от традиционных методов, он захватывает полный контекст речи — за пределами фонем — для создания плавной, эмоционально насыщенной анимации. С использованием передовой технологии AI, Sonic обеспечивает безупречную синхронизацию между голосом и визуализацией, оживляя персонажей с непревзойденным реализмом. Поднимите свои анимации на новый уровень с Sonic и сделайте каждое выражение по-настоящему живым.

Узлы ComfyUI Sonic и связанный рабочий процесс были разработаны smthemex. Для получения дополнительной информации посетите GitHub smthemex.

1.1 Как использовать рабочий процесс Sonic?

Левые узлы — это ваши входные данные для Audio и Avatar Image. Средний узел — это Sonic Processing Node. Правая сторона — это узел объединения видео для вывода видео.

Следуйте этим шагам:

1. Введите ваше изображение аватара, которое будет использоваться для визуализации диалогов из аудио.
2. Введите ваше аудио для создания голосового сопровождения на основе аудио для вставленного изображения.
3. Нажмите Queue Prompt!!

Готово! Ваше обработанное видео будет сохранено в папке Outputs.

Преимущества и недостатки Sonic:

Преимущества:

• Sonic генерирует высокореалистичную и выразительную анимацию портретов, управляемую аудио.
• Sonic использует SVD, поэтому нет мерцания между кадрами.
• Стабильность лучше, чем у ранее выпущенных моделей audio2video.

Недостатки:

• Поскольку Sonic использует SVD, дальние или полноразмерные снимки могут испытывать трудности с правильной проекцией голоса на лицо.
• Лица сбоку или лица под сложными углами могут давать искаженные результаты.

1.2 Аудио и видео вход Sonic

• Загрузите ваше аудио в узел загрузки аудио (Диалоги или Вокалы)
• Загрузите ваше изображение в узел загрузки изображения (Ближний или средний план человека)

1.3 Узел обработки Sonic

ComfyUI Sonic использует SVD Model для обработки, поэтому результаты и настройки соответствуют модели SVD. Эти настройки оптимальны; нет необходимости их изменять.

• Держите min resolution около 768 или ниже, если есть артефакты, такие как искажения или искаженные руки.

Sonic трансформирует анимацию портретов, сосредотачиваясь на глобальном восприятии аудио для плавных, реалистичных выражений. Захватывая всю глубину речи, он создает анимацию, которая кажется естественной, эмоциональной и увлекательной. Будь то для повествования, виртуальных аватаров или создания контента, Sonic обеспечивает непревзойденный реализм. Шагните в будущее анимации с Sonic — где каждое слово оживает.