Узлы ComfyUI-MMAudio и связанный с ними рабочий процесс полностью разработаны Kijai. Мы отдаем должное Kijai за эту инновационную работу. На платформе RunComfy мы просто представляем вклад Kijai в сообщество. Важно отметить, что в настоящее время нет формальной связи или партнерства между RunComfy и Kijai. Мы глубоко ценим работу Kijai!
MMAudio#
MMAudio — мощный инструмент для создания синхронизированного аудио из видео и текстовых вводов. Он использует мультимодальное совместное обучение, чтобы учиться на разнообразных аудио-визуальных и аудио-текстовых наборах данных, обеспечивая исключительную адаптивность. С его передовым модулем синхронизации, он идеально выравнивает аудио с кадрами видео. MMAudio революционизирует генерацию аудио, упрощая процесс для создателей и новаторов.
1.1 Как использовать рабочий процесс MMAudio?#
Это рабочий процесс MMAudio, узлы на левой стороне — это входы для загрузки видео, в середине — узлы обработки MMAudio, а справа — узлы выхода.
- Загрузите ваше видео в входные узлы.
- Напишите ваши команды для генерации аудио.
- Нажмите Render !!!
1.2 Видео ввод#
- Нажмите и загрузите ваше референсное видео.
Видео настроено на уменьшение разрешения до ?*512, так как обработка HD видео или более длинного видео может привести к нехватке памяти.
1.3 Обработка MMAudio#
Положительное: Введите команды для генерации аудио из видео.Отрицательное: Введите, что вы не хотите слышать.Шаги: Больше шагов может улучшить качество аудио.
1.4 Модели MMAudio#
Это узлы загрузчика моделей, они автоматически загрузят модели в ваш comfyui за 2-3 минуты.
- Модели MMAudio : https://github.com/hkchengrex/MMAudio
С его инновационным мультимодальным обучением и точной синхронизацией, MMAudio устанавливает новый стандарт в генерации аудио. Независимо от того, создаете ли вы видео, анимации или погружающие впечатления, MMAudio наделяет создателей безупречным, высококачественным аудио. Поднимите ваши проекты и воплотите ваши идеи в жизнь с помощью MMAudio.
