Генерация музыки ACE-Step | Создание аудио с помощью ИИ

1. Что такое рабочий процесс ComfyUI ACE-Step?

ComfyUI ACE-Step интегрирует недавно разработанную базовую модель генерации музыки ACE-Step в среду ComfyUI. Построенная на гибридной архитектуре, объединяющей генерацию на основе диффузии с Deep Compression AutoEncoder (DCAE) от Sana и легким линейным трансформером, ACE-Step позволяет сверхбыструю генерацию музыки высокого качества с исключительными возможностями управления. Этот рабочий процесс позволяет пользователям создавать оригинальную музыку в самых разных жанрах и стилях с простыми подсказками на естественном языке и текстами.

2. Преимущества ComfyUI ACE-Step:

• Беспрецедентная скорость: Синтезирует до 4 минут музыки всего за 20 секунд — в 15 раз быстрее, чем альтернативы на основе LLM
• Музыкальная связность: ACE-Step поддерживает превосходное качество по всем измерениям мелодии, гармонии и ритма
• Многоязычная поддержка: Генерирует музыку на 19 разных языках с исключительной производительностью на 10 лучших языках
• Расширенное управление: Позволяет клонирование голоса, редактирование текстов, ремикширование и генерацию треков с тонкими параметрами
• Творческая гибкость: Поддерживает разнообразные музыкальные стили, жанры и инструменты с различными форматами описания
• Бесшовная интеграция: Напрямую подключается к рабочим процессам ComfyUI для создания аудио с помощью ИИ

3. Как использовать рабочий процесс ComfyUI ACE-Step

3.1 Методы генерации с ComfyUI ACE-Step

Пример настройки для ACE-Step:

1. Подготовьте входные данные: В узле TextEncodeAceStepAudio:
   • Добавьте описательные теги для музыкального стиля (например, "country rock, folk rock, southern rock, bluegrass, pop")
   • Введите тексты с тегами структуры, такими как [verse], [chorus], [bridge]
   • Настройте lyrics_strength (1.00 по умолчанию)
2. Настройте параметры узла KSampler:
   • Настройте шаги (50 рекомендуется для ACE-Step)
   • Установите cfg (4.0 по умолчанию)
   • Установите значение denoise (1.00 по умолчанию)
3. В узле EmptyAceStepLatentAudio:
   • Установите желаемую продолжительность в секундах (30.0 по умолчанию)
   • Установите batch_size
4. Нажмите кнопку Run, чтобы запустить рабочий процесс ACE-Step
5. В узле SaveAudio: прослушайте или сохраните сгенерированную музыку

Основной рабочий процесс генерации ACE-Step

• Лучше всего подходит для: Создания оригинальной музыки из текстовых описаний и текстов
• Характеристики:
  • Быстрая генерация (в 15 раз быстрее, чем альтернативы на основе LLM)
  • Сильная музыкальная связность и качество
  • Гибкое управление продолжительностью

Специализированные рабочие процессы ACE-Step (на основе LoRA)

• Lyric2Vocal: Модель ACE-Step, адаптированная для генерации высококачественных вокалов из текстов
• Text2Samples: Специализированный вариант ACE-Step для создания инструментальных лупов и семплов
• RapMachine: Оптимизированная модель ACE-Step для генерации рэпа в различных стилях

3.2 Справочник параметров для ComfyUI ACE-Step

Узел TextEncodeAceStepAudio: Этот узел обрабатывает текстовые входные данные для управления генерацией музыки ACE-Step.

• clip: Текстовое поле для описаний стиля, жанров и настроения
• lyrics: Текстовое поле для текстов песен с необязательными тегами структуры
• lyrics_strength: Управляет тем, насколько сильно тексты влияют на генерацию (по умолчанию: 1.00)

Узел KSampler: Управляет процессом диффузионного семплирования в ACE-Step.

• seed: Устанавливает начальное значение для рандомизации результатов
• control_after_generate: Опции для поведения seed после генерации
• steps: Количество шагов диффузии (чем больше, тем больше уточнений)
• cfg: Масштаб классификатора (чем больше, тем больше следования подсказке)
• sampler_name: Алгоритм, используемый для семплирования (рекомендуется res_multistep)
• scheduler: Тип расписания шума (рекомендуется simple)
• denoise: Управляет уровнем удаления шума (1.00 — полное удаление шума)

Узел EmptyAceStepLatentAudio: Инициализирует пространство генерации аудио.

• seconds: Продолжительность генерируемого аудио в секундах
• batch_size: Количество семплов для одновременной генерации

Узел VAEDecodeAudio: Декодирует латентные представления в слышимый формат.

• samples: Входные данные от KSampler
• vae: Модель VAE, используемая для декодирования

Узел SaveAudio: Выводит итоговый аудиорезультат ACE-Step.

• filename_prefix: Префикс для сохраняемых аудиофайлов
• audio: Плеер для предварительного прослушивания сгенерированного аудио

3.3. Продвинутые техники с ComfyUI ACE-Step

Генерация вариаций:

• Настройте параметр variance для управления сходством с оригинальными генерациями ACE-Step
• Более высокая variance создает более разносторонние выходы, сохраняя основные музыкальные элементы

Перерисовка:

• Избирательно регенерируйте специфические участки аудио, сохраняя остальное
• Полезно для исправления проблемных сегментов без изменения всей композиции

Редактирование текстов в ACE-Step:

• Изменяйте тексты, сохраняя мелодию, тембр голоса и аккомпанемент
• Поддерживает редактирование на нескольких языках, сохраняя музыкальную структуру

Клонирование голоса:

• Сохраняет вокальные характеристики при генерации нового контента с ACE-Step
• Может быть объединено с редактированием текстов для гибких вокальных выступлений

Перенос стиля:

• Применяйте новые музыкальные стили к существующим композициям
• Сохраняет основную музыкальную структуру при принятии характеристик разных жанров

3.4. Подсказки для ACE-Step:

Для общей музыки:

• Будьте конкретны о жанре, настроении и инструментовке в подсказках для ACE-Step
• Примеры подсказок: "electronic, rock, pop" или "funk, pop, soul, melodic"
• Более подробные подсказки: "dark, death rock, metal, hardcore, electric guitar, powerful, bass, drums, 110 bpm, G major"

Для инструментальной музыки:

• Уточняйте инструменты и музыкальные характеристики
• Примеры подсказок: "saxophone, jazz" или "violin, solo, fast tempo"
• Более подробные подсказки: "sonata, piano, Violin, B Flat Major, allegro"

Для многоязычной поддержки:

• ACE-Step работает лучше всего с: English, Chinese, Russian, Spanish, Japanese, German, French, Portuguese, Italian, Korean
• Языки с нелатинскими скриптами, такие как китайский, японский и корейский, хорошо поддерживаются

Дополнительная информация об ACE-Step

Для дополнительных сведений и справок по разработке:

• Оригинальная модель ACE-Step от
• Разработчики модели: Junmin Gong, Sean Zhao, Sen Wang, Shengyuan Xu, и Joe Guo

Благодарности

Этот рабочий процесс поддерживается ACE-Step, совместно разработанным ACE Studio и StepFun. Интеграция ComfyUI ACE-Step позволяет бесшовную генерацию музыки в среде ComfyUI. Полная заслуга принадлежит оригинальным авторам за их новаторскую работу над ACE-Step.