Рабочий процесс текст-в-музыку Ace Step 1.5 для ComfyUI
Этот шаблон превращает короткий креативный бриф и опциональные тексты песен в готовый MP3 с помощью Ace Step 1.5. Он разработан для музыкантов, продюсеров и создателей, которые хотят быструю генерацию песен высокого качества с согласованной структурой, вокалом и стилистическим контролем из текста. Рабочий процесс фокусируется на прямом пути от текста к музыке, чтобы вы могли перейти от идеи к аудио за один проход.
Ace Step 1.5 сочетает модуль планирования с диффузионным трансформером, чтобы обеспечить музыкальную непрерывность коммерческого уровня, оставаясь достаточно лёгким для повседневного оборудования. В этом графике ComfyUI Ace Step 1.5 принимает стильную подсказку плюс тексты, планирует аранжировку, синтезирует латентное аудиопредставление, затем декодирует и сохраняет готовый к обмену файл.
Ключевые модели в рабочем процессе Comfyui Ace Step 1.5
- Ace Step 1.5 Turbo AIO контрольная точка. Основная модель, которая сопоставляет текст и тексты песен с музыкой и обрабатывает синтез на основе диффузии в аудиодомене. Доступна от Comfy‑Org на Hugging Face как часть набора файлов ComfyUI: Comfy-Org/ace_step_1.5_ComfyUI_files.
- Кодировщик текста Ace Step 1.5. Упакован с контрольной точкой и используется для преобразования вашего текстового запроса и опциональных текстов песен в кондиционирование для генератора. Открыт в графике узлом
TextEncodeAceStepAudio1.5. - Аудио VAE Ace Step 1.5. Также упакован в контрольную точку и используется для декодирования синтезированного латента в временную волну для экспорта.
Как использовать рабочий процесс Comfyui Ace Step 1.5
На высоком уровне вы загружаете модель Ace Step 1.5, выбираете продолжительность песни, описываете музыку и вставляете тексты, затем запускаете семплирование для синтеза и декодирования в MP3.
Шаг 1 - Загрузка модели
Эта группа инициализирует основные активы через CheckpointLoaderSimple (#97). Выбор файла Ace Step 1.5 Turbo AIO загружает модель, её текстовый кодировщик и аудио VAE за один шаг. Узел ModelSamplingAuraFlow (#78) подключает совместимую с Ace Step 1.5 конфигурацию семплера, чтобы нисходящий KSampler мог работать с предполагаемым алгоритмом. Как только это установлено, остальная часть рабочего процесса может быть управляемой исключительно вашим запросом и длительностью.
Шаг 2 - Длительность
Здесь управление Song Duration (#99) передаёт секунды в EmptyAceStep1.5LatentAudio (#98), который предварительно выделяет целевую латентную длину для трека. Установка более короткой длины отлично подходит для быстрой идеиции и проверки стиля, в то время как более длинные значения позволяют Ace Step 1.5 планировать полные секции. Длительность передаётся вперёд, чтобы кодировщик и семплер согласовывались по количеству структуры для генерации. Если вы позже удлините песню, сохраняйте тот же seed, чтобы сохранить атмосферу и мотивы.
Шаг 3 - Запрос
Используйте TextEncodeAceStepAudio1.5 (#94), чтобы описать стиль, настроение, инструментовку и производственные заметки, и при необходимости вставьте тексты песен. Ace Step 1.5 читает это, чтобы планировать мелодию, гармонию, ритм и вокальное фразирование с согласованными секциями. Линия seed (#102) делает результаты воспроизводимыми или случайными, как вы предпочитаете. ConditioningZeroOut (#47) отправляет нейтральное отрицательное кондиционирование, чтобы уменьшить конфликты, что часто является хорошим вариантом по умолчанию для музыкальных выходов. Если вы хотите более строгое отрицательное кондиционирование, замените этот узел своим собственным отрицательным текстовым путём.
KSampler (#3)
Этот узел выполняет фактический процесс диффузии, используя соединение модели Ace Step 1.5 из ModelSamplingAuraFlow (#78), положительное кондиционирование из вашего запроса, нейтральное отрицательное кондиционирование и предварительно выделенную латентную длину. Он преобразует шум в структурированный латент, который отражает ваши текстовые инструкции и тексты песен. Для быстрой идеиции вы можете сохранить консервативное время выполнения, затем увеличить качество, когда закрепите концепцию. Тот же seed обеспечивает согласованную структуру между дублями, чтобы вы могли сравнивать выбор семплера.
VAEDecodeAudio (#18)
После семплирования этот узел преобразует латентное аудиопредставление обратно в временную волну с использованием VAE Ace Step 1.5. Он сохраняет музыкальную форму, запланированную во время кодирования, сглаживая мелкие детали, введённые во время диффузии. Выходной сигнал — это полнодиапазонный аудиосигнал, готовый для экспорта.
SaveAudioMP3 (#104)
Наконец, волновая форма записывается в MP3 файл в ваших стандартных выходах ComfyUI. Выберите битрейт, подходящий для вашей цели, и рендер. Это даёт вам компактный файл для обмена, сохраняя оригинальный латент доступным для повторных запусков, если вы измените подсказки или seeds.
Ключевые узлы в рабочем процессе Comfyui Ace Step 1.5
TextEncodeAceStepAudio1.5 (#94)
Преобразует ваш креативный бриф и тексты песен в кондиционирование, которое понимает Ace Step 1.5. Для контроля отрегулируйте язык, музыкальный ключ и темп, чтобы направить фразирование и гармонию, и установите структуру секций, когда хотите больше или меньше изменений формы. Используйте описательные производственные заметки, такие как жанр, настроение и микс-подсказки, чтобы закрепить стиль. Держите тексты песен краткими и метрическими для более чистого вокального фразирования.
KSampler (#3)
Управляет процессом диффузии, который превращает планирование в аудиолатенты. Увеличьте количество шагов для большей детализации и стабильности или уменьшите их для очень быстрых предварительных просмотров. Попробуйте альтернативные методы семплера, если хотите другое поведение переходных процессов, затем сохраняйте seed фиксированным, чтобы сравнения были честными. Повышайте силу направления, чтобы более строго следовать вашей подсказке Ace Step 1.5, снижайте её для более свободной импровизации.
EmptyAceStep1.5LatentAudio (#98)
Выделяет целевую длину песни как латентный тензор, чтобы каждый последующий этап работал на одной и той же длительности. Установите это на количество секунд, которое вы хотите в финальном рендере. Более длинные латенты требуют больше вычислительной мощности и могут выиграть от немного более высоких настроек качества в семплере.
ModelSamplingAuraFlow (#78)
Прикрепляет совместимую с Ace Step 1.5 стратегию семплирования, которая балансирует скорость и музыкальную согласованность. Используйте её, когда хотите отзывчивые итерации, которые всё ещё сохраняют глобальную структуру. Если вы экспериментируете с различными семействами семплеров, используйте тот же seed, чтобы оценить, как изменяются время и переходные процессы.
SaveAudioMP3 (#104)
Экспортирует декодированную волну в сжатый файл. Выберите битрейт, чтобы сбалансировать размер и качество для вашего выпуска или места обмена. Для архивирования или микширования вы можете заменить это на узел сохранения WAV в той же позиции.
ConditioningZeroOut (#47)
Обеспечивает нейтральное отрицательное кондиционирование, что является безопасным вариантом по умолчанию для генерации музыки, основанной на текстах песен. Замените его на пользовательскую отрицательную подсказку, если вам нужны явные исключения, такие как отсутствие вокала или меньше артефактов высоких частот. Держите положительные и отрицательные инструкции концептуально различными, чтобы избежать конфликтов.
Дополнительные опции
- Начните с 30–60 секунд для проверки стиля, затем увеличьте длительность, чтобы завершить трек, сохраняя seed фиксированным.
- Для инструменталов с Ace Step 1.5 укажите это явно в подсказке или поместите "no vocals" в путь отрицательной подсказки.
- Обращайтесь с текстами песен как с поющими строками с естественным фразированием и согласованными количеством слогов для улучшения вокальных результатов.
- Сохраняйте перспективные seeds вместе с подсказками, чтобы вы могли вернуться и увеличить масштаб позже, не теряя идентичности песни.
Полезные ссылки: проект ComfyUI на GitHub для общей информации об использовании ComfyUI и файлы Ace Step 1.5 ComfyUI на Hugging Face для контрольной точки и активов Comfy-Org/ace_step_1.5_ComfyUI_files.
Благодарности
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим Comfy.org за рабочий процесс Ace Step 1.5 за их вклады и поддержку. Для авторитетных деталей, пожалуйста, обращайтесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы
- Comfy.org/Ace Step 1.5 Workflow Source
- Документы / Примечания к выпуску: Ace Step 1.5 теперь доступен в ComfyUI
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.