YuE2 Music Cover | AI Song Covers from Reference Audio

YuE2 Music Cover для ComfyUI: Переосмысление песен из любого референса#

YuE2 Music Cover превращает референсную запись в новое вокальное исполнение и аранжировку внутри ComfyUI. Рабочий процесс транскрибирует исходную мелодию в редактируемую нотацию ABC с помощью SheetSage2, затем направляет YuE2 с вашим выбранным музыкальным стилем и текстами для создания полной песни. Это идеально подходит для продюсеров, аранжировщиков и создателей, которые хотят сохранить мелодию с новым настроением, голосом и инструментовкой.

Результат - это чистый FLAC-файл, сохраненный с холста. Для лучшего совпадения мелодий держите фразировку текста близкой к референсу и выбирайте чёткую запись с одним ведущим вокалом, когда это возможно. YuE2 Music Cover поддерживает всё, от интимного акустического фолка до джаза или синт-поп стилей.

Ключевые модели в рабочем процессе Comfyui YuE2 Music Cover#

• YuE2‑3B. Основная открытая модель, которая планирует символическую партитуру и синтезирует финальное аудио из текста, текстов и руководства ABC. Поддерживает планирование только мелодии для каверов и декодирует в высококачественный стерео с помощью YuE2 VAE. См. официальную карточку модели для деталей и примеров каверов: m-a-p/YuE2-3B и статья YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. Модель аудио в нотный лист, которая превращает ваш референсный трек в нотацию ABC, подходящую для руководства каверами. Она фокусируется на согласованной мелодии, аккордах, ритмах и структуре и хорошо подходит для мелодии только в ABC для каверной работы: m-a-p/SheetSage2 и технический отчёт SheetSage2: Coherent Lead‑Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. Декодер, который превращает акустические латенты YuE2 в стерео аудио с частотой 48 кГц. Это декодер по умолчанию для прослушивания, используемый с YuE2‑3B: m-a-p/YuE2-Vae.

Как использовать рабочий процесс Comfyui YuE2 Music Cover#

Этот график YuE2 Music Cover проходит от референсного аудио до транскрипции ABC, затем через планирование и синтез YuE2 в финальный декодированный трек. Группы названы на холсте; каждая из них вносит уникальный шаг в создание песни.

• Референсное аудио (LoadAudio (#45))
  • Загрузите чистый референсный файл, такой как микс с одним ведущим вокалом или инструментал с чёткой мелодией. Узел автоматически подаёт аудио в подграф кавера.
  • Короткие, хорошо продюсированные клипы транскрибируются надёжнее, чем шумные или плотные миксы. Если вы слышите сильное эхо или мощные контрмелодии, попробуйте другой раздел.
  • Вы можете в любой момент заменить референсный файл и повторно поставить в очередь, чтобы исследовать разные источники с теми же настройками YuE2 Music Cover.
• Модель (группа “Model”)
  • Рабочий процесс загружает контрольную точку YuE2 через CheckpointLoaderSimple (#15). Включённая конфигурация указывает на контрольную точку 3B YuE2; при желании вы можете переключиться на другой официальный пакет из Comfy-Org/YuE2.
  • Загрузчик предоставляет объекты MODEL, CLIP и VAE, необходимые для дальнейшей работы, поэтому дополнительная проводка не нужна.
  • Если вы изменяете контрольные точки, оставьте остальную часть графа нетронутой и повторно поставьте в очередь, чтобы сравнить, как каждая модель создаёт тот же кавер.
• ABC (группа “ABC”)
  • AudioEncoderLoader (#43) инициализирует кодировщик SheetSage2, а SheetSage2AudioToABC (#41) транскрибирует референс в ABC. Подграф предварительно показывает ABC, чтобы вы могли его проверить или скопировать.
  • Для каверов рекомендуется использовать только мелодию в ABC. Это сохраняет мелодию, оставляя гармонию и аранжировку на выбор вашего стиля.
  • Если транскрипция пропускает ноты в плотных секциях, попробуйте более чистый припев или куплет, затем регенерируйте YuE2 Music Cover.
• Условие (группа “Conditioning”)
  • YuE2GenerateMusic (#25) является сердцем рабочего процесса. Укажите ваше целевое описание стиля и текст; узел объединяет их с ABC для планирования вокала и аранжировки.
  • Держите количество слогов в тексте близким к оригинальной фразировке для наиболее точного совмещения мелодии. Вы всё ещё можете модернизировать язык, образы или рифмовку.
  • Общий SeedNode (#34) управляет как планированием, так и выборкой, делая YuE2 Music Cover воспроизводимым между запусками.
• Продолжительность (группа “Duration”)
  • Генератор выводит целевую длину в секундах, которая подаётся в EmptyYuE2LatentAudio (#5) для выделения латентной временной линии для выборки.
  • Установите разумную максимальную продолжительность для более быстрой итерации. Совпадение длины секции референса помогает совмещению и избегает переполнений или недополнений.
• Выборка и декодирование (группа “Sampling & Decode”)
  • KSampler (#8) рендерит акустические латенты, используя модель плюс положительное условие из плана YuE2. ConditioningZeroOut (#18) оставляет отрицательную ветвь пустой.
  • VAEDecodeAudio (#9) превращает латенты в стерео аудио для воспроизведения.
  • Если вы хотите немного другое исполнение, сохраняя мелодию, измените seed и поставьте в очередь снова.
• Экспорт
  • Финальное аудио поступает в SaveAudioAdvanced (#10), предварительно настроенное для сохранения FLAC-файла с именем YuE2 Music Cover. Вы можете изменить имя файла или формат по мере необходимости.
  • Каждый запуск записывает новый файл, что облегчает сравнение различных стилей, текстов или seed.

Ключевые узлы в рабочем процессе Comfyui YuE2 Music Cover#

• YuE2GenerateMusic (#25)
  • Центральный планировщик и кондиционер для YuE2 Music Cover. Укажите style, lyrics и строку abc от SheetSage2. Настройте seed для воспроизводимых дублей и max_duration, чтобы установить бюджет. Если вам нужна более сильная приверженность стилю или более креативная фразировка, экспериментируйте с cfg_scale и temperature умеренно; более высокие значения могут обменивать верность на разнообразие.
• SheetSage2AudioToABC (#41)
  • Транскрибирует референсную песню в ABC, которая направляет мелодию. Используйте режим только мелодии для точного совмещения кавера. Если в ваших текстах много дополнительных слогов по сравнению с референсом, упростите или разделите строки, чтобы сохранить стабильное отображение нот на слоги перед регенерацией.
• EmptyYuE2LatentAudio (#5)
  • Выделяет латентное аудио пространство из запланированных секунд. Начните с более короткого времени для быстрых предварительных просмотров, затем увеличьте, когда стилизация YuE2 Music Cover и темп текстов будут подходящими. Держите длину близкой к секции референса, чтобы избежать усечённых или дополненных концов.
• KSampler (#8)
  • Рендерит акустические латенты, которые становятся вашим финальным треком. Привяжите его seed к тому же SeedNode, чтобы сохранить сопоставимость между дублями. Для тонких альтернатив сохраняйте тот же план, но варьируйте seed самплера, чтобы исследовать изменения микро‑времени и артикуляции.
• SaveAudioAdvanced (#10)
  • Обрабатывает экспорт. Установите чёткий префикс имени файла для каждого проекта и выберите предпочитаемый формат. FLAC - хороший выбор по умолчанию для безупречного мастеринга выходов YuE2 Music Cover.

Дополнительные опции#

• Советы по стилю для YuE2 Music Cover: комбинируйте язык, жанр, тип вокалиста, темп, ключевые инструменты, настроение и производственные заметки. Примерная схема: “English, soulful jazz‑pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere.”
• Темп текстов: отразите секции референса и приблизительное количество слогов. Сохранение якорей припева часто даёт наиболее узнаваемый кавер.
• Выбор референса: выбирайте секции с чёткой ведущей мелодией и минимальным количеством бэк-вокалов. Если куплет загромождён, попробуйте сначала припев для более надёжного прохода YuE2 Music Cover.
• Права и атрибуция: используйте только материал, на который у вас есть разрешение для трансформации. Сгенерированное аудио новое, но основные композиции могут быть защищены.

Благодарности#

Этот рабочий процесс реализует и опирается на следующие работы и ресурсы. Мы благодарно признаём Comfy-Org за Официальное руководство по YuE2 Music Cover, Comfy-Org за файлы моделей YuE2 и SheetSage2 для ComfyUI, и Multimodal Art Projection (m-a-p) за оригинальные исследования и выпуски YuE2-3B и SheetSage2. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведённым ниже.

Ресурсы#

• Comfy-Org/Official YuE2 Music Cover Guide
  • GitHub: Comfy-Org/docs
  • Документы / Примечания к выпуску: Official YuE2 music cover guide
• Comfy-Org/YuE2 и SheetSage2 файлы моделей для ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Примечание: использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.