YuE2 音乐翻唱 ComfyUI 工作流 | AI 歌曲风格转换

ComfyUI YuE2 Music Cover Workflow

YuE2 Music Cover in ComfyUI | AI Song Covers from Reference Audio

Want to run this workflow?

Fully operational workflows
No missing nodes or models
No manual setups required
Features stunning visuals

ComfyUI YuE2 Music Cover Examples

YuE2 音乐翻唱 ComfyUI：重新构想任何参考的歌曲#

YuE2 音乐翻唱将参考录音转变为 ComfyUI 内部的全新声乐表演和编曲。工作流将源旋律转录为可编辑的 ABC 记谱与 SheetSage2，然后引导 YuE2 通过您选择的音乐风格和歌词渲染完整的歌曲。它非常适合希望忠实保留旋律并注入新氛围、声音和乐器的制作人、编曲者和创作者。

结果是从画布中保存的干净 FLAC 文件。为了最佳的旋律匹配，请尽量保持歌词措辞接近参考，并在可能的情况下选择清晰的单声道录音。YuE2 音乐翻唱支持从亲密声民谣到爵士或合成流行风格的任何内容。

Comfyui YuE2 音乐翻唱工作流中的关键模型#

YuE2-3B。主要的开放模型，计划符号记谱并从文本、歌词和 ABC 指导生成最终音频。它支持仅旋律计划的翻唱，并通过 YuE2 VAE 解码为高保真立体声。有关详细信息和翻唱示例，请参阅官方模型卡：m-a-p/YuE2-3B 以及论文 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality。
SheetSage2。将您的参考曲目转变为适合指导翻唱的 ABC 记谱的音频至曲谱模型。它专注于连贯的旋律、和弦、节拍和结构，非常适合仅旋律 ABC 用于翻唱工作：m-a-p/SheetSage2 以及技术报告 SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision。
YuE2 VAE。将 YuE2 的声学潜在空间转为 48 kHz 立体声音频的解码器。它是与 YuE2-3B 一起使用的默认监听级解码器：m-a-p/YuE2-Vae。

如何使用 Comfyui YuE2 音乐翻唱工作流#

该 YuE2 音乐翻唱图从参考音频到 ABC 转录，然后通过 YuE2 计划和合成进入最终解码轨道。各组在画布上命名；每个都为歌曲贡献一个独特的步骤。

参考音频 (LoadAudio (#45))
- 加载干净的参考文件，如单声道混音或具有清晰旋律的乐器。节点会自动将音频馈送到翻唱子图。
- 短小、制作精良的片段比嘈杂或密集的混音更可靠地转录。如果您听到强烈的混响或强烈的对旋律，请尝试不同的部分。
- 您可以随时更换参考文件并重新排队以使用相同的 YuE2 音乐翻唱设置探索不同的来源。
模型（组“Model”）
- 工作流通过 CheckpointLoaderSimple (#15) 加载一个 YuE2 检查点。包含的配置指向一个 3B YuE2 检查点；如果需要，您可以从 Comfy-Org/YuE2 切换到另一个官方包。
- 加载器提供下游所需的 MODEL、CLIP 和 VAE 对象，因此不需要额外的接线。
- 如果您更改检查点，请保持图的其余部分完整，并重新排队以比较每个模型如何渲染相同的翻唱。
ABC（组“ABC”）
- AudioEncoderLoader (#43) 初始化 SheetSage2 编码器，SheetSage2AudioToABC (#41) 将参考转录为 ABC。子图预览 ABC，以便您可以检查或复制。
- 对于翻唱，建议仅使用旋律 ABC。这保留了曲调，同时将和声与编排留给您的风格提示。
- 如果转录在密集部分遗漏音符，请尝试更干净的合唱或诗句，然后重新生成 YuE2 音乐翻唱。
条件（组“Conditioning”）
- YuE2GenerateMusic (#25) 是工作流的核心。提供您的目标风格描述和歌词；节点将它们与 ABC 结合以计划声乐和编排。
- 保持歌词音节数接近原始措辞，以获得最忠实的旋律对齐。您仍然可以现代化语言、意象或押韵方案。
- 共享的 SeedNode (#34) 驱动计划和采样分支，使 YuE2 音乐翻唱在运行中可再现。
持续时间（组“Duration”）
- 生成器输出目标长度（秒），并将其馈送到 EmptyYuE2LatentAudio (#5) 以分配潜在时间线进行采样。
- 设置合理的最大持续时间以加快迭代速度。匹配参考部分长度有助于对齐，并避免过长或过短。
采样和解码（组“Sampling & Decode”）
- KSampler (#8) 使用模型加上 YuE2 计划的正向条件渲染声学潜在空间。ConditioningZeroOut (#18) 保持负向分支为空。
- VAEDecodeAudio (#9) 将潜在空间转为立体声音频以供播放。
- 如果您想要稍微不同的表演但保持旋律不变，请更改种子并重新排队。
导出
- 最终音频流入 SaveAudioAdvanced (#10)，预配置为保存带有 YuE2 音乐翻唱名称的 FLAC 文件。您可以根据需要编辑文件名或格式。
- 每次运行都会写入一个新文件，使其易于 A/B 比较不同的风格、歌词或种子。

Comfyui YuE2 音乐翻唱工作流中的关键节点#

YuE2GenerateMusic (#25)
- YuE2 音乐翻唱的中央计划和调节器。提供 style、lyrics 和来自 SheetSage2 的 abc 字符串。调整 seed 以获得可再现的拍摄，并设置 max_duration 以设置预算。如果您需要更强的风格遵从性或更多的创意措辞，可以适度尝试 cfg_scale 和 temperature；较高的值可能会以多样性换取忠实度。
SheetSage2AudioToABC (#41)
- 将参考歌曲转录为指导旋律的 ABC。使用仅旋律模式以实现紧密的翻唱对齐。如果您的歌词与参考相比有许多额外音节，请简化或拆分行以保持音符到音节的映射稳定，然后再生成。
EmptyYuE2LatentAudio (#5)
- 从计划的秒数分配潜在音频画布。首先缩短以快速预览，然后在 YuE2 音乐翻唱风格和歌词节奏感觉正确时扩展。保持长度接近参考部分以避免截断或填充结尾。
KSampler (#8)
- 渲染成为您最终曲目的声学潜在空间。将其 seed 绑定到相同的 SeedNode 以保持拍摄之间的可比性。对于微妙的替代，请保持相同的计划，但更改采样器的种子以探索微时间和发音变化。
SaveAudioAdvanced (#10)
- 处理导出。为每个项目设置一个清晰的文件名前缀，并选择您喜欢的格式。FLAC 是 YuE2 音乐翻唱输出的无损母带的良好默认值。

可选附加功能#

YuE2 音乐翻唱的风格提示：结合语言、流派、歌手类型、节奏感、主要乐器、情绪和制作说明。示例模式：“English, soulful jazz-pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere.”
歌词节奏：镜像参考的分段和大致音节数。保持合唱锚点完整通常会产生最具辨识度的翻唱。
参考选择：挑选具有清晰主旋律和最小伴唱的部分。如果一段诗句杂乱无章，首先尝试合唱以获得更可靠的 YuE2 音乐翻唱。
权利和归属：仅使用您有权改编的材料。生成的音频是新的，但基础作品可能受到保护。

致谢#

该工作流实现并基于以下作品和资源。我们诚挚感谢 Comfy-Org 提供的官方 YuE2 音乐翻唱指南，Comfy-Org 为 ComfyUI 提供的 YuE2 和 SheetSage2 模型文件，以及 Multimodal Art Projection (m-a-p) 的原始 YuE2-3B 和 SheetSage2 研究和发布。有关权威细节，请参考以下链接的原始文档和存储库。