YuE2 음악 커버 | 참조 오디오에서 AI 노래 커버

ComfyUI를 위한 YuE2 음악 커버: 어떤 참조에서도 노래 재구성#

YuE2 음악 커버는 참조 녹음을 ComfyUI 내에서 새로운 보컬 공연과 편곡으로 변환합니다. 워크플로우는 소스 멜로디를 SheetSage2로 편집 가능한 ABC 악보로 전사한 후, YuE2를 사용자가 선택한 음악 스타일과 가사로 안내하여 전체 노래를 렌더링합니다. 이는 새로운 분위기, 목소리, 악기와 함께 멜로디를 충실히 유지하고자 하는 제작자, 편곡자, 창작자에게 이상적입니다.

결과물은 캔버스에서 저장된 깨끗한 FLAC 파일입니다. 최고의 멜로디 일치를 위해 가사 구문을 참조에 가깝게 유지하고 가능하면 명확한 단일 리드 녹음을 선택하세요. YuE2 음악 커버는 친밀한 어쿠스틱 포크부터 재즈 또는 신스팝 스타일까지 지원합니다.

Comfyui YuE2 음악 커버 워크플로우의 주요 모델#

• YuE2‑3B. 상징적 악보를 계획하고 텍스트, 가사, ABC 가이던스에서 최종 오디오를 합성하는 주요 오픈 모델입니다. 커버를 위한 멜로디 전용 계획을 지원하며 YuE2 VAE로 고품질 스테레오로 디코딩합니다. 자세한 내용과 커버 예시는 공식 모델 카드를 참조하세요: m-a-p/YuE2-3B 및 논문 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. 참조 트랙을 ABC 표기법으로 변환하는 오디오-리드-시트 모델입니다. 멜로디, 코드, 비트, 구조에 집중하며 커버 작업에 적합한 멜로디 전용 ABC에 잘 맞습니다: m-a-p/SheetSage2 및 기술 보고서 SheetSage2: Coherent Lead‑Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. YuE2의 음향 잠재성을 48 kHz 스테레오 오디오로 변환하는 디코더입니다. 이는 YuE2‑3B와 함께 사용되는 기본 청취자 등급 디코더입니다: m-a-p/YuE2-Vae.

Comfyui YuE2 음악 커버 워크플로우 사용법#

이 YuE2 음악 커버 그래프는 참조 오디오에서 ABC 전사로, YuE2 계획 및 합성 과정을 거쳐 최종 디코딩된 트랙으로 흐릅니다. 각 그룹은 캔버스에 이름이 지정되어 있으며, 각각 노래의 특정 단계에 기여합니다.

• 참조 오디오 (LoadAudio (#45))
  • 명확한 멜로디를 가진 단일 리드 믹스나 악기 등 깨끗한 참조 파일을 로드하세요. 노드는 오디오를 자동으로 커버 서브그래프로 공급합니다.
  • 짧고 잘 제작된 클립은 시끄럽거나 밀집된 믹스보다 더 신뢰성 있게 전사됩니다. 강한 리버브나 강력한 카운터 멜로디가 들리면 다른 섹션을 시도하세요.
  • 언제든지 참조 파일을 교체하고 동일한 YuE2 음악 커버 설정으로 다른 소스를 탐색하도록 재큐잉할 수 있습니다.
• 모델 (그룹 “Model”)
  • 워크플로우는 CheckpointLoaderSimple (#15)를 통해 YuE2 체크포인트를 로드합니다. 포함된 구성은 3B YuE2 체크포인트를 가리키며, 원하는 경우 Comfy-Org/YuE2에서 다른 공식 팩으로 전환할 수 있습니다.
  • 로더는 하류에 필요한 MODEL, CLIP, VAE 객체를 제공하므로 추가 연결이 필요 없습니다.
  • 체크포인트를 변경하면 그래프의 나머지를 그대로 두고 각 모델이 동일한 커버를 어떻게 렌더링하는지 비교하기 위해 재큐잉하세요.
• ABC (그룹 “ABC”)
  • AudioEncoderLoader (#43)가 SheetSage2 인코더를 초기화하고 SheetSage2AudioToABC (#41)가 참조를 ABC로 전사합니다. 서브그래프는 ABC를 미리 보기하여 검사하거나 복사할 수 있습니다.
  • 커버의 경우, 멜로디 전용 ABC가 권장됩니다. 이는 튜닝을 보존하면서 하모니와 편곡을 스타일 프롬프트에 맡깁니다.
  • 밀집된 섹션에서 전사가 노트를 놓치면 더 깨끗한 코러스나 벌스를 시도한 후 YuE2 음악 커버를 다시 생성하세요.
• 조건 설정 (그룹 “Conditioning”)
  • YuE2GenerateMusic (#25)는 워크플로우의 핵심입니다. 대상 스타일 설명과 가사를 제공하세요; 노드는 이를 ABC와 결합하여 보컬과 편곡을 계획합니다.
  • 가장 충실한 멜로디 정렬을 위해 가사 음절 수를 원래 구문과 가깝게 유지하세요. 언어, 이미지, 운율 체계를 현대화할 수 있습니다.
  • 공유된 SeedNode (#34)는 계획 및 샘플링 분기를 구동하여 YuE2 음악 커버가 실행 간에 재현 가능하도록 만듭니다.
• 지속 시간 (그룹 “Duration”)
  • 생성기는 샘플링을 위한 잠재 타임라인을 할당하기 위해 EmptyYuE2LatentAudio (#5)에 피드되는 초 단위의 목표 길이를 출력합니다.
  • 빠른 반복을 위해 합리적인 최대 지속 시간을 설정하세요. 참조 섹션 길이와 일치시키면 정렬을 돕고 과도한 실행이나 부족한 실행을 피할 수 있습니다.
• 샘플링 및 디코드 (그룹 “Sampling & Decode”)
  • KSampler (#8)는 모델과 YuE2의 계획에서 긍정적 조건 설정을 통해 음향 잠재성을 렌더링합니다. ConditioningZeroOut (#18)는 부정적 분기를 비워 둡니다.
  • VAEDecodeAudio (#9)는 잠재성을 스테레오 오디오로 변환하여 재생할 수 있습니다.
  • 멜로디를 유지하면서 약간 다른 공연을 원한다면 시드를 변경하고 다시 큐잉하세요.
• 내보내기
  • 최종 오디오는 SaveAudioAdvanced (#10)로 흐르며, YuE2 음악 커버 이름으로 FLAC 파일을 저장하도록 사전 구성되어 있습니다. 필요에 따라 파일 이름이나 형식을 편집할 수 있습니다.
  • 각 실행은 새 파일을 작성하여 다른 스타일, 가사, 시드를 A/B 비교하기 쉽게 만듭니다.

Comfyui YuE2 음악 커버 워크플로우의 주요 노드#

• YuE2GenerateMusic (#25)
  • YuE2 음악 커버의 중앙 계획자 및 조건 설정기. style, lyrics, 및 SheetSage2의 abc 문자열을 제공합니다. 재현 가능한 테이크를 위해 seed를 조정하고 max_duration으로 예산을 설정하세요. 더 강한 스타일 준수나 더 창의적인 구문이 필요하다면 cfg_scale과 temperature를 적당히 실험하세요; 높은 값은 충실성을 다양성으로 교환할 수 있습니다.
• SheetSage2AudioToABC (#41)
  • 멜로디를 안내하는 ABC로 참조 노래를 전사합니다. 타이트한 커버 정렬을 위해 멜로디 전용 모드를 사용하세요. 가사가 참조에 비해 많은 음절을 가지고 있다면, 단순화하거나 줄을 나누어 노트-음절 매핑을 안정적으로 유지한 후 재생성을 시도하세요.
• EmptyYuE2LatentAudio (#5)
  • 계획된 초로부터 잠재 오디오 캔버스를 할당합니다. 빠른 미리 보기를 위해 짧게 시작한 후 YuE2 음악 커버 스타일링 및 가사 타이밍이 적절해 보일 때 연장하세요. 참조 섹션에 가까운 길이를 유지하여 잘리거나 패드된 엔딩을 피하세요.
• KSampler (#8)
  • 최종 트랙이 될 음향 잠재성을 렌더링합니다. 동일한 SeedNode에 시드를 연결하여 테이크 간의 비교 가능성을 유지하세요. 미세한 대안은 동일한 계획을 유지하면서 샘플러의 시드를 변경하여 미세 타이밍 및 아티큘레이션 변화를 탐색하세요.
• SaveAudioAdvanced (#10)
  • 내보내기를 처리합니다. 프로젝트별 명확한 파일 이름 접두사를 설정하고 선호하는 형식을 선택하세요. FLAC은 YuE2 음악 커버 출력의 무손실 마스터링에 좋은 기본값입니다.

선택적 추가 기능#

• YuE2 음악 커버를 위한 스타일 프롬프트 팁: 언어, 장르, 보컬리스트 유형, 템포 느낌, 주요 악기, 분위기, 제작 노트를 결합하세요. 예시 패턴: “English, soulful jazz‑pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere.”
• 가사 타이밍: 참조의 섹션과 대략적인 음절 수를 반영하세요. 코러스 앵커를 유지하면 가장 인식 가능한 커버가 생성되는 경우가 많습니다.
• 참조 선택: 명확한 리드 멜로디와 최소한의 백킹 보컬이 있는 섹션을 선택하세요. 벌스가 복잡하다면 더 신뢰할 수 있는 YuE2 음악 커버 패스를 위해 코러스를 먼저 시도하세요.
• 권리 및 출처 표기: 변환할 권한이 있는 자료만 사용하세요. 생성된 오디오는 새것이지만, 기본 작곡은 보호될 수 있습니다.

감사의 글#

이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. 공식 YuE2 음악 커버 가이드, ComfyUI용 YuE2 및 SheetSage2 모델 파일에 대해 Comfy-Org에 감사드리며, 원본 YuE2-3B 및 SheetSage2 연구 및 릴리스에 대해 Multimodal Art Projection (m-a-p)에 감사드립니다. 자세한 내용은 아래에 링크된 원본 문서 및 저장소를 참조하세요.

리소스#

• Comfy-Org/Official YuE2 Music Cover Guide
  • GitHub: Comfy-Org/docs
  • Docs / Release Notes: Official YuE2 music cover guide
• Comfy-Org/YuE2 and SheetSage2 model files for ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.