YuE2 Music Cover | リファレンスオーディオからのAIソングカバー

ComfyUI用YuE2 Music Cover: リファレンスから曲を再想像#

YuE2 Music Coverは、リファレンス録音をComfyUI内で新しいボーカルパフォーマンスとアレンジに変えます。このワークフローは、ソースメロディをSheetSage2で編集可能なABCスコアに転写し、選択した音楽スタイルと歌詞でYuE2をガイドしてフルソングをレンダリングします。メロディを忠実に保持しながら新しい雰囲気、声、編曲を求めるプロデューサー、アレンジャー、クリエイターに最適です。

結果はキャンバスから保存されたクリーンなFLACファイルです。最高のメロディマッチングを得るために、歌詞のフレージングをリファレンスに近づけ、可能であれば明確なシングルリード録音を選びます。YuE2 Music Coverは、親密なアコースティック・フォークからジャズやシンセポップスタイルまでをサポートします。

Comfyui YuE2 Music Coverワークフローの主要モデル#

• YuE2-3B。シンボリックスコアを計画し、テキスト、歌詞、ABCガイダンスから最終オーディオを合成するメインオープンモデルです。カバーのためのメロディのみの計画をサポートし、YuE2 VAEで高忠実度のステレオにデコードします。詳細とカバー例については、公式モデルカードをご覧ください: m-a-p/YuE2-3B および論文 YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality。
• SheetSage2。リファレンストラックをカバーガイドに適したABC表記に変えるオーディオからリードシートモデルです。コヒーレントなメロディ、コード、ビート、構造に焦点を当て、カバー作業に適したメロディのみのABCを提供します: m-a-p/SheetSage2 および技術報告 SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision。
• YuE2 VAE。YuE2のアコースティックレイテンツを48kHzステレオオーディオに変換するデコーダーです。YuE2-3Bで使用されるデフォルトのリスナーグレードデコーダーです: m-a-p/YuE2-Vae。

Comfyui YuE2 Music Coverワークフローの使用方法#

このYuE2 Music Coverグラフは、リファレンスオーディオからABC転写、YuE2計画と合成を経て最終デコードトラックに流れます。各グループはキャンバス上に名前が付けられ、曲に向けた異なるステップを構成します。

• リファレンスオーディオ (LoadAudio (#45))
  • 明確なメロディを持つシングルリードミックスやインストゥルメンタルのようなクリーンなリファレンスファイルをロードします。ノードはオーディオを自動でカバーサブグラフに供給します。
  • 短く、よくプロデュースされたクリップは、ノイジーまたは密集したミックスよりも信頼性高く転写されます。強いリバーブや強い対旋律が聞こえる場合は、別のセクションを試してください。
  • いつでもリファレンスファイルを交換して、同じYuE2 Music Cover設定で異なるソースを探索できます。
• モデル (グループ “Model”)
  • ワークフローは CheckpointLoaderSimple (#15) を通じてYuE2チェックポイントをロードします。含まれる設定は3B YuE2チェックポイントを指し、希望に応じてComfy-Org/YuE2から別の公式パックに切り替えることができます。
  • ローダーは下流に必要な MODEL、CLIP、VAEオブジェクトを提供するため、追加の配線は不要です。
  • チェックポイントを変更する場合は、グラフの残りをそのままにして再キューし、各モデルが同じカバーをどのようにレンダリングするかを比較します。
• ABC (グループ “ABC”)
  • AudioEncoderLoader (#43) はSheetSage2エンコーダを初期化し、SheetSage2AudioToABC (#41) はリファレンスをABCに転写します。サブグラフはABCをプレビューし、検査またはコピーできます。
  • カバーにはメロディのみのABCが推奨されます。これはチューンを保持しつつ、ハーモニーと編曲をスタイルプロンプトに任せます。
  • 転写が密集したセクションでノートを見逃した場合は、クリアなコーラスまたはヴァースを試し、YuE2 Music Coverを再生成します。
• コンディショニング (グループ “Conditioning”)
  • YuE2GenerateMusic (#25) はワークフローの心臓部です。ターゲットスタイルの説明と歌詞を提供し、ノードはそれらをABCと組み合わせてボーカルと編曲を計画します。
  • 歌詞の音節数を元のフレージングに近づけることで、最も忠実なメロディアラインメントを得られます。それでも言語、イメージ、押韻スキームをモダンにすることができます。
  • 共有された SeedNode (#34) が計画とサンプリングの両方のブランチを駆動し、YuE2 Music Coverをラン間で再現可能にします。
• デュレーション (グループ “Duration”)
  • ジェネレータは秒単位でターゲットの長さを出力し、EmptyYuE2LatentAudio (#5) がサンプリングのためのレイテンタイムラインを割り当てます。
  • より速いイテレーションのために合理的な最大デュレーションを設定します。リファレンスセクションの長さと一致させることで、アラインメントを助け、オーバーランやアンダーランを避けます。
• サンプリングとデコード (グループ “Sampling & Decode”)
  • KSampler (#8) はモデルとYuE2の計画からのポジティブコンディショニングを使用してアコースティックレイテンツをレンダリングします。ConditioningZeroOut (#18) はネガティブブランチを空に保ちます。
  • VAEDecodeAudio (#9) はレイテンツをステレオオーディオに変換し、再生します。
  • メロディを保持しつつ若干異なるパフォーマンスを望む場合は、シードを変更して再キューします。
• エクスポート
  • 最終オーディオは SaveAudioAdvanced (#10) に流れ、YuE2 Music Cover名でFLACファイルを保存するように事前に設定されています。必要に応じてファイル名やフォーマットを編集できます。
  • 各ランは新しいファイルを書き込み、異なるスタイル、歌詞、シードを簡単にA/B比較できます。

Comfyui YuE2 Music Coverワークフローの主要ノード#

• YuE2GenerateMusic (#25)
  • YuE2 Music Coverの中心的なプランナーおよびコンディショナーです。style、lyrics、SheetSage2からの abc ストリングを提供します。再現可能なテイクのために seed を調整し、max_duration で予算を設定します。より強いスタイルの遵守またはよりクリエイティブなフレージングが必要な場合は、cfg_scale と temperature を控えめに調整して実験します。高い値は忠実性を多様性に交換するかもしれません。
• SheetSage2AudioToABC (#41)
  • メロディをガイドするABCにリファレンスソングを転写します。タイトなカバーアラインメントのためにメロディのみモードを使用します。リファレンスと比較して歌詞に多くの余分な音節がある場合、安定したノートと音節のマッピングを維持するために簡略化するか、行を分割して再生成します。
• EmptyYuE2LatentAudio (#5)
  • 計画された秒からレイテンツオーディオキャンバスを割り当てます。クイックプレビューのために短く開始し、YuE2 Music Coverのスタイリングと歌詞のペースが適切になったら延長します。切り詰められたまたはパッドされたエンディングを避けるために、長さをリファレンスセクションに近づけます。
• KSampler (#8)
  • 最終トラックとなるアコースティックレイテンツをレンダリングします。同じ SeedNode にその seed を結び、テイク間の比較可能性を維持します。微妙な代替案のために、同じ計画を維持しながらサンプラーのシードを変えて、マイクロタイミングとアーティキュレーションの変化を探索します。
• SaveAudioAdvanced (#10)
  • エクスポートを処理します。プロジェクトごとに明確なファイル名前接頭辞を設定し、好みのフォーマットを選びます。FLACはYuE2 Music Coverのロスレスマスタリングのための良いデフォルトです。

オプションのエクストラ#

• YuE2 Music Coverのスタイルプロンプトのヒント: 言語、ジャンル、ボーカリストタイプ、テンポフィール、主要楽器、ムード、プロダクションノートを組み合わせます。例のパターン: “English, soulful jazz-pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere.”
• 歌詞のペーシング: リファレンスのセクショニングとおおよその音節数をミラーリングします。コーラスアンカーを保持することで、最も認識しやすいカバーを生成することがよくあります。
• リファレンスの選択: 明確なリードメロディと最小限のバックボーカルを持つセクションを選びます。ヴァースが混雑している場合、最初にコーラスを試して、より信頼性の高いYuE2 Music Coverパスを行います。
• 権利と帰属: 変換する許可を得た素材のみを使用してください。生成されたオーディオは新しいものですが、基礎となる作曲は保護されている場合があります。

謝辞#

このワークフローは、以下の作品とリソースを実装および構築しています。公式YuE2 Music Coverガイド、Comfy-OrgによるComfyUI用YuE2およびSheetSage2モデルファイル、Multimodal Art Projection (m-a-p)によるオリジナルYuE2-3BおよびSheetSage2の研究とリリースに感謝しています。権威ある詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。

リソース#

• Comfy-Org/Official YuE2 Music Cover Guide
  • GitHub: Comfy-Org/docs
  • Docs / Release Notes: Official YuE2 music cover guide
• Comfy-Org/YuE2 and SheetSage2 model files for ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.