YuE2 Musik Cover | AI Song Covers aus Referenz-Audio

YuE2 Musik Cover für ComfyUI: Lieder aus jeder Referenz neu interpretieren#

YuE2 Musik Cover verwandelt eine Referenzaufnahme in eine frische Gesangsperformance und ein Arrangement innerhalb von ComfyUI. Der Workflow transkribiert die Quellmelodie in eine editierbare ABC-Partitur mit SheetSage2 und leitet YuE2 mit dem gewählten Musikstil und Texten an, um einen vollständigen Song zu erstellen. Es ist ideal für Produzenten, Arrangeure und Kreative, die eine originalgetreue Melodiebeibehaltung mit einem neuen Vibe, einer neuen Stimme und Instrumentierung wünschen.

Das Ergebnis ist eine saubere FLAC-Datei, die aus der Leinwand gespeichert wird. Für die beste Melodieanpassung sollten Sie die Textphrasierung nah an der Referenz halten und eine klare, single‑lead Aufnahme wählen, wenn möglich. YuE2 Musik Cover unterstützt alles von intimen akustischen Folk bis hin zu Jazz- oder Synth-Pop-Stilen.

Schlüsselmodelle im ComfyUI YuE2 Musik Cover Workflow#

• YuE2‑3B. Das Hauptmodell, das eine symbolische Partitur plant und das finale Audio aus Text, Texten und ABC-Anleitung synthetisiert. Es unterstützt Melodie-Only-Planung für Cover und dekodiert zu hochauflösendem Stereo mit einem YuE2 VAE. Siehe die offizielle Modellkarte für Details und Cover-Beispiele: m-a-p/YuE2-3B und das Papier YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. Das Audio-zu-Lead-Sheet Modell, das Ihren Referenztrack in eine ABC-Notation umwandelt, die für die Führung von Covern geeignet ist. Es konzentriert sich auf kohärente Melodie, Akkorde, Beats und Struktur und eignet sich gut für Melodie-Only ABC für Cover-Arbeiten: m-a-p/SheetSage2 und der technische Bericht SheetSage2: Coherent Lead‑Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. Der Dekoder, der YuE2’s akustische Latents in 48 kHz Stereo-Audio umwandelt. Es ist der standardmäßige listener-grade Dekoder, der mit YuE2-3B verwendet wird: m-a-p/YuE2-Vae.

So verwenden Sie den ComfyUI YuE2 Musik Cover Workflow#

Dieser YuE2 Musik Cover Graph fließt von Referenz-Audio zur ABC-Transkription, dann durch YuE2-Planung und Synthese zu einem finalen dekodierten Track. Gruppen sind auf der Leinwand benannt; jede trägt einen deutlichen Schritt zum Song bei.

• Referenz-Audio (LoadAudio (#45))
  • Laden Sie eine saubere Referenzdatei wie einen Single-Lead-Mix oder ein Instrumental mit klarer Melodie. Der Knoten füttert das Audio automatisch in das Cover-Subgraph.
  • Kurze, gut produzierte Clips transkribieren zuverlässiger als laute oder dichte Mixe. Wenn Sie starken Hall oder starke Gegenmelodien hören, probieren Sie einen anderen Abschnitt.
  • Sie können die Referenzdatei jederzeit austauschen und neu in die Warteschlange stellen, um verschiedene Quellen mit den gleichen YuE2 Musik Cover-Einstellungen zu erkunden.
• Modell (Gruppe „Modell“)
  • Der Workflow lädt einen YuE2-Checkpoint über CheckpointLoaderSimple (#15). Die enthaltene Konfiguration weist auf einen 3B YuE2-Checkpoint hin; Sie können zu einem anderen offiziellen Paket von Comfy-Org/YuE2 wechseln, wenn gewünscht.
  • Der Loader stellt die MODEL, CLIP und VAE Objekte bereit, die weiter unten benötigt werden, sodass keine zusätzliche Verkabelung erforderlich ist.
  • Wenn Sie Checkpoints ändern, halten Sie den Rest des Graphen intakt und stellen Sie die Warteschlange neu, um zu vergleichen, wie jedes Modell das gleiche Cover rendert.
• ABC (Gruppe „ABC“)
  • AudioEncoderLoader (#43) initialisiert den SheetSage2-Encoder, und SheetSage2AudioToABC (#41) transkribiert die Referenz in ABC. Das Subgraph zeigt die ABC-Vorschau an, sodass Sie sie inspizieren oder kopieren können.
  • Für Cover wird Melodie-Only ABC empfohlen. Dies bewahrt die Melodie, während die Harmonie und das Arrangement Ihrem Stil-Prompt überlassen werden.
  • Wenn die Transkription Noten in dichten Abschnitten verpasst, versuchen Sie einen saubereren Refrain oder Vers, und generieren Sie dann das YuE2 Musik Cover neu.
• Konditionierung (Gruppe „Konditionierung“)
  • YuE2GenerateMusic (#25) ist das Herz des Workflows. Geben Sie Ihre Ziel-Stilbeschreibung und Texte an; der Knoten kombiniert sie mit der ABC, um den Gesang und das Arrangement zu planen.
  • Halten Sie die Silbenzahlen der Texte nah an der Originalphrasierung für die getreueste Melodieanpassung. Sie können dennoch die Sprache, Bildsprache oder das Reimschema modernisieren.
  • Ein gemeinsamer SeedNode (#34) treibt sowohl die Planungs- als auch die Abtastzweige an, wodurch das YuE2 Musik Cover über Läufe hinweg reproduzierbar wird.
• Dauer (Gruppe „Dauer“)
  • Der Generator gibt eine Ziellänge in Sekunden aus, die EmptyYuE2LatentAudio (#5) speist, um die latente Zeitleiste für die Abtastung zuzuweisen.
  • Setzen Sie eine vernünftige maximale Dauer für schnellere Iterationen. Das Anpassen der Referenzabschnittslänge hilft bei der Ausrichtung und vermeidet Über- oder Unterläufe.
• Sampling & Decode (Gruppe „Sampling & Decode“)
  • KSampler (#8) rendert akustische Latents unter Verwendung des Modells plus positiver Konditionierung aus YuE2’s Plan. ConditioningZeroOut (#18) hält den negativen Zweig leer.
  • VAEDecodeAudio (#9) verwandelt die Latents in Stereo-Audio zur Wiedergabe.
  • Wenn Sie eine leicht andere Performance wünschen, während die Melodie intakt bleibt, ändern Sie den Seed und stellen Sie die Warteschlange erneut.
• Export
  • Das finale Audio fließt in SaveAudioAdvanced (#10), vorkonfiguriert, um eine FLAC-Datei mit dem Namen YuE2 Musik Cover zu speichern. Sie können den Dateinamen oder das Format nach Bedarf bearbeiten.
  • Jeder Lauf schreibt eine neue Datei, was es einfach macht, verschiedene Stile, Texte oder Seeds zu vergleichen.

Schlüssel-Knoten im ComfyUI YuE2 Musik Cover Workflow#

• YuE2GenerateMusic (#25)
  • Zentralplaner und Konditionierer für YuE2 Musik Cover. Geben Sie style, lyrics und die abc-Zeichenfolge von SheetSage2 an. Passen Sie seed für reproduzierbare Takes an und max_duration, um das Budget festzulegen. Wenn Sie eine stärkere Stiltreue oder kreativere Phrasierung benötigen, experimentieren Sie mit cfg_scale und temperature maßvoll; höhere Werte können die Treue gegen Vielfalt eintauschen.
• SheetSage2AudioToABC (#41)
  • Transkribiert den Referenzsong zu ABC, das die Melodie leitet. Verwenden Sie den Melodie-Only-Modus für enge Cover-Ausrichtung. Wenn Ihre Texte viele zusätzliche Silben im Vergleich zur Referenz haben, vereinfachen oder teilen Sie Zeilen, um die Noten-zu-Silben-Zuordnung stabil zu halten, bevor Sie neu generieren.
• EmptyYuE2LatentAudio (#5)
  • Weist die latente Audio-Leinwand aus den geplanten Sekunden zu. Beginnen Sie kürzer für schnelle Vorschauen, dann verlängern Sie, sobald sich das YuE2 Musik Cover Styling und das Text-Tempo richtig anfühlen. Halten Sie die Länge nahe am Referenzabschnitt, um abgeschnittene oder gepolsterte Enden zu vermeiden.
• KSampler (#8)
  • Rendert die akustischen Latents, die Ihr endgültiger Track werden. Binden Sie seinen seed an denselben SeedNode, um Vergleichbarkeit über Takes hinweg zu gewährleisten. Für subtile Alternativen behalten Sie denselben Plan bei, aber variieren Sie den Seed des Samplers, um Mikro-Timing- und Artikulationsänderungen zu erkunden.
• SaveAudioAdvanced (#10)
  • Handhabt den Export. Setzen Sie ein klares Dateinamenpräfix pro Projekt und wählen Sie Ihr bevorzugtes Format. FLAC ist eine gute Standardwahl für verlustfreie Mastering von YuE2 Musik Cover Ausgaben.

Optionale Extras#

• Stil-Prompt-Tipps für YuE2 Musik Cover: Kombinieren Sie Sprache, Genre, Vokalisttyp, Tempogefühl, Schlüsselinstrumente, Stimmung und Produktionsnotizen. Beispielmuster: „Englisch, soulful Jazz-Pop, ausdrucksstarker männlicher Gesang, entspanntes Gefühl, Rhodes-Piano, Kontrabass, gebürstete Drums, warmes Saxophon, intime Atmosphäre.“
• Text-Tempo: Spiegeln Sie die Abschnittsstruktur der Referenz und die ungefähren Silbenzahlen wider. Das Beibehalten von Refrain-Ankern führt oft zu den erkennbarsten Covern.
• Referenzwahl: Wählen Sie Abschnitte mit klarer Lead-Melodie und minimalem Background-Gesang. Wenn ein Vers überladen ist, probieren Sie zuerst den Refrain für eine zuverlässigere YuE2 Musik Cover-Durchführung.
• Rechte und Attribution: Verwenden Sie nur Material, das Sie transformieren dürfen. Generiertes Audio ist neu, aber zugrunde liegende Kompositionen können geschützt sein.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Comfy-Org für den offiziellen YuE2 Musik Cover Guide, Comfy-Org für die YuE2 und SheetSage2 Modelldateien für ComfyUI und Multimodal Art Projection (m-a-p) für die ursprüngliche YuE2-3B und SheetSage2 Forschung und Veröffentlichungen. Für autoritative Details verweisen wir auf die unten verlinkte Originaldokumentation und -repositories.

Ressourcen#

• Comfy-Org/Official YuE2 Music Cover Guide
  • GitHub: Comfy-Org/docs
  • Docs / Release Notes: Official YuE2 music cover guide
• Comfy-Org/YuE2 and SheetSage2 model files for ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und des Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Instandhalter.