YuE2 Music Cover | Reprises de Chansons IA à partir d'Audio de Référence

YuE2 Music Cover pour ComfyUI : Réimaginez des chansons à partir de toute référence#

YuE2 Music Cover transforme un enregistrement de référence en une nouvelle performance vocale et arrangement dans ComfyUI. Le workflow transcrit la mélodie source en une partition ABC éditable avec SheetSage2, puis guide YuE2 avec votre style musical et paroles choisis pour rendre une chanson complète. Il est idéal pour les producteurs, arrangeurs et créateurs qui souhaitent conserver fidèlement la mélodie avec une nouvelle ambiance, voix et instrumentation.

Le résultat est un fichier FLAC propre sauvegardé depuis la toile. Pour une meilleure correspondance de la mélodie, gardez la phraséologie des paroles proche de la référence et choisissez un enregistrement clair, avec un seul chant principal si possible. YuE2 Music Cover prend en charge tout, du folk acoustique intime aux styles jazz ou synth-pop.

Modèles clés dans le workflow Comfyui YuE2 Music Cover#

• YuE2-3B. Le modèle principal ouvert qui planifie une partition symbolique et synthétise l'audio final à partir de texte, paroles et guidage ABC. Il prend en charge la planification de mélodie uniquement pour les reprises et décode en stéréo haute fidélité avec un YuE2 VAE. Voir la carte du modèle officiel pour plus de détails et des exemples de reprises : m-a-p/YuE2-3B et le document YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. Le modèle audio-à-partition-lead qui transforme votre piste de référence en notation ABC adaptée au guidage des reprises. Il se concentre sur la cohérence de la mélodie, des accords, des rythmes et de la structure, et est bien adapté aux ABC de mélodie uniquement pour le travail de reprise : m-a-p/SheetSage2 et le rapport technique SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. Le décodeur qui transforme les latents acoustiques de YuE2 en audio stéréo 48 kHz. C'est le décodeur par défaut de qualité auditeur utilisé avec YuE2-3B : m-a-p/YuE2-Vae.

Comment utiliser le workflow Comfyui YuE2 Music Cover#

Ce graphique YuE2 Music Cover s'écoule de l'audio de référence à la transcription ABC, puis à travers la planification et la synthèse YuE2 dans une piste décodée finale. Les groupes sont nommés sur la toile ; chacun contribue à une étape distincte vers la chanson.

• Audio de référence (LoadAudio (#45))
  • Chargez un fichier de référence propre tel qu'un mixage à un seul chant principal ou instrumental avec une mélodie claire. Le nœud alimente automatiquement l'audio dans le sous-graphe de reprise.
  • Les clips courts et bien produits se transcrivent plus fiablement que les mixages bruyants ou denses. Si vous entendez une forte réverbération ou des contre-mélodies fortes, essayez une section différente.
  • Vous pouvez échanger le fichier de référence à tout moment et relancer pour explorer différentes sources avec les mêmes paramètres YuE2 Music Cover.
• Modèle (groupe "Model")
  • Le workflow charge un point de contrôle YuE2 via CheckpointLoaderSimple (#15). La configuration incluse pointe vers un point de contrôle YuE2 3B ; vous pouvez passer à un autre pack officiel de Comfy-Org/YuE2 si désiré.
  • Le chargeur fournit les objets MODEL, CLIP et VAE requis en aval, donc aucun câblage supplémentaire n'est nécessaire.
  • Si vous changez de points de contrôle, gardez le reste du graphique intact et relancez pour comparer comment chaque modèle rend la même reprise.
• ABC (groupe "ABC")
  • AudioEncoderLoader (#43) initialise l'encodeur SheetSage2, et SheetSage2AudioToABC (#41) transcrit la référence en ABC. Le sous-graphe prévisualise l'ABC afin que vous puissiez l'inspecter ou le copier.
  • Pour les reprises, un ABC de mélodie uniquement est recommandé. Cela préserve l'air tout en laissant l'harmonie et l'arrangement à votre style d'invite.
  • Si la transcription manque des notes sur des sections denses, essayez un refrain ou un couplet plus propre, puis régénérez le YuE2 Music Cover.
• Conditionnement (groupe "Conditioning")
  • YuE2GenerateMusic (#25) est le cœur du workflow. Fournissez votre description de style cible et vos paroles ; le nœud les combine avec l'ABC pour planifier le chant et l'arrangement.
  • Gardez le nombre de syllabes des paroles proche de la phraséologie originale pour le plus fidèle alignement de la mélodie. Vous pouvez toujours moderniser le langage, l'imagerie ou le schéma de rimes.
  • Un SeedNode partagé (#34) alimente à la fois les branches de planification et d'échantillonnage, rendant le YuE2 Music Cover reproductible lors des exécutions.
• Durée (groupe "Duration")
  • Le générateur produit une longueur cible en secondes, qui alimente EmptyYuE2LatentAudio (#5) pour allouer la chronologie latente pour l'échantillonnage.
  • Définissez une durée maximale raisonnable pour une itération plus rapide. Correspondre à la longueur de la section de référence aide à l'alignement et évite les dépassements ou les sous-exécutions.
• Échantillonnage & Décodage (groupe "Sampling & Decode")
  • KSampler (#8) rend les latents acoustiques en utilisant le modèle plus le conditionnement positif du plan YuE2. ConditioningZeroOut (#18) garde la branche négative vide.
  • VAEDecodeAudio (#9) transforme les latents en audio stéréo pour la lecture.
  • Si vous souhaitez une performance légèrement différente tout en gardant la mélodie intacte, changez la graine et relancez.
• Exportation
  • L'audio final s'écoule dans SaveAudioAdvanced (#10), préconfiguré pour enregistrer un fichier FLAC avec le nom YuE2 Music Cover. Vous pouvez modifier le nom de fichier ou le format au besoin.
  • Chaque exécution écrit un nouveau fichier, ce qui facilite la comparaison A/B des différents styles, paroles ou graines.

Nœuds clés dans le workflow Comfyui YuE2 Music Cover#

• YuE2GenerateMusic (#25)
  • Planificateur central et conditionneur pour YuE2 Music Cover. Fournissez style, lyrics et la chaîne abc de SheetSage2. Ajustez seed pour des prises reproductibles et max_duration pour définir le budget. Si vous avez besoin d'une adhérence plus forte au style ou d'une phraséologie plus créative, expérimentez modestement avec cfg_scale et temperature ; des valeurs plus élevées peuvent échanger la fidélité pour la variété.
• SheetSage2AudioToABC (#41)
  • Transcrit la chanson de référence en ABC qui guide la mélodie. Utilisez le mode mélodie uniquement pour un alignement serré de la reprise. Si vos paroles ont beaucoup de syllabes supplémentaires par rapport à la référence, simplifiez ou divisez les lignes pour garder la correspondance note-à-syllabe stable avant de régénérer.
• EmptyYuE2LatentAudio (#5)
  • Alloue la toile audio latente à partir des secondes planifiées. Commencez plus court pour des aperçus rapides, puis étendez une fois que le style YuE2 Music Cover et le rythme des paroles semblent corrects. Gardez la longueur proche de la section de référence pour éviter les fins tronquées ou rembourrées.
• KSampler (#8)
  • Rend les latents acoustiques qui deviennent votre piste finale. Liez sa seed au même SeedNode pour maintenir la comparabilité entre les prises. Pour des variantes subtiles, gardez le même plan mais variez la graine de l'échantillonneur pour explorer les changements de micro-temporisation et d'articulation.
• SaveAudioAdvanced (#10)
  • Gère l'exportation. Définissez un préfixe de nom de fichier clair par projet et choisissez votre format préféré. FLAC est un bon choix par défaut pour le mastering sans perte des sorties YuE2 Music Cover.

Extras optionnels#

• Conseils de style pour YuE2 Music Cover : combinez langue, genre, type de vocaliste, sensation de tempo, instruments clés, ambiance et notes de production. Exemple de modèle : "English, soulful jazz-pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere."
• Rythme des paroles : reflétez le découpage de la référence et approximativement les comptes de syllabes. Garder les ancres du refrain intactes donne souvent la reprise la plus reconnaissable.
• Choix de la référence : choisissez des sections avec une mélodie principale claire et des chœurs minimaux. Si un couplet est encombré, essayez d'abord le refrain pour un passage YuE2 Music Cover plus fiable.
• Droits et attribution : n'utilisez que du matériel que vous êtes autorisé à transformer. L'audio généré est nouveau, mais les compositions sous-jacentes peuvent être protégées.

Remerciements#

Ce workflow met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Comfy-Org pour le Guide Officiel YuE2 Music Cover, Comfy-Org pour les fichiers modèles YuE2 et SheetSage2 pour ComfyUI, et Multimodal Art Projection (m-a-p) pour les recherches et publications originales YuE2-3B et SheetSage2. Pour des détails autoritaires, veuillez vous référer à la documentation et aux dépôts originaux ci-dessous.

Ressources#

• Comfy-Org/Guide Officiel YuE2 Music Cover
  • GitHub: Comfy-Org/docs
  • Docs / Notes de version: Official YuE2 music cover guide
• Comfy-Org/Fichiers modèles YuE2 et SheetSage2 pour ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.