YuE2 Music Cover | Cover AI di Canzoni da Audio di Riferimento

YuE2 Music Cover per ComfyUI: Reimmagina canzoni da qualsiasi riferimento#

YuE2 Music Cover trasforma una registrazione di riferimento in una nuova performance vocale e arrangiamento all'interno di ComfyUI. Il flusso di lavoro trascrive la melodia sorgente in uno spartito ABC modificabile con SheetSage2, quindi guida YuE2 con lo stile musicale e i testi scelti per rendere una canzone completa. È ideale per produttori, arrangiatori e creatori che vogliono mantenere fedelmente la melodia con un nuovo vibe, voce e strumentazione.

Il risultato è un file FLAC pulito salvato dal canvas. Per la migliore corrispondenza della melodia, mantieni la fraseologia del testo vicina al riferimento e scegli una registrazione chiara e con un'unica voce principale quando possibile. YuE2 Music Cover supporta qualsiasi cosa, dai folk acustici intimi ai jazz o stili synth-pop.

Modelli chiave nel flusso di lavoro Comfyui YuE2 Music Cover#

• YuE2-3B. Il modello principale open che pianifica uno spartito simbolico e sintetizza l'audio finale da testo, testi e guida ABC. Supporta la pianificazione della sola melodia per le cover e decodifica in stereo ad alta fedeltà con un YuE2 VAE. Vedi il modello ufficiale per dettagli ed esempi di cover: m-a-p/YuE2-3B e il documento YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. Il modello audio-to-lead-sheet che trasforma il tuo brano di riferimento in notazione ABC adatta a guidare le cover. Si concentra su melodia coerente, accordi, battiti e struttura, ed è ben adatto alla sola melodia ABC per il lavoro di cover: m-a-p/SheetSage2 e il rapporto tecnico SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. Il decoder che trasforma i latenti acustici di YuE2 in audio stereo a 48 kHz. È il decoder predefinito per ascoltatori utilizzato con YuE2-3B: m-a-p/YuE2-Vae.

Come usare il flusso di lavoro Comfyui YuE2 Music Cover#

Questo grafico YuE2 Music Cover fluisce dall'audio di riferimento alla trascrizione ABC, quindi tramite la pianificazione e sintesi di YuE2 in una traccia decodificata finale. I gruppi sono nominati sul canvas; ognuno contribuisce con un passo distinto verso la canzone.

• Audio di riferimento (LoadAudio (#45))
  • Carica un file di riferimento pulito come un mix a singola voce o uno strumentale con melodia chiara. Il nodo alimenta automaticamente l'audio nel sottografo della cover.
  • Clip brevi e ben prodotte vengono trascritte più affidabilmente rispetto a mix rumorosi o densi. Se senti un forte riverbero o contro-melodie forti, prova una sezione diversa.
  • Puoi scambiare il file di riferimento in qualsiasi momento e ri-codificare per esplorare diverse fonti con le stesse impostazioni di YuE2 Music Cover.
• Modello (gruppo "Model")
  • Il flusso di lavoro carica un checkpoint YuE2 tramite CheckpointLoaderSimple (#15). La configurazione inclusa punta a un checkpoint 3B YuE2; puoi passare a un altro pacchetto ufficiale da Comfy-Org/YuE2 se desiderato.
  • Il loader fornisce gli oggetti MODEL, CLIP e VAE richiesti a valle, quindi non è necessario alcun cablaggio aggiuntivo.
  • Se cambi checkpoint, mantieni intatto il resto del grafico e ri-codifica per confrontare come ciascun modello rende la stessa cover.
• ABC (gruppo "ABC")
  • AudioEncoderLoader (#43) inizializza l'encoder SheetSage2, e SheetSage2AudioToABC (#41) trascrive il riferimento in ABC. Il sottografo visualizza in anteprima l'ABC in modo da poterlo ispezionare o copiare.
  • Per le cover, si raccomanda la sola melodia ABC. Questo preserva la melodia lasciando armonia e arrangiamento al tuo prompt di stile.
  • Se la trascrizione perde note su sezioni dense, prova un ritornello o un verso più chiaro, quindi rigenera la YuE2 Music Cover.
• Condizionamento (gruppo "Conditioning")
  • YuE2GenerateMusic (#25) è il cuore del flusso di lavoro. Fornisci la tua descrizione di Stile e i Testi; il nodo li combina con l'ABC per pianificare la voce e l'arrangiamento.
  • Mantieni i conteggi delle sillabe dei testi vicini alla fraseologia originale per il più fedele allineamento della melodia. Puoi comunque modernizzare il linguaggio, le immagini o lo schema di rime.
  • Un SeedNode (#34) condiviso guida sia i rami di pianificazione che di campionamento, rendendo la YuE2 Music Cover riproducibile tra le esecuzioni.
• Durata (gruppo "Duration")
  • Il generatore emette una lunghezza target in secondi, che alimenta EmptyYuE2LatentAudio (#5) per allocare la timeline latente per il campionamento.
  • Imposta una durata massima ragionevole per iterazioni più rapide. Abbinare la lunghezza della sezione di riferimento aiuta l'allineamento ed evita sovracorrenti o sottoesecuzioni.
• Campionamento & Decodifica (gruppo "Sampling & Decode")
  • KSampler (#8) rende i latenti acustici utilizzando il modello più il condizionamento positivo dal piano di YuE2. ConditioningZeroOut (#18) mantiene vuoto il ramo negativo.
  • VAEDecodeAudio (#9) trasforma i latenti in audio stereo per la riproduzione.
  • Se desideri una performance leggermente diversa mantenendo intatta la melodia, cambia il seed e codifica di nuovo.
• Esportazione
  • L'audio finale fluisce in SaveAudioAdvanced (#10), preconfigurato per salvare un file FLAC con il nome YuE2 Music Cover. Puoi modificare il nome del file o il formato secondo necessità.
  • Ogni esecuzione scrive un file nuovo, rendendo facile confrontare A/B diversi stili, testi o seed.

Nodi chiave nel flusso di lavoro Comfyui YuE2 Music Cover#

• YuE2GenerateMusic (#25)
  • Pianificatore centrale e condizionatore per YuE2 Music Cover. Fornisci style, lyrics e la stringa abc da SheetSage2. Regola seed per esecuzioni riproducibili e max_duration per impostare il budget. Se hai bisogno di una maggiore adesione allo stile o di una fraseologia più creativa, sperimenta modestamente con cfg_scale e temperature; valori più alti possono scambiare fedeltà per varietà.
• SheetSage2AudioToABC (#41)
  • Trascrive la canzone di riferimento in ABC che guida la melodia. Usa la modalità solo melodia per un allineamento stretto della cover. Se i tuoi testi hanno molte sillabe extra rispetto al riferimento, semplifica o dividi le righe per mantenere stabile la mappatura nota-sillaba prima di rigenerare.
• EmptyYuE2LatentAudio (#5)
  • Alloca il canvas audio latente dai secondi pianificati. Inizia più corto per anteprime rapide, poi estendi una volta che lo styling e il ritmo dei testi della YuE2 Music Cover si sentono giusti. Mantieni la lunghezza vicino alla sezione di riferimento per evitare finali troncati o imbottiti.
• KSampler (#8)
  • Rende i latenti acustici che diventano la tua traccia finale. Collega il suo seed allo stesso SeedNode per mantenere la comparabilità tra le esecuzioni. Per alternati sottili, mantieni lo stesso piano ma varia il seed del sampler per esplorare cambiamenti di micro-tempo e articolazione.
• SaveAudioAdvanced (#10)
  • Gestisce l'esportazione. Imposta un prefisso chiaro per il nome del file per progetto e scegli il tuo formato preferito. FLAC è un buon predefinito per il mastering senza perdita degli output YuE2 Music Cover.

Extra opzionali#

• Suggerimenti per il prompt di stile per YuE2 Music Cover: combina lingua, genere, tipo di cantante, sensazione di tempo, strumenti chiave, atmosfera e note di produzione. Modello di esempio: "Inglese, jazz-pop soul, voce maschile espressiva, atmosfera rilassata, piano Rhodes, contrabbasso, batteria spazzolata, sassofono caldo, atmosfera intima."
• Ritmo dei testi: rispecchia la suddivisione e i conteggi approssimati delle sillabe del riferimento. Mantenere intatti gli ancoraggi dei ritornelli spesso produce la cover più riconoscibile.
• Scelta del riferimento: scegli sezioni con melodia principale chiara e voci di supporto minime. Se un verso è ingombro, prova prima il ritornello per un passaggio YuE2 Music Cover più affidabile.
• Diritti e attribuzione: usa solo materiale che hai il permesso di trasformare. L'audio generato è nuovo, ma le composizioni sottostanti potrebbero essere protette.

Riconoscimenti#

Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo Comfy-Org per la Guida Ufficiale YuE2 Music Cover, Comfy-Org per i file modello YuE2 e SheetSage2 per ComfyUI, e Multimodal Art Projection (m-a-p) per la ricerca e i rilasci originali di YuE2-3B e SheetSage2. Per dettagli autorevoli, fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• Comfy-Org/Guida Ufficiale YuE2 Music Cover
  • GitHub: Comfy-Org/docs
  • Documenti / Note di rilascio: Guida ufficiale YuE2 music cover
• File modello Comfy-Org/YuE2 e SheetSage2 per ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Nota: L'uso dei modelli, dei set di dati e del codice di riferimento è soggetto alle rispettive licenze e ai termini forniti dai loro autori e manutentori.