YuE2 Music Cover | AI Song Covers from Reference Audio

YuE2 Music Cover para ComfyUI: Reimagine músicas a partir de qualquer referência#

YuE2 Music Cover transforma uma gravação de referência em uma nova performance vocal e arranjo dentro do ComfyUI. O fluxo de trabalho transcreve a melodia de origem para uma partitura ABC editável com o SheetSage2, depois guia o YuE2 com o estilo musical e letras escolhidos por você para renderizar uma música completa. É ideal para produtores, arranjadores e criadores que desejam manter a melodia fiel com uma nova vibração, voz e instrumentação.

O resultado é um arquivo FLAC limpo salvo do canvas. Para melhor correspondência de melodia, mantenha a fraseologia das letras próxima à referência e escolha uma gravação clara e de liderança única sempre que possível. YuE2 Music Cover suporta desde estilos acústicos íntimos até jazz ou synth-pop.

Modelos principais no fluxo de trabalho Comfyui YuE2 Music Cover#

• YuE2‑3B. O principal modelo aberto que planeja uma partitura simbólica e sintetiza o áudio final a partir de texto, letras e orientação ABC. Suporta planejamento apenas de melodia para covers e decodifica para estéreo de alta fidelidade com um YuE2 VAE. Veja o cartão do modelo oficial para detalhes e exemplos de covers: m-a-p/YuE2-3B e o artigo YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. O modelo de áudio para partitura que transforma sua faixa de referência em notação ABC adequada para guiar covers. Foca em melodia coerente, acordes, batidas e estrutura, e é bem adequado para ABC somente de melodia para trabalho de covers: m-a-p/SheetSage2 e o relatório técnico SheetSage2: Coherent Lead‑Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. O decodificador que transforma os latentes acústicos do YuE2 em áudio estéreo de 48 kHz. É o decodificador padrão de qualidade auditiva usado com YuE2‑3B: m-a-p/YuE2-Vae.

Como usar o fluxo de trabalho Comfyui YuE2 Music Cover#

Este gráfico do YuE2 Music Cover flui do áudio de referência para a transcrição ABC, depois através do planejamento e síntese do YuE2 em uma faixa final decodificada. Os grupos são nomeados no canvas; cada um contribui com uma etapa distinta para a música.

• Áudio de referência (LoadAudio (#45))
  • Carregue um arquivo de referência limpo, como uma mixagem de liderança única ou instrumental com melodia clara. O nó alimenta o áudio automaticamente no subgráfico de covers.
  • Clipes curtos e bem produzidos transcrevem de forma mais confiável do que mixagens ruidosas ou densas. Se você ouvir reverberação forte ou contramelodias marcantes, experimente uma seção diferente.
  • Você pode trocar o arquivo de referência a qualquer momento e re-filar para explorar diferentes fontes com as mesmas configurações do YuE2 Music Cover.
• Modelo (grupo “Model”)
  • O fluxo de trabalho carrega um checkpoint do YuE2 via CheckpointLoaderSimple (#15). A configuração incluída aponta para um checkpoint YuE2 3B; você pode mudar para outro pacote oficial de Comfy-Org/YuE2 se desejar.
  • O carregador fornece os objetos MODEL, CLIP e VAE necessários a jusante, então nenhuma fiação extra é necessária.
  • Se você mudar os checkpoints, mantenha o resto do gráfico intacto e re-file para comparar como cada modelo renderiza o mesmo cover.
• ABC (grupo “ABC”)
  • AudioEncoderLoader (#43) inicializa o codificador SheetSage2, e SheetSage2AudioToABC (#41) transcreve a referência em ABC. O subgráfico pré-visualiza o ABC para que você possa inspecionar ou copiá-lo.
  • Para covers, recomenda-se ABC apenas de melodia. Isso preserva a melodia enquanto deixa a harmonia e o arranjo para o seu prompt de estilo.
  • Se a transcrição perder notas em seções densas, experimente um refrão ou verso mais limpo, depois regenere o YuE2 Music Cover.
• Condicionamento (grupo “Conditioning”)
  • YuE2GenerateMusic (#25) é o coração do fluxo de trabalho. Forneça sua descrição de Estilo alvo e Letras; o nó os combina com o ABC para planejar o vocal e o arranjo.
  • Mantenha a contagem de sílabas das letras próxima à fraseologia original para o alinhamento mais fiel da melodia. Você ainda pode modernizar a linguagem, imagem ou esquema de rima.
  • Um SeedNode compartilhado (#34) impulsiona tanto os ramos de planejamento quanto de amostragem, tornando o YuE2 Music Cover reproduzível em várias execuções.
• Duração (grupo “Duration”)
  • O gerador produz um comprimento alvo em segundos, que alimenta EmptyYuE2LatentAudio (#5) para alocar a linha do tempo latente para amostragem.
  • Defina uma duração máxima razoável para uma iteração mais rápida. Corresponder ao comprimento da seção de referência ajuda no alinhamento e evita execuções excessivas ou insuficientes.
• Amostragem e Decodificação (grupo “Sampling & Decode”)
  • KSampler (#8) renderiza latentes acústicos usando o modelo mais o condicionamento positivo do plano do YuE2. ConditioningZeroOut (#18) mantém o ramo negativo vazio.
  • VAEDecodeAudio (#9) transforma os latentes em áudio estéreo para reprodução.
  • Se você quiser uma performance ligeiramente diferente enquanto mantém a melodia intacta, mude a semente e fila novamente.
• Exportação
  • O áudio final flui para SaveAudioAdvanced (#10), pré-configurado para salvar um arquivo FLAC com o nome YuE2 Music Cover. Você pode editar o nome do arquivo ou formato conforme necessário.
  • Cada execução escreve um novo arquivo, facilitando a comparação A/B de diferentes estilos, letras ou sementes.

Nós principais no fluxo de trabalho Comfyui YuE2 Music Cover#

• YuE2GenerateMusic (#25)
  • Planejador central e condicionador para YuE2 Music Cover. Forneça style, lyrics e a string abc do SheetSage2. Ajuste seed para tomadas reproduzíveis e max_duration para definir o orçamento. Se você precisar de uma adesão mais forte ao estilo ou fraseologia mais criativa, experimente com cfg_scale e temperature modestamente; valores mais altos podem trocar fidelidade por variedade.
• SheetSage2AudioToABC (#41)
  • Transcreve a música de referência para ABC que guia a melodia. Use o modo apenas de melodia para alinhamento apertado do cover. Se suas letras tiverem muitas sílabas extras em comparação com a referência, simplifique ou divida linhas para manter o mapeamento nota-a-sílaba estável antes de regenerar.
• EmptyYuE2LatentAudio (#5)
  • Aloca o canvas de áudio latente a partir dos segundos planejados. Comece mais curto para pré-visualizações rápidas, depois estenda uma vez que o estilo e o ritmo das letras do YuE2 Music Cover estejam corretos. Mantenha o comprimento próximo à seção de referência para evitar finais truncados ou preenchidos.
• KSampler (#8)
  • Renderiza os latentes acústicos que se tornam sua faixa final. Vincule sua seed ao mesmo SeedNode para manter a comparabilidade entre tomadas. Para alternâncias sutis, mantenha o mesmo plano, mas varie a semente do sampler para explorar mudanças de micro-tempo e articulação.
• SaveAudioAdvanced (#10)
  • Cuida da exportação. Defina um prefixo claro de nome de arquivo por projeto e escolha seu formato preferido. FLAC é um bom padrão para masterização sem perdas de saídas do YuE2 Music Cover.

Extras opcionais#

• Dicas de prompts de estilo para YuE2 Music Cover: combine idioma, gênero, tipo de vocalista, sensação de tempo, instrumentos principais, humor e notas de produção. Padrão de exemplo: “English, soulful jazz-pop, expressive male vocal, relaxed feel, Rhodes piano, upright bass, brushed drums, warm saxophone, intimate atmosphere.”
• Ritmo das letras: espelhe a seção da referência e aproxime as contagens de sílabas. Manter os âncoras do refrão intactos muitas vezes resulta no cover mais reconhecível.
• Escolha da referência: escolha seções com melodia de liderança clara e vocais de apoio mínimos. Se um verso estiver desordenado, experimente o refrão primeiro para uma passagem mais confiável do YuE2 Music Cover.
• Direitos e atribuição: use apenas material que você tem permissão para transformar. O áudio gerado é novo, mas as composições subjacentes podem estar protegidas.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos imensamente à Comfy-Org pelo Guia Oficial do YuE2 Music Cover, à Comfy-Org pelos arquivos dos modelos YuE2 e SheetSage2 para ComfyUI, e à Multimodal Art Projection (m-a-p) pela pesquisa e lançamentos originais do YuE2-3B e SheetSage2. Para detalhes autoritativos, consulte a documentação e repositórios originais vinculados abaixo.

Recursos#

• Comfy-Org/Guia Oficial do YuE2 Music Cover
  • GitHub: Comfy-Org/docs
  • Docs / Notas de Lançamento: Guia oficial do YuE2 music cover
• Arquivos dos modelos Comfy-Org/YuE2 e SheetSage2 para ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.