YuE2 Music Cover | AI Song Covers from Reference Audio

YuE2 Music Cover para ComfyUI: Reimagina canciones desde cualquier referencia#

YuE2 Music Cover convierte una grabación de referencia en una nueva interpretación vocal y arreglo dentro de ComfyUI. El flujo de trabajo transcribe la melodía original a una partitura ABC editable con SheetSage2, luego guía a YuE2 con el estilo musical y las letras que elijas para renderizar una canción completa. Es ideal para productores, arreglistas y creadores que desean retener la melodía fiel con un nuevo estilo, voz e instrumentación.

El resultado es un archivo FLAC limpio guardado desde el lienzo. Para una mejor coincidencia de melodía, mantén la fraseología de las letras cerca de la referencia y elige una grabación clara y de una sola voz cuando sea posible. YuE2 Music Cover admite desde estilos acústicos íntimos hasta jazz o synth-pop.

Modelos clave en el flujo de trabajo Comfyui YuE2 Music Cover#

• YuE2‑3B. El modelo principal abierto que planifica una partitura simbólica y sintetiza el audio final a partir de texto, letras y guía ABC. Soporta planificación solo de melodía para versiones y decodifica a estéreo de alta fidelidad con un YuE2 VAE. Consulta la tarjeta del modelo oficial para detalles y ejemplos de versiones: m-a-p/YuE2-3B y el artículo YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality.
• SheetSage2. El modelo de audio a partitura que convierte tu pista de referencia en notación ABC adecuada para guiar versiones. Se enfoca en melodía coherente, acordes, ritmos y estructura, y es adecuado para ABC solo de melodía para trabajo de versiones: m-a-p/SheetSage2 y el informe técnico SheetSage2: Coherent Lead‑Sheet Transcription with Synthetic Supervision.
• YuE2 VAE. El decodificador que convierte los latentes acústicos de YuE2 en audio estéreo de 48 kHz. Es el decodificador por defecto de calidad de escucha utilizado con YuE2‑3B: m-a-p/YuE2-Vae.

Cómo usar el flujo de trabajo Comfyui YuE2 Music Cover#

Este gráfico de YuE2 Music Cover fluye desde el audio de referencia hasta la transcripción ABC, luego a través de la planificación y síntesis de YuE2 en una pista final decodificada. Los grupos están nombrados en el lienzo; cada uno contribuye con un paso distinto hacia la canción.

• Audio de referencia (LoadAudio (#45))
  • Carga un archivo de referencia limpio como una mezcla de una sola voz o instrumental con una melodía clara. El nodo alimenta el audio al subgrafo de versión automáticamente.
  • Los clips cortos y bien producidos se transcriben de manera más confiable que las mezclas ruidosas o densas. Si escuchas mucha reverberación o fuertes contramelodías, prueba con otra sección.
  • Puedes intercambiar el archivo de referencia en cualquier momento y volver a poner en cola para explorar diferentes fuentes con las mismas configuraciones de YuE2 Music Cover.
• Modelo (grupo “Model”)
  • El flujo de trabajo carga un punto de control de YuE2 a través de CheckpointLoaderSimple (#15). La configuración incluida apunta a un punto de control de YuE2 de 3B; puedes cambiar a otro paquete oficial de Comfy-Org/YuE2 si lo deseas.
  • El cargador proporciona los objetos MODEL, CLIP y VAE requeridos aguas abajo, por lo que no se necesita cableado adicional.
  • Si cambias los puntos de control, mantén el resto del gráfico intacto y vuelve a poner en cola para comparar cómo cada modelo renderiza la misma versión.
• ABC (grupo “ABC”)
  • AudioEncoderLoader (#43) inicializa el codificador de SheetSage2, y SheetSage2AudioToABC (#41) transcribe la referencia en ABC. El subgrafo previsualiza el ABC para que puedas inspeccionarlo o copiarlo.
  • Para versiones, se recomienda ABC solo de melodía. Esto preserva la melodía mientras deja la armonía y el arreglo a tu indicación de estilo.
  • Si la transcripción omite notas en secciones densas, prueba con un coro o verso más limpio, luego regenera el YuE2 Music Cover.
• Acondicionamiento (grupo “Conditioning”)
  • YuE2GenerateMusic (#25) es el corazón del flujo de trabajo. Proporciona tu descripción de Estilo objetivo y Letras; el nodo las combina con el ABC para planificar la voz y el arreglo.
  • Mantén los conteos de sílabas de las letras cerca de la fraseología original para la alineación de melodía más fiel. Aún puedes modernizar el lenguaje, la imaginería o el esquema de rima.
  • Un SeedNode compartido (#34) impulsa tanto las ramas de planificación como de muestreo, haciendo que el YuE2 Music Cover sea reproducible en ejecuciones.
• Duración (grupo “Duration”)
  • El generador produce una longitud objetivo en segundos, que alimenta a EmptyYuE2LatentAudio (#5) para asignar la línea de tiempo latente para el muestreo.
  • Establece una duración máxima razonable para iteración más rápida. Coincidir la longitud de la sección de referencia ayuda a la alineación y evita sobrepasos o subpasos.
• Muestreo y Decodificación (grupo “Sampling & Decode”)
  • KSampler (#8) renderiza latentes acústicos usando el modelo más el acondicionamiento positivo del plan de YuE2. ConditioningZeroOut (#18) mantiene la rama negativa vacía.
  • VAEDecodeAudio (#9) convierte los latentes en audio estéreo para la reproducción.
  • Si deseas un rendimiento ligeramente diferente mientras mantienes intacta la melodía, cambia la semilla y vuelve a poner en cola.
• Exportar
  • El audio final fluye hacia SaveAudioAdvanced (#10), preconfigurado para guardar un archivo FLAC con el nombre YuE2 Music Cover. Puedes editar el nombre del archivo o el formato según sea necesario.
  • Cada ejecución escribe un archivo nuevo, lo que facilita comparar diferentes estilos, letras o semillas.

Nodos clave en el flujo de trabajo Comfyui YuE2 Music Cover#

• YuE2GenerateMusic (#25)
  • Planificador central y acondicionador para YuE2 Music Cover. Proporciona style, lyrics y la cadena abc de SheetSage2. Ajusta seed para tomas reproducibles y max_duration para establecer el presupuesto. Si necesitas una adherencia más fuerte al estilo o una fraseología más creativa, experimenta con cfg_scale y temperature modestamente; los valores más altos pueden intercambiar fidelidad por variedad.
• SheetSage2AudioToABC (#41)
  • Transcribe la canción de referencia a ABC que guía la melodía. Usa el modo solo de melodía para una alineación de versión ajustada. Si tus letras tienen muchas sílabas extra en comparación con la referencia, simplifica o divide líneas para mantener estable el mapeo nota a sílaba antes de regenerar.
• EmptyYuE2LatentAudio (#5)
  • Asigna el lienzo de audio latente desde los segundos planificados. Comienza más corto para vistas previas rápidas, luego extiende una vez que el estilo y el ritmo de las letras de YuE2 Music Cover se sientan correctos. Mantén la longitud cerca de la sección de referencia para evitar finales truncados o acolchados.
• KSampler (#8)
  • Renderiza los latentes acústicos que se convierten en tu pista final. Ata su seed al mismo SeedNode para mantener la comparabilidad entre tomas. Para alternativos sutiles, mantén el mismo plan pero varía la semilla del muestreador para explorar cambios de micro-temporización y articulación.
• SaveAudioAdvanced (#10)
  • Maneja la exportación. Establece un prefijo de nombre de archivo claro por proyecto y elige tu formato preferido. FLAC es una buena opción por defecto para la masterización sin pérdidas de las salidas de YuE2 Music Cover.

Extras opcionales#

• Consejos de indicación de estilo para YuE2 Music Cover: combina lenguaje, género, tipo de vocalista, sensación de tempo, instrumentos clave, ambiente y notas de producción. Patrón de ejemplo: “Inglés, jazz-pop soul, vocal masculino expresivo, sensación relajada, piano Rhodes, contrabajo, batería con escobillas, saxofón cálido, atmósfera íntima.”
• Ritmo de las letras: refleja la sección de la referencia y aproxima los conteos de sílabas. Mantener intactos los anclajes del coro a menudo produce la versión más reconocible.
• Elección de referencia: elige secciones con melodía principal clara y mínimas voces de fondo. Si un verso está desordenado, prueba primero con el coro para una pasada de YuE2 Music Cover más fiable.
• Derechos y atribuciones: solo usa material que tengas permiso para transformar. El audio generado es nuevo, pero las composiciones subyacentes pueden estar protegidas.

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Comfy-Org por la Guía Oficial YuE2 Music Cover, a Comfy-Org por los archivos de modelo YuE2 y SheetSage2 para ComfyUI, y a Multimodal Art Projection (m-a-p) por la investigación y lanzamientos originales de YuE2-3B y SheetSage2. Para detalles autorizados, por favor consulta la documentación y repositorios originales enlazados a continuación.

Recursos#

• Comfy-Org/Guía Oficial YuE2 Music Cover
  • GitHub: Comfy-Org/docs
  • Documentos / Notas de lanzamiento: Guía oficial de versiones musicales YuE2
• Archivos de modelo Comfy-Org/YuE2 y SheetSage2 para ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/YuE2
  • arXiv: YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality, SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.