Génération Musicale ACE-Step | Création Audio IA

1. Qu'est-ce que le Workflow ComfyUI ACE-Step ?

ComfyUI ACE-Step intègre le modèle fondamental de génération musicale ACE-Step nouvellement développé dans l'environnement ComfyUI. Construit sur une architecture hybride combinant la génération basée sur la diffusion avec le Deep Compression AutoEncoder (DCAE) de Sana et un transformateur linéaire léger, ACE-Step permet une génération musicale ultra-rapide et de haute qualité avec des capacités de contrôle exceptionnelles. Ce workflow permet aux utilisateurs de créer de la musique originale à travers divers genres et styles avec des invites en langage naturel simples et des paroles.

2. Avantages de ComfyUI ACE-Step:

• Vitesse Inédite: Synthétise jusqu'à 4 minutes de musique en seulement 20 secondes—15× plus rapide que les alternatives basées sur LLM
• Cohérence Musicale: ACE-Step maintient une qualité supérieure à travers les dimensions de la mélodie, de l'harmonie et du rythme
• Support Multilingue: Génère de la musique dans 19 langues différentes avec des performances exceptionnelles dans les 10 langues principales
• Contrôle Avancé: Permet le clonage vocal, l'édition des paroles, le remixage et la génération de pistes avec des paramètres fins
• Flexibilité Créative: Prend en charge divers styles musicaux, genres et instruments avec divers formats de description
• Intégration Transparente: S'intègre directement dans les workflows ComfyUI pour la création audio alimentée par l'IA

3. Comment Utiliser le Workflow ComfyUI ACE-Step

3.1 Méthodes de Génération avec ComfyUI ACE-Step

Exemple de Configuration pour ACE-Step:

1. Préparez les entrées: Dans le nœud TextEncodeAceStepAudio:
   • Ajoutez des balises descriptives pour le style musical (par exemple, "country rock, folk rock, southern rock, bluegrass, pop")
   • Entrez les paroles avec des balises de structure comme [verse], [chorus], [bridge]
   • Ajustez lyrics_strength (1.00 est la valeur par défaut)
2. Configurez les paramètres du nœud KSampler:
   • Ajustez les étapes (50 recommandées pour ACE-Step)
   • Réglez cfg (4.0 est la valeur par défaut)
   • Réglez la valeur de débruitage (1.00 est la valeur par défaut)
3. Dans le nœud EmptyAceStepLatentAudio:
   • Réglez la durée désirée en secondes (30.0 est la valeur par défaut)
   • Réglez batch_size
4. Cliquez sur le bouton Run pour exécuter le workflow ACE-Step
5. Dans le nœud SaveAudio: écoutez ou enregistrez votre musique générée

Workflow Principal de Génération ACE-Step

• Idéal pour: Créer de la musique originale à partir de descriptions textuelles et de paroles
• Caractéristiques:
  • Génération rapide (15× plus rapide que les alternatives LLM)
  • Forte cohérence et qualité musicale
  • Contrôle flexible de la durée

Workflows Spécialisés ACE-Step (basés sur LoRA)

• Lyric2Vocal: Modèle ACE-Step affiné pour générer des voix de haute qualité à partir de paroles
• Text2Samples: Variante spécialisée d'ACE-Step pour produire des boucles et des échantillons instrumentaux
• RapMachine: Modèle ACE-Step optimisé pour la génération de rap avec divers styles

3.2 Référence des Paramètres pour ComfyUI ACE-Step

Nœud TextEncodeAceStepAudio: Ce nœud traite les entrées textuelles pour guider la génération musicale ACE-Step.

• clip: Champ de texte pour les descriptions de style, genres et humeur
• lyrics: Champ de texte pour les paroles de chanson avec des balises de structure facultatives
• lyrics_strength: Contrôle l'influence des paroles sur la génération (par défaut: 1.00)

Nœud KSampler: Contrôle le processus d'échantillonnage de diffusion dans ACE-Step.

• seed: Définit la graine de randomisation pour des résultats reproductibles
• control_after_generate: Options pour le comportement de la graine après la génération
• steps: Nombre d'étapes de diffusion (plus élevé = plus de raffinement)
• cfg: Échelle de guidance sans classificateur (plus élevé = plus d'adhésion à l'invite)
• sampler_name: Algorithme utilisé pour l'échantillonnage (res_multistep recommandé)
• scheduler: Type de calendrier de bruit (simple recommandé)
• denoise: Contrôle le niveau de suppression du bruit (1.00 est un débruitage complet)

Nœud EmptyAceStepLatentAudio: Initialise l'espace de génération audio.

• seconds: Durée de l'audio généré en secondes
• batch_size: Nombre d'échantillons à générer simultanément

Nœud VAEDecodeAudio: Décode les représentations latentes en format audible.

• samples: Entrée de KSampler
• vae: Modèle VAE utilisé pour le décodage

Nœud SaveAudio: Sort les résultats audio finaux d'ACE-Step.

• filename_prefix: Préfixe pour les fichiers audio enregistrés
• audio: Lecteur pour prévisualiser l'audio généré

3.3. Techniques Avancées avec ComfyUI ACE-Step

Génération de Variations:

• Ajustez le paramètre de variance pour contrôler la similarité avec les générations originales d'ACE-Step
• Une variance plus élevée crée des sorties plus divergentes tout en préservant les éléments musicaux de base

Repainting:

• Régénérez sélectivement des sections spécifiques de l'audio tout en préservant le reste
• Utile pour corriger des segments problématiques sans changer toute la composition

Édition de Paroles dans ACE-Step:

• Modifiez les paroles tout en maintenant la mélodie, le timbre vocal et l'accompagnement
• Prend en charge l'édition dans plusieurs langues tout en préservant la structure musicale

Clonage Vocal:

• Préserve les caractéristiques vocales tout en générant un nouveau contenu avec ACE-Step
• Peut être combiné avec l'édition de paroles pour des performances vocales flexibles

Transfert de Style:

• Applique de nouveaux styles musicaux à des compositions existantes
• Maintient la structure musicale de base tout en adoptant différentes caractéristiques de genre

3.4. Conseils pour les Prompts ACE-Step:

Pour la Musique Générale:

• Soyez précis sur le genre, l'humeur et l'instrumentation dans les invites ACE-Step
• Exemples d'invites: "électronique, rock, pop" ou "funk, pop, soul, mélodique"
• Invites plus détaillées: "dark, death rock, metal, hardcore, guitare électrique, puissant, basse, batterie, 110 bpm, G majeur"

Pour la Musique Instrumentale:

• Spécifiez les instruments et les caractéristiques musicales
• Exemples d'invites: "saxophone, jazz" ou "violon, solo, tempo rapide"
• Invites plus détaillées: "sonate, piano, violon, Si bémol majeur, allegro"

Pour le Support Multilingue:

• ACE-Step fonctionne mieux avec: English, Chinese, Russian, Spanish, Japanese, German, French, Portuguese, Italian, Korean
• Les langues à script non latin comme le chinois, le japonais et le coréen sont bien prises en charge

Plus d'Informations sur ACE-Step

Pour des détails supplémentaires et des références de développement:

• Modèle ACE-Step original par
• Développeurs du modèle: Junmin Gong, Sean Zhao, Sen Wang, Shengyuan Xu, et Joe Guo

Remerciements

Ce workflow est propulsé par ACE-Step, co-développé par ACE Studio et StepFun. L'intégration ComfyUI ACE-Step permet une génération musicale transparente dans l'environnement ComfyUI. Tout le crédit revient aux auteurs originaux pour leur travail révolutionnaire sur ACE-Step.