ACE-Step Musikgenerierung | KI-Audioerstellung

1. Was ist der ComfyUI ACE-Step Workflow?

ComfyUI ACE-Step integriert das neu entwickelte ACE-Step Musikgenerierungs-Basismodell in die ComfyUI-Umgebung. Basierend auf einer hybriden Architektur, die Diffusions-basierte Generierung mit Sanas Deep Compression AutoEncoder (DCAE) und einem leichten linearen Transformer kombiniert, ermöglicht ACE-Step ultraschnelle, qualitativ hochwertige Musikgenerierung mit außergewöhnlichen Kontrollmöglichkeiten. Dieser Workflow ermöglicht es Benutzern, originale Musik in verschiedenen Genres und Stilen mit einfachen Eingaben in natürlicher Sprache und Texten zu erstellen.

2. Vorteile von ComfyUI ACE-Step:

• Beispiellose Geschwindigkeit: Synthetisiert bis zu 4 Minuten Musik in nur 20 Sekunden—15× schneller als LLM-basierte Alternativen
• Musikalische Kohärenz: ACE-Step hält überlegene Qualität in den Dimensionen Melodie, Harmonie und Rhythmus
• Mehrsprachige Unterstützung: Erzeugt Musik in 19 verschiedenen Sprachen mit außergewöhnlicher Leistung in den Top-10-Sprachen
• Erweiterte Kontrolle: Ermöglicht Stimmklonen, Textbearbeitung, Remixing und Track-Generierung mit fein abgestimmten Parametern
• Kreative Flexibilität: Unterstützt verschiedene Musikstile, Genres und Instrumente mit verschiedenen Beschreibungsformaten
• Nahtlose Integration: Fügt sich direkt in ComfyUI-Workflows für KI-gestützte Audioerstellung ein

3. Wie man den ComfyUI ACE-Step Workflow verwendet

3.1 Generierungsmethoden mit ComfyUI ACE-Step

Beispiel-Setup für ACE-Step:

1. Bereiten Sie Eingaben vor: Im TextEncodeAceStepAudio-Knoten:
   • Fügen Sie beschreibende Tags für den Musikstil hinzu (z.B. "country rock, folk rock, southern rock, bluegrass, pop")
   • Geben Sie Texte mit Struktur-Tags wie [verse], [chorus], [bridge] ein
   • Passen Sie lyrics_strength an (1.00 ist Standard)
2. Konfigurieren Sie die Parameter des KSampler-Knotens:
   • Passen Sie die Schritte an (50 empfohlen für ACE-Step)
   • Stellen Sie cfg ein (4.0 ist Standard)
   • Stellen Sie den denoise-Wert ein (1.00 ist Standard)
3. Im EmptyAceStepLatentAudio-Knoten:
   • Stellen Sie die gewünschte Sekundenanzahl ein (30.0 ist Standard)
   • Stellen Sie batch_size ein
4. Klicken Sie auf die Schaltfläche Run, um den ACE-Step-Workflow auszuführen
5. Im SaveAudio-Knoten: Hören Sie Ihre generierte Musik an oder speichern Sie sie

ACE-Step Kern-Generierungs-Workflow

• Am besten geeignet für: Erstellung originaler Musik aus Textbeschreibungen und Texten
• Eigenschaften:
  • Schnelle Generierung (15× schneller als LLM-Alternativen)
  • Starke musikalische Kohärenz und Qualität
  • Flexible Dauersteuerung

ACE-Step Spezialisierte Workflows (LoRA-basiert)

• Lyric2Vocal: ACE-Step Modell, das für die Erzeugung hochwertiger Vocals aus Texten optimiert wurde
• Text2Samples: Spezialisierte ACE-Step Variante zur Produktion instrumentaler Loops und Samples
• RapMachine: Optimiertes ACE-Step Modell für Rap-Generierung mit verschiedenen Stilen

3.2 Parameterreferenz für ComfyUI ACE-Step

TextEncodeAceStepAudio-Knoten: Dieser Knoten verarbeitet Texteingaben zur Steuerung der ACE-Step Musikgenerierung.

• clip: Textfeld für Stilbeschreibungen, Genres und Stimmung
• lyrics: Textfeld für Songtexte mit optionalen Struktur-Tags
• lyrics_strength: Steuert, wie stark die Texte die Generierung beeinflussen (Standard: 1.00)

KSampler-Knoten: Steuert den Diffusions-Sampling-Prozess in ACE-Step.

• seed: Setzt Zufallssamen für reproduzierbare Ergebnisse
• control_after_generate: Optionen für Samenverhalten nach der Generierung
• steps: Anzahl der Diffusionsschritte (höher = mehr Verfeinerung)
• cfg: Classifier-free guidance scale (höher = mehr Einhaltung des Prompts)
• sampler_name: Algorithmus, der für das Sampling verwendet wird (res_multistep empfohlen)
• scheduler: Geräuschzeitplan-Typ (simple empfohlen)
• denoise: Steuert das Geräuschentfernungsniveau (1.00 ist volle Entstörung)

EmptyAceStepLatentAudio-Knoten: Initialisiert den Audiogenerierungsraum.

• seconds: Dauer des generierten Audios in Sekunden
• batch_size: Anzahl der gleichzeitig zu generierenden Samples

VAEDecodeAudio-Knoten: Dekodiert latente Darstellungen in hörbares Format.

• samples: Eingabe von KSampler
• vae: VAE-Modell, das für das Dekodieren verwendet wird

SaveAudio-Knoten: Gibt das endgültige ACE-Step Audioergebnis aus.

• filename_prefix: Präfix für gespeicherte Audiodateien
• audio: Player zur Vorschau des generierten Audios

3.3. Erweiterte Techniken mit ComfyUI ACE-Step

Variationsgenerierung:

• Passen Sie den Varianzparameter an, um die Ähnlichkeit zu den ursprünglichen ACE-Step-Generierungen zu steuern
• Höhere Varianz erzeugt divergentere Ausgaben, während die grundlegenden musikalischen Elemente erhalten bleiben

Neumalerei:

• Regenerieren Sie selektiv bestimmte Abschnitte von Audio, während der Rest erhalten bleibt
• Nützlich zum Beheben problematischer Segmente, ohne die gesamte Komposition zu ändern

Textbearbeitung in ACE-Step:

• Ändern Sie Texte, während Melodie, Stimmtimbre und Begleitung beibehalten werden
• Unterstützt das Bearbeiten in mehreren Sprachen, während die musikalische Struktur erhalten bleibt

Stimmklonen:

• Erhält stimmliche Merkmale, während neue Inhalte mit ACE-Step generiert werden
• Kann mit Textbearbeitung für flexible stimmliche Darbietungen kombiniert werden

Stiltransfer:

• Wenden Sie neue Musikstile auf bestehende Kompositionen an
• Erhält die grundlegende musikalische Struktur, während verschiedene Genremerkmale übernommen werden

3.4. ACE-Step Prompt-Tipps:

Für allgemeine Musik:

• Seien Sie spezifisch in Bezug auf Genre, Stimmung und Instrumentierung in ACE-Step Prompts
• Beispiel-Prompts: "electronic, rock, pop" oder "funk, pop, soul, melodic"
• Detailliertere Prompts: "dark, death rock, metal, hardcore, electric guitar, powerful, bass, drums, 110 bpm, G major"

Für instrumentale Musik:

• Geben Sie Instrumente und musikalische Merkmale an
• Beispiel-Prompts: "saxophone, jazz" oder "violin, solo, fast tempo"
• Detailliertere Prompts: "sonata, piano, Violin, B Flat Major, allegro"

Für mehrsprachige Unterstützung:

• ACE-Step funktioniert am besten mit: Englisch, Chinesisch, Russisch, Spanisch, Japanisch, Deutsch, Französisch, Portugiesisch, Italienisch, Koreanisch
• Nicht-lateinische Schriftsprachen wie Chinesisch, Japanisch und Koreanisch werden gut unterstützt

Weitere Informationen über ACE-Step

Für zusätzliche Details und Entwicklungsreferenzen:

• Original ACE-Step Modell von
• Modellentwickler: Junmin Gong, Sean Zhao, Sen Wang, Shengyuan Xu, und Joe Guo

Danksagungen

Dieser Workflow wird von ACE-Step angetrieben, co-entwickelt von ACE Studio und StepFun. Die ComfyUI ACE-Step Integration ermöglicht nahtlose Musikgenerierung innerhalb der ComfyUI-Umgebung. Vollständiger Dank geht an die ursprünglichen Autoren für ihre bahnbrechende Arbeit an ACE-Step.