Geração de Música ACE-Step | Criação de Áudio com IA

1. O que é o Workflow ComfyUI ACE-Step?

O ComfyUI ACE-Step integra o recém-desenvolvido modelo de base de geração de música ACE-Step no ambiente ComfyUI. Construído em uma arquitetura híbrida que combina geração baseada em difusão com o Deep Compression AutoEncoder (DCAE) da Sana e um transformador linear leve, o ACE-Step possibilita uma geração de música ultrarrápida e de alta qualidade com capacidades de controle excepcionais. Este fluxo de trabalho permite aos usuários criar música original em diversos gêneros e estilos com prompts simples de linguagem natural e letras.

2. Benefícios do ComfyUI ACE-Step:

• Velocidade Sem Precedentes: Sintetiza até 4 minutos de música em apenas 20 segundos—15× mais rápido do que alternativas baseadas em LLM
• Coerência Musical: O ACE-Step mantém qualidade superior em dimensões de melodia, harmonia e ritmo
• Suporte Multilíngue: Gera música em 19 idiomas diferentes com desempenho excepcional nos 10 idiomas principais
• Controle Avançado: Permite clonagem de voz, edição de letras, remixagem e geração de faixas com parâmetros detalhados
• Flexibilidade Criativa: Suporta diversos estilos, gêneros e instrumentos musicais com vários formatos de descrição
• Integração Sem Costura: Conecta-se diretamente aos fluxos de trabalho do ComfyUI para criação de áudio com IA

3. Como Usar o Workflow ComfyUI ACE-Step

3.1 Métodos de Geração com ComfyUI ACE-Step

Configuração Exemplo para ACE-Step:

1. Prepare as entradas: No nó TextEncodeAceStepAudio:
   • Adicione tags descritivas para estilo musical (e.g., "country rock, folk rock, southern rock, bluegrass, pop")
   • Insira letras com tags de estrutura como [verse], [chorus], [bridge]
   • Ajuste lyrics_strength (1.00 é o padrão)
2. Configure os parâmetros do nó KSampler:
   • Ajuste os steps (50 recomendados para ACE-Step)
   • Defina cfg (4.0 é o padrão)
   • Defina o valor de denoise (1.00 é o padrão)
3. No nó EmptyAceStepLatentAudio:
   • Defina a duração desejada em segundos (30.0 é o padrão)
   • Defina batch_size
4. Clique no botão Run para executar o workflow ACE-Step
5. No nó SaveAudio: ouça ou salve sua música gerada

Workflow Central de Geração ACE-Step

• Melhor para: Criar música original a partir de descrições textuais e letras
• Características:
  • Geração rápida (15× mais rápido do que alternativas LLM)
  • Forte coerência e qualidade musical
  • Controle flexível de duração

Workflows Especializados ACE-Step (baseados em LoRA)

• Lyric2Vocal: Modelo ACE-Step ajustado para gerar vocais de alta qualidade a partir de letras
• Text2Samples: Variante especializada do ACE-Step para produzir loops e samples instrumentais
• RapMachine: Modelo ACE-Step otimizado para geração de rap com vários estilos

3.2 Referência de Parâmetros para ComfyUI ACE-Step

Nó TextEncodeAceStepAudio: Este nó processa entradas de texto para guiar a geração de música do ACE-Step.

• clip: Campo de texto para descrições de estilo, gêneros e humor
• lyrics: Campo de texto para letras de músicas com tags de estrutura opcionais
• lyrics_strength: Controla o quão fortemente as letras influenciam a geração (padrão: 1.00)

Nó KSampler: Controla o processo de amostragem de difusão no ACE-Step.

• seed: Define a semente de randomização para resultados reprodutíveis
• control_after_generate: Opções para o comportamento da semente após a geração
• steps: Número de passos de difusão (maior = mais refinamento)
• cfg: Escala de orientação sem classificador (maior = mais aderência ao prompt)
• sampler_name: Algoritmo usado para amostragem (res_multistep recomendado)
• scheduler: Tipo de cronograma de ruído (simple recomendado)
• denoise: Controla o nível de remoção de ruído (1.00 é a desnoização completa)

Nó EmptyAceStepLatentAudio: Inicializa o espaço de geração de áudio.

• seconds: Duração do áudio gerado em segundos
• batch_size: Número de samples a serem gerados simultaneamente

Nó VAEDecodeAudio: Decodifica representações latentes em formato audível.

• samples: Entrada do KSampler
• vae: Modelo VAE usado para decodificação

Nó SaveAudio: Produz o resultado final do áudio ACE-Step.

• filename_prefix: Prefixo para arquivos de áudio salvos
• audio: Player para pré-visualização do áudio gerado

3.3. Técnicas Avançadas com ComfyUI ACE-Step

Geração de Variações:

• Ajuste o parâmetro de variância para controlar a similaridade com as gerações originais do ACE-Step
• Maior variância cria saídas mais divergentes enquanto preserva os elementos musicais centrais

Repainting:

• Regenerar seletivamente seções específicas do áudio enquanto preserva o restante
• Útil para corrigir segmentos problemáticos sem alterar toda a composição

Edição de Letras no ACE-Step:

• Modifique letras enquanto mantém a melodia, timbre vocal e acompanhamento
• Suporta edição em vários idiomas enquanto preserva a estrutura musical

Clonagem de Voz:

• Preserva características vocais enquanto gera novo conteúdo com ACE-Step
• Pode ser combinado com edição de letras para performances vocais flexíveis

Transferência de Estilo:

• Aplique novos estilos musicais a composições existentes
• Mantém a estrutura musical central enquanto adota características de gênero diferentes

3.4. Dicas de Prompt para ACE-Step:

Para Música Geral:

• Seja específico sobre gênero, humor e instrumentação nos prompts do ACE-Step
• Exemplos de prompts: "electronic, rock, pop" ou "funk, pop, soul, melodic"
• Prompts mais detalhados: "dark, death rock, metal, hardcore, electric guitar, powerful, bass, drums, 110 bpm, G major"

Para Música Instrumental:

• Especifique instrumentos e características musicais
• Exemplos de prompts: "saxophone, jazz" ou "violin, solo, fast tempo"
• Prompts mais detalhados: "sonata, piano, Violin, B Flat Major, allegro"

Para Suporte Multilíngue:

• O ACE-Step funciona melhor com: English, Chinese, Russian, Spanish, Japanese, German, French, Portuguese, Italian, Korean
• Idiomas com script não-latino como Chinese, Japanese e Korean são bem suportados

Mais Informações sobre o ACE-Step

Para detalhes adicionais e referências de desenvolvimento:

• Modelo original ACE-Step por
• Desenvolvedores do modelo: Junmin Gong, Sean Zhao, Sen Wang, Shengyuan Xu, e Joe Guo

Agradecimentos

Este fluxo de trabalho é alimentado por ACE-Step, co-desenvolvido por ACE Studio e StepFun. A integração ComfyUI ACE-Step permite geração de música sem interrupções no ambiente ComfyUI. Todo o crédito vai para os autores originais por seu trabalho inovador no ACE-Step.