Os nós ComfyUI-MMAudio e seu fluxo de trabalho associado são totalmente desenvolvidos por Kijai. Damos todo o crédito a Kijai por este trabalho inovador. Na plataforma RunComfy, estamos simplesmente apresentando as contribuições de Kijai à comunidade. É importante notar que atualmente não há conexão formal ou parceria entre RunComfy e Kijai. Apreciamos profundamente o trabalho de Kijai!
MMAudio
MMAudio é uma ferramenta poderosa para criar áudio sincronizado a partir de entradas de vídeo e texto. Utiliza treinamento conjunto multimodal para aprender com diversos conjuntos de dados de áudio-visual e áudio-texto, garantindo adaptabilidade excepcional. Com seu módulo de sincronização avançado, alinha perfeitamente o áudio aos quadros de vídeo. MMAudio revoluciona a geração de áudio, simplificando o processo para criadores e inovadores.
1.1 Como Usar o Fluxo de Trabalho do MMAudio?
Este é o fluxo de trabalho do MMAudio, os nós do lado esquerdo são entradas para upload de vídeo, o meio é o processamento dos nós do MMAudio, e o lado direito é o nó de saída.
- Carregue seu vídeo nos nós de entrada.
- Escreva suas sugestões de geração de áudio.
- Clique em Renderizar !!!
1.2 Entrada de Vídeo
- Clique e carregue seu vídeo de referência.
O vídeo é configurado para reduzir a escala do vídeo para resolução ?*512, pois processar vídeo em HD ou vídeo mais longo pode esgotar a memória.
1.3 Processamento do MMAudio
Positivo: Insira as sugestões de geração de vídeo para o áudio.Negativo: Insira o que você não quer ouvir.Passos: Mais passos podem melhorar a qualidade do áudio.
1.4 Modelos do MMAudio
Estes são os nós de download de modelo, ele fará o download automático dos modelos no seu comfyui em 2-3 minutos.
- Modelos MMAudio: https://github.com/hkchengrex/MMAudio
Com seu treinamento multimodal inovador e sincronização precisa, o MMAudio estabelece um novo padrão na geração de áudio. Seja criando vídeos, animações ou experiências imersivas, o MMAudio capacita criadores com áudio perfeito e de alta qualidade. Eleve seus projetos e dê vida às suas ideias com MMAudio.