I nodi ComfyUI-MMAudio e il relativo flusso di lavoro sono interamente sviluppati da Kijai. Diamo tutto il merito a Kijai per questo lavoro innovativo. Sulla piattaforma RunComfy, stiamo semplicemente presentando i contributi di Kijai alla comunità. È importante notare che attualmente non esiste alcuna connessione o partnership formale tra RunComfy e Kijai. Apprezziamo profondamente il lavoro di Kijai!
MMAudio#
MMAudio è uno strumento potente per creare audio sincronizzato da input video e testuali. Utilizza un addestramento congiunto multimodale per apprendere da diversi dataset audio-visivi e audio-testuali, garantendo un'eccezionale adattabilità. Con il suo modulo di sincronizzazione avanzato, allinea perfettamente l'audio ai fotogrammi video. MMAudio rivoluziona la generazione audio, semplificando il processo per creatori e innovatori.
1.1 Come usare il flusso di lavoro MMAudio?#
Questo è il flusso di lavoro MMAudio, i nodi a sinistra sono input per caricare video, al centro ci sono i nodi di elaborazione MMAudio, e a destra c'è il nodo di output.
- Carica il tuo video nei nodi di input.
- Scrivi i tuoi prompt di generazione audio.
- Clicca su Renderizza!!!
1.2 Input video#
- Clicca e carica il tuo video di riferimento.
Il video è impostato per ridimensionare il video a risoluzione ?*512 poiché l'elaborazione di video HD o video più lunghi potrebbe esaurire la memoria.
1.3 Elaborazione MMAudio#
Positive: Inserisci i prompt di generazione video per l'audio.Negative: Inserisci ciò che non vuoi sentire.Steps: Più passi possono migliorare la qualità audio.
1.4 Modelli MMAudio#
Questi sono i nodi downloader dei modelli, scaricherà automaticamente i modelli nel tuo comfyui in 2-3 minuti.
- Modelli MMAudio : https://github.com/hkchengrex/MMAudio
Con il suo innovativo addestramento multimodale e la sincronizzazione precisa, MMAudio stabilisce un nuovo standard nella generazione audio. Che tu stia creando video, animazioni o esperienze immersive, MMAudio offre ai creatori un audio fluido e di alta qualità. Eleva i tuoi progetti e dai vita alle tue idee con MMAudio.