MMAudio | Video-to-Audio
MMAudio 以無與倫比的精度從視頻和文本輸入中生成同步音頻。通過多模態聯合訓練,它無縫適應多樣的音視頻和音文本數據集。其先進的同步模塊確保完美對齊,為現代內容需求轉變音頻創作。ComfyUI MMAudio 工作流程
ComfyUI MMAudio 範例
ComfyUI MMAudio 說明
The 節點及其相關工作流程完全由 Kijai 開發。我們將所有榮譽歸於 Kijai,感謝他這一創新工作。在 RunComfy 平台上,我們僅是將 Kijai 的貢獻呈現給社區。目前需要注意的是,RunComfy 與 Kijai 之間並不存在正式的聯繫或合作。我們深深感謝 Kijai 的工作!
MMAudio
MMAudio 是一個強大的工具,可以從視頻和文本輸入中創建同步音頻。它利用多模態聯合訓練從多樣的音視頻和音文本數據集中學習,以確保卓越的適應性。其先進的同步模塊可以將音頻完美對齊到視頻幀。MMAudio 革新了音頻生成,簡化了創作者和創新者的流程。
1.1 如何使用 MMAudio 工作流程?
這是 MMAudio 的工作流程,左側節點是上傳視頻的輸入,中間是處理 MMAudio 節點,右側是輸出節點。
- 在輸入節點上傳您的視頻。
- 撰寫您的音頻生成提示。
- 點擊渲染!!!
1.2 視頻輸入
- 點擊並上傳您的參考視頻。
視頻設置為將視頻降尺度至 ?*512 分辨率,因為處理高清視頻或較長視頻可能會耗盡內存。
1.3 MMAudio 處理
Positive
:輸入音頻的視頻生成提示。Negative
:輸入您不想聽到的內容。Steps
:更多步驟可能改善音頻質量。
1.4 MMAudio 模型
這些是模型下載節點,它將在 2-3 分鐘內自動下載模型到您的 comfyui。
- MMAudio 模型:https://github.com/hkchengrex/MMAudio
憑藉其創新的多模態訓練和精確的同步,MMAudio 在音頻生成方面樹立了新的標準。無論您是在創作視頻、動畫還是沉浸式體驗,MMAudio 為創作者提供無縫、高品質的音頻。提升您的項目,讓您的創意成為現實,使用 MMAudio。