MMAudio | Vidéo-à-Audio

Les nœuds et son flux de travail associé sont entièrement développés par Kijai. Nous rendons tout le crédit à Kijai pour ce travail innovant. Sur la plateforme RunComfy, nous présentons simplement les contributions de Kijai à la communauté. Il est important de noter qu'il n'y a actuellement aucune connexion formelle ou partenariat entre RunComfy et Kijai. Nous apprécions profondément le travail de Kijai !

MMAudio

MMAudio est un outil puissant pour créer de l'audio synchronisé à partir d'entrées vidéo et texte. Il utilise un entraînement conjoint multimodal pour apprendre à partir de divers ensembles de données audio-visuels et audio-texte, assurant une adaptabilité exceptionnelle. Avec son module de synchronisation avancé, il aligne parfaitement l'audio aux images vidéo. MMAudio révolutionne la génération audio, simplifiant le processus pour les créateurs et innovateurs.

1.1 Comment utiliser le flux de travail MMAudio ?

Voici le flux de travail MMAudio, les nœuds de gauche sont les entrées pour télécharger la vidéo, le milieu est le traitement des nœuds MMAudio, et à droite se trouve le nœud des sorties.

• Téléchargez votre vidéo dans les nœuds d'entrée.
• Rédigez vos invites de génération audio.
• Cliquez sur Rendu !!!

1.2 Entrée Vidéo

• Cliquez et téléchargez votre vidéo de référence.

La vidéo est configurée pour réduire la résolution à ?*512 car le traitement de vidéos HD ou plus longues peut entraîner un manque de mémoire.

1.3 Traitement MMAudio

• Positif : Entrez les invites de génération de vidéo pour l'audio.
• Négatif : Entrez ce que vous ne voulez pas entendre.
• Étapes : Plus d'étapes peuvent améliorer la qualité audio.

1.4 Modèles MMAudio

Ce sont les nœuds de téléchargement de modèles, ils téléchargeront automatiquement les modèles dans votre comfyui en 2-3 minutes.

• Modèles MMAudio : https://github.com/hkchengrex/MMAudio

Avec son entraînement multimodal innovant et sa synchronisation précise, MMAudio établit une nouvelle norme dans la génération audio. Que vous réalisiez des vidéos, des animations ou des expériences immersives, MMAudio permet aux créateurs de disposer d'un audio fluide et de haute qualité. Élevez vos projets et donnez vie à vos idées avec MMAudio.