Die ComfyUI-MMAudio Knoten und der zugehörige Workflow wurden vollständig von Kijai entwickelt. Wir geben Kijai alle gebührende Anerkennung für diese innovative Arbeit. Auf der RunComfy-Plattform präsentieren wir lediglich Kijai’s Beiträge zur Community. Es ist wichtig zu beachten, dass derzeit keine formelle Verbindung oder Partnerschaft zwischen RunComfy und Kijai besteht. Wir schätzen Kijai’s Arbeit sehr!
MMAudio#
MMAudio ist ein leistungsstarkes Werkzeug zur Erstellung von synchronisiertem Audio aus Video- und Texteingaben. Es nutzt multimodales gemeinsames Training, um aus vielfältigen audio-visuellen und audio-textuellen Datensätzen zu lernen und so außergewöhnliche Anpassungsfähigkeit sicherzustellen. Mit seinem fortschrittlichen Synchronisationsmodul richtet es Audio perfekt an Videoframes aus. MMAudio revolutioniert die Audiogenerierung und rationalisiert den Prozess sowohl für Kreative als auch für Innovatoren.
1.1 Wie verwendet man den MMAudio-Workflow?#
Dies ist der MMAudio-Workflow. Die Knoten auf der linken Seite sind Eingaben zum Hochladen von Videos, die mittleren sind die Verarbeitungsknoten von MMAudio, und rechts sind die Ausgabeknoten.
- Laden Sie Ihr Video in den Eingabeknoten hoch.
- Schreiben Sie Ihre Audiogenerierungsaufforderungen.
- Klicken Sie auf Rendern!!!
1.2 Videoeingabe#
- Klicken Sie und laden Sie Ihr Referenzvideo hoch.
Das Video wird auf eine Auflösung von ?*512 herunterskaliert, da die Verarbeitung von HD-Videos oder längeren Videos möglicherweise den Speicher überlastet.
1.3 MMAudio-Verarbeitung#
Positive: Geben Sie die Videoerzeugungsaufforderungen für das Audio ein.Negative: Geben Sie ein, was Sie nicht hören möchten.Steps: Mehr Schritte können die Audioqualität verbessern.
1.4 MMAudio-Modelle#
Dies sind die Modell-Downloader-Knoten. Sie laden Modelle automatisch in Ihr ComfyUI in 2-3 Minuten herunter.
- MMAudio-Modelle : https://github.com/hkchengrex/MMAudio
Mit seinem innovativen multimodalen Training und präziser Synchronisation setzt MMAudio einen neuen Standard in der Audiogenerierung. Egal, ob Sie Videos, Animationen oder immersive Erlebnisse erstellen, MMAudio befähigt Kreative mit nahtlosem, hochwertigem Audio. Heben Sie Ihre Projekte auf ein neues Niveau und erwecken Sie Ihre Ideen mit MMAudio zum Leben.