MMAudio | Video a Audio

Los nodos de y su flujo de trabajo asociado son completamente desarrollados por Kijai. Damos todo el crédito a Kijai por este trabajo innovador. En la plataforma RunComfy, simplemente presentamos las contribuciones de Kijai a la comunidad. Es importante señalar que actualmente no existe ninguna conexión o asociación formal entre RunComfy y Kijai. ¡Apreciamos profundamente el trabajo de Kijai!

MMAudio

MMAudio es una herramienta poderosa para crear audio sincronizado a partir de entradas de video y texto. Utiliza entrenamiento conjunto multimodal para aprender de diversos conjuntos de datos audiovisuales y de audio-texto, asegurando una adaptabilidad excepcional. Con su avanzado módulo de sincronización, alinea perfectamente el audio con los fotogramas de video. MMAudio revoluciona la generación de audio, agilizando el proceso para creadores e innovadores por igual.

1.1 ¿Cómo usar el flujo de trabajo de MMAudio?

Este es el flujo de trabajo de MMAudio, los nodos del lado izquierdo son entradas para cargar video, el medio es el procesamiento de nodos de MMAudio, y el derecho es el nodo de salidas.

• Carga tu video en los nodos de entrada.
• Escribe tus indicaciones para la generación de audio.
• ¡Haz clic en Renderizar!

1.2 Entrada de Video

• Haz clic y carga tu video de referencia.

El video está configurado para reducir la resolución a ?*512 ya que procesar video HD o videos más largos puede agotar la memoria.

1.3 Procesamiento de MMAudio

• Positivo: Ingresa las indicaciones de generación de video para el audio.
• Negativo: Ingresa lo que no quieres escuchar.
• Pasos: Más pasos pueden mejorar la calidad del audio.

1.4 Modelos de MMAudio

Estos son los nodos de descarga de modelos, descargará automáticamente modelos en tu comfyui en 2-3 minutos.

• Modelos MMAudio: https://github.com/hkchengrex/MMAudio

Con su innovador entrenamiento multimodal y sincronización precisa, MMAudio establece un nuevo estándar en la generación de audio. Ya sea que estés creando videos, animaciones o experiencias inmersivas, MMAudio empodera a los creadores con audio de alta calidad y sin interrupciones. Eleva tus proyectos y da vida a tus ideas con MMAudio.