Los nodos de ComfyUI-MMAudio y su flujo de trabajo asociado son completamente desarrollados por Kijai. Damos todo el crédito a Kijai por este trabajo innovador. En la plataforma RunComfy, simplemente presentamos las contribuciones de Kijai a la comunidad. Es importante señalar que actualmente no existe ninguna conexión o asociación formal entre RunComfy y Kijai. ¡Apreciamos profundamente el trabajo de Kijai!
MMAudio#
MMAudio es una herramienta poderosa para crear audio sincronizado a partir de entradas de video y texto. Utiliza entrenamiento conjunto multimodal para aprender de diversos conjuntos de datos audiovisuales y de audio-texto, asegurando una adaptabilidad excepcional. Con su avanzado módulo de sincronización, alinea perfectamente el audio con los fotogramas de video. MMAudio revoluciona la generación de audio, agilizando el proceso para creadores e innovadores por igual.
1.1 ¿Cómo usar el flujo de trabajo de MMAudio?#
Este es el flujo de trabajo de MMAudio, los nodos del lado izquierdo son entradas para cargar video, el medio es el procesamiento de nodos de MMAudio, y el derecho es el nodo de salidas.
- Carga tu video en los nodos de entrada.
- Escribe tus indicaciones para la generación de audio.
- ¡Haz clic en Renderizar!
1.2 Entrada de Video#
- Haz clic y carga tu video de referencia.
El video está configurado para reducir la resolución a ?*512 ya que procesar video HD o videos más largos puede agotar la memoria.
1.3 Procesamiento de MMAudio#
Positivo: Ingresa las indicaciones de generación de video para el audio.Negativo: Ingresa lo que no quieres escuchar.Pasos: Más pasos pueden mejorar la calidad del audio.
1.4 Modelos de MMAudio#
Estos son los nodos de descarga de modelos, descargará automáticamente modelos en tu comfyui en 2-3 minutos.
- Modelos MMAudio: https://github.com/hkchengrex/MMAudio
Con su innovador entrenamiento multimodal y sincronización precisa, MMAudio establece un nuevo estándar en la generación de audio. Ya sea que estés creando videos, animaciones o experiencias inmersivas, MMAudio empodera a los creadores con audio de alta calidad y sin interrupciones. Eleva tus proyectos y da vida a tus ideas con MMAudio.
