community/infinite-talk/image-to-video

Introducción a InfiniteTalk

Puedes usar InfiniteTalk para transformar una imagen de retrato y un clip de audio en un video hablado natural, sincronizado con los labios. Impulsado por el modelo MultiTalk y la arquitectura WanVideo 2.1 I2V GGUF, ofrece un movimiento facial expresivo mientras mantiene la identidad y el estilo del sujeto, ideal para crear clips sociales, doblajes o actualizaciones de avatares.

InfiniteTalk te permite convertir fotos estáticas en videos de retrato expresivos impulsados por el habla. Está diseñado para creadores, estrategas de contenido y desarrolladores que buscan avatares parlantes fluidos con un movimiento de boca preciso y sincronizado con el audio. Los resultados son clips que conservan la semejanza del personaje mientras añaden gestos naturales y sincronización vocal.

Modelos Clave para InfiniteTalk

Wan2.1-MultiTalk (GGUF, variante InfiniteTalk)

La variante MultiTalk de InfiniteTalk gestiona el movimiento de labios y mandíbula sensible a los fonemas a partir del audio del habla, garantizando una animación de cabeza parlante altamente sincronizada. Rastrea el ritmo natural del discurso y permite una entrega expresiva mientras mantiene la estabilidad del rostro. Puedes obtener más información sobre su origen en MeiGen-AI/MultiTalk.

WanVideo 2.1 I2V 14B (GGUF)

WanVideo 2.1 I2V 14B es el generador central de imagen a video que anima retratos mientras conserva la semejanza, la pose y la iluminación. Está optimizado en formato GGUF para garantizar compatibilidad y calidad. Los pesos recomendados están disponibles en city96/Wan2.1-I2V-14B-480P-gguf.

Wav2Vec2 (Tencent GameMate)

Este modelo de audio extrae representaciones de voz robustas a partir de grabaciones de voz sin procesar. Mejora la sincronización natural y la prosodia cuando se envía a MultiTalk para la guía de animación. Está disponible públicamente en TencentGameMate/chinese-wav2vec2-base.

Cómo usar InfiniteTalk

Entradas requeridas

Debes proporcionar tres entradas principales: una Imagen mediante la entrada Image, un archivo de Audio a través de Audio, y un Prompt utilizando el control de texto Prompt. Estas permiten a InfiniteTalk fijar la identidad de la imagen, capturar las dinámicas del discurso y aplicar matices de estilo para el video hablado resultante.

Entradas y controles opcionales

Puedes ajustar los parámetros de Width y Height para establecer las dimensiones del video según tus preferencias, garantizando un equilibrio entre rendimiento y detalle. Parámetros como Seed, Steps y Shift brindan control adicional sobre cómo se genera la animación, mientras que Frames Per Second (FPS) asegura una reproducción fluida.

Salidas

InfiniteTalk genera videos que combinan tu retrato y audio. La salida de Video está regida por el valor de Frames Per Second, produciendo una experiencia consistente, como 25 fps de forma predeterminada. El resultado es un clip de retrato hablado fluido que coincide con la voz y la identidad visual.

Mejores prácticas

Para obtener los mejores resultados, utiliza un retrato nítido con iluminación uniforme en la entrada Image y un audio de voz claro en Audio. Mantén el Prompt conciso para describir el tono o el estilo del movimiento. Comienza con valores estándar de Width y Height y un número moderado de Steps para obtener vistas previas rápidas; luego ajusta los parámetros para lograr una calidad superior una vez satisfecho con los resultados.