community/infinite-talk/image-to-video

Introduction d’InfiniteTalk

Vous pouvez utiliser InfiniteTalk pour transformer une simple photo portrait et un clip audio en une vidéo parlante naturelle et synchronisée sur les mouvements des lèvres. Propulsé par le modèle MultiTalk et basé sur l’architecture WanVideo 2.1 I2V GGUF, il offre des mouvements du visage expressifs tout en préservant l’identité et le style du sujet — idéal pour créer des clips sociaux, des doublages ou des avatars mis à jour.

InfiniteTalk vous permet de donner vie à des photos statiques en vidéos de portrait animées par la parole. Il a été conçu pour les créateurs, les stratèges de contenu et les développeurs souhaitant obtenir des avatars parlants fluides, avec une synchronisation labiale fidèle à l’audio. Les résultats conservent la ressemblance du personnage tout en ajoutant des gestes naturels et une synchronisation vocale réaliste.

Modèles clés utilisés par InfiniteTalk

Wan2.1-MultiTalk (GGUF, variante InfiniteTalk)

La variante MultiTalk d’InfiniteTalk génère des mouvements de lèvres et de mâchoire sensibles aux phonèmes à partir de l’audio vocal, garantissant une animation de tête parlante hautement synchronisée. Elle suit le rythme naturel de la parole et prend en charge une expressivité riche, tout en maintenant la stabilité du visage. Pour en savoir plus sur ses origines, consultez MeiGen-AI/MultiTalk.

WanVideo 2.1 I2V 14B (GGUF)

WanVideo 2.1 I2V 14B est le générateur d’images vers vidéo principal qui anime les portraits tout en conservant la ressemblance, la pose et l’éclairage. Il est optimisé au format GGUF pour garantir compatibilité et qualité. Les poids recommandés sont disponibles sur city96/Wan2.1-I2V-14B-480P-gguf.

Wav2Vec2 (Tencent GameMate)

Ce modèle audio extrait des représentations vocales robustes à partir d’enregistrements bruts. Il améliore la synchronisation et la prosodie naturelles lorsqu’il est transmis à MultiTalk pour guider l’animation. Il est disponible publiquement sur TencentGameMate/chinese-wav2vec2-base.

Comment utiliser InfiniteTalk

Entrées requises

Vous devez fournir trois entrées principales : une Image via le champ Image, un fichier Audio, et un Prompt à l’aide du contrôle de texte. Ces éléments permettent à InfiniteTalk de verrouiller l’identité visuelle, de capturer la dynamique vocale et d’appliquer des indications stylistiques pour la vidéo parlante produite.

Entrées et contrôles optionnels

Vous pouvez ajuster les entrées Width et Height pour définir les dimensions de la vidéo selon vos préférences, assurant un bon équilibre entre performance et niveau de détail. Les paramètres tels que Seed, Steps et Shift offrent un contrôle supplémentaire sur la manière dont l’animation est générée, tandis que Frames Per Second (FPS) garantit une lecture fluide.

Sorties

InfiniteTalk génère des vidéos associant votre portrait et votre audio. La sortie Video est régie par le paramètre Frames Per Second, produisant une expérience cohérente — par exemple, 25 fps par défaut. Le résultat est un portrait parlant fluide, fidèle à la fois à la voix et à l’image d’origine.

Bonnes pratiques

Pour des résultats optimaux, utilisez un portrait net avec un éclairage uniforme dans le champ Image, et un enregistrement vocal clair dans le champ Audio. Gardez le Prompt concis afin de décrire le ton ou le style des mouvements. Commencez avec des valeurs standard pour la largeur, la hauteur et un nombre de pas modéré pour des aperçus rapides, puis ajustez ces paramètres pour une qualité supérieure une fois satisfait du rendu.