InfiniteTalk: 高精度リップシンクで写真から話す映像を作成 | 画像から動画へ

InfiniteTalk の紹介

InfiniteTalk を使うと、1枚のポートレート画像と音声クリップから、自然で唇の動きが音声と同期したトーキング動画を生成できます。MultiTalk モデルと WanVideo 2.1 I2V GGUF バックボーンによって駆動され、表情豊かな顔の動きを保ちながら、人物の特徴やスタイルを維持します。ソーシャルメディア用の動画クリップ、吹き替え、アバター更新などに理想的です。

InfiniteTalk は、静止画像を音声に基づいた表情豊かなポートレート動画に変換します。正確な口の動きと自然な発話同期を備えた流暢なトーキングアバターを求めるクリエイター、コンテンツプランナー、開発者向けに設計されています。生成結果は、人物の印象を保ちながら自然なジェスチャーと音声のタイミングを実現します。

InfiniteTalk の主要モデル

Wan2.1-MultiTalk（GGUF, InfiniteTalk バリアント）

MultiTalk InfiniteTalk バリアントは、音声データから音素に応じた口や顎の動きを生成し、高精度な発話同期アニメーションを実現します。自然な発話のタイミングをトラッキングし、顔の安定性を保ちながら表情豊かな動きをサポートします。その起源については MeiGen-AI/MultiTalk をご覧ください。

WanVideo 2.1 I2V 14B（GGUF）

WanVideo 2.1 I2V 14B はポートレートをアニメーション化する中核となる画像-動画生成モデルで、人物の特徴、ポーズ、照明を保ちながら動きを与えます。GGUF 形式に最適化され、互換性と品質が向上しています。推奨ウェイトは city96/Wan2.1-I2V-14B-480P-gguf で公開されています。

Wav2Vec2（Tencent GameMate）

この音声モデルは、音声録音から堅牢な音声表現を抽出します。MultiTalk に渡すことで自然な同期とイントネーションを強化し、アニメーションをより滑らかにします。モデルは TencentGameMate/chinese-wav2vec2-base で一般公開されています。

InfiniteTalk の使い方

必要な入力

InfiniteTalk を使用するには、3つの主要な入力が必要です。 Image 入力に画像、Audio に音声ファイル、Prompt にテキストプロンプトを指定します。これらの入力によって、画像の識別情報を保持し、音声のダイナミクスを捉え、スタイル的な指示を与えてトーキング動画を生成します。

オプション入力とコントロール

Width および Height 入力を調整して、希望する動画のサイズを設定できます。パフォーマンスとディテールのバランスを取りながら生成できます。さらに、Seed、Steps、Shift などのパラメータを使ってアニメーション生成の挙動をコントロールできます。Frames Per Second（FPS） は再生の滑らかさを決定します。

出力

InfiniteTalk は、ポートレート画像と音声を組み合わせた動画を出力します。Frames Per Second によって動画の再生速度が設定され、デフォルトでは例えば 25 fps の一貫した再生が行われます。結果として、音声と映像が自然に一致した流れるようなトーキングポートレート動画が得られます。

ベストプラクティス

最良の結果を得るためには、Image 入力には照明が均一な鮮明なポートレートを使用し、Audio にはクリアな音声を用意してください。Prompt はトーンや動きのスタイルを簡潔に記述しましょう。まずは標準的な Width および Height 値と控えめな Steps でプレビューを行い、満足できる結果になったら、より高品質な出力に向けてパラメータを調整してください。