Sonic | リップシンク・ポートレートアニメーション

ComfyUI Sonicは、グローバルな音声認識を活用して超現実的な顔の動きと表情を実現することで、ポートレートアニメーションを再定義します。従来の方法とは異なり、音素を超えたスピーチの完全なコンテキストを捉えることで、流動的で感情豊かなアニメーションを生成します。最先端のAI技術を使用して、Sonicは声と映像の間のシームレスな同期を保証し、キャラクターに無比のリアリズムで命を吹き込みます。Sonicでアニメーションを高め、すべての表現を本当に生き生きと感じさせましょう。

1.1 Sonic ワークフローの使用方法

左側のノードはオーディオとアバター画像の入力です。中央のノードはSonic処理ノードです。右側はビデオを出力するためのビデオ結合ノードです。

次の手順に従ってください:

1. オーディオからの対話を視覚化するために使用されるアバター画像を入力します。
2. 挿入された画像の音声駆動型のナレーションを生成するためにオーディオを入力します。
3. キュー プロンプトをクリック!!

完了です！レンダリングされたビデオはOutputsフォルダに保存されます。

Sonic の強みと弱点:

強み:

• Sonicは、音声駆動型で非常にリアルで表現力豊かなポートレートアニメーションを生成します。
• SonicはSVDを使用しているため、フレーム間にちらつきはありません。
• 一貫性は以前に公開されたaudio2videoモデルよりも優れています。

弱点:

• SonicはSVDを使用しているため、遠距離または全身のショットでは顔にボーカルを適切に投影するのが難しい場合があります。
• 側面の顔や複雑な角度の顔は、歪んだ結果をもたらす可能性があります。

1.2 Sonic オーディオとビデオの入力

• オーディオをロードオーディオノードにアップロードします（対話またはボーカル）
• 画像をロード画像ノードにアップロードします（人物のクローズアップまたは中距離ショット）

1.3 Sonic 処理ノード

ComfyUI Sonic は、処理のためにSVDモデルを使用しているため、結果と設定はSVDモデルに基づいています。 これらの設定は最適に設定されており、変更する必要はありません。

• min resolution を 768 近くまたはそれ以下に保ち、変形や歪んだ手のようなアーティファクトがある場合に対応します。

Sonicは、グローバルな音声認識に焦点を当てることでポートレートアニメーションを変革し、シームレスで生命感あふれる表現を実現します。スピーチの完全な深さを捉えることで、自然で感情豊かで魅力的なアニメーションを作成します。ストーリーテリング、バーチャルアバター、コンテンツ作成のために、Sonicは無比のリアリズムを提供します。Sonicとともにアニメーションの未来に踏み出しましょう—すべての言葉が命を吹き込まれます。