Sonic | リップシンクポートレートアニメーション

ComfyUI Sonicは、グローバルオーディオ認識を利用して超リアルな顔の動きと表情を実現することで、ポートレートアニメーションを再定義します。従来の方法とは異なり、音素を超えたスピーチの完全なコンテキストを捉えて、流れるようで感情豊かなアニメーションを生成します。最先端のAI技術を用いて、Sonicは音声とビジュアルの間のシームレスな同期を保証し、キャラクターを比類のないリアリズムで生き生きとさせます。Sonicでアニメーションを高め、すべての表現を本当に生き生きと感じさせましょう。

ComfyUI Sonicノードと関連するワークフローはsmthemexによって開発されました。詳細については、smthemexのGitHubをご覧ください。

1.1 Sonicワークフローの使い方

左のノードはオーディオとアバター画像の入力です。中央のノードはSonic処理ノードです。右側はビデオ出力用のビデオ結合ノードです。

次のステップに従ってください:

1. オーディオからのダイアログを視覚化するために使用するアバター画像を入力します。
2. 挿入された画像のオーディオ駆動のボイスオーバーを生成するためにオーディオを入力します。
3. キュープロンプトをクリック!!

完了です！レンダリングされたビデオはOutputsフォルダに保存されます。

Sonicの強みと弱み:

強み:

• Sonicはオーディオ駆動の非常にリアルで表現力豊かなポートレートアニメーションを生成します。
• SonicはSVDを使用するため、フレーム間にちらつきがありません。
• 一貫性は、以前にリリースされたaudio2videoモデルよりも優れています。

弱み:

• SonicはSVDを使用するため、遠くのショットや全身ショットでは、顔にボーカルを適切に投影するのが難しい場合があります。
• 横顔や複雑な角度の顔では、歪んだ結果が出ることがあります。

1.2 Sonicオーディオとビデオ入力

• オーディオをload audio nodeにアップロードします（ダイアログまたはボーカル）
• 画像をLoad image nodeにアップロードします（人物のクローズアップまたは中距離ショット）

1.3 Sonic処理ノード

ComfyUI Sonicは、処理のためにSVD Modelを裏で使用しているため、結果と設定はSVDモデルに基づいています。 これらの設定は最適に設定されており、変更する必要はありません。

• min resolutionを768付近またはそれ以下に保ち、アーティファクトや歪んだ手がある場合に備えます。

Sonicは、グローバルオーディオ認識に焦点を当てることで、ポートレートアニメーションをシームレスで生命感のある表現に変えます。スピーチの深さを完全に捉えることで、自然で感情豊かで魅力的なアニメーションを作成します。ストーリーテリング、バーチャルアバター、コンテンツ作成のいずれであっても、Sonicは比類のないリアリズムを提供します。Sonicでアニメーションの未来に踏み出し、すべての言葉を生き生きとさせましょう。