Sonic | 嘴形同步肖像動畫

ComfyUI Sonic通過利用全球音頻感知重新定義肖像動畫，以實現超逼真的面部動作和表情。與傳統方法不同，它捕捉了語音的完整背景——超越音素——以生成流暢、情感豐富的動畫。憑藉尖端的AI技術，Sonic確保了語音與視覺之間的無縫同步，將角色以無與倫比的真實感帶入生活。提升您的動畫，讓每一個表情都感覺真實生動。

ComfyUI Sonic節點和相關工作流程由smthemex開發。欲了解更多資訊，請訪問smthemex的GitHub。

1.1 如何使用Sonic工作流程？

左側節點是您的音頻和頭像圖像輸入。中間的是Sonic處理節點。右側是用於輸出視頻的視頻合併節點。

請遵循以下步驟：

1. 輸入您的頭像圖像，該圖像將用於從音頻中可視化對話。
2. 輸入您的音頻，以生成插入圖像的音頻驅動旁白。
3. 點擊Queue Prompt！！

完成！您的渲染視頻將存儲在Outputs文件夾中。

Sonic的優勢與劣勢：

優勢：

• Sonic生成由音頻驅動的高度逼真且富有表現力的肖像動畫。
• Sonic使用SVD，因此幀之間不會閃爍。
• 與先前發布的audio2video模型相比，一致性更好。

劣勢：

• 由於Sonic使用SVD，遠距離或全身鏡頭可能難以正確將聲音投射到臉上。
• 側視臉或複雜角度的臉可能會給出失真結果。

1.2 Sonic音頻和視頻輸入

• 在加載音頻節點中上傳您的音頻（對話或聲音）
• 在加載圖像節點中上傳您的圖像（人物的特寫或中景）

1.3 Sonic處理節點

ComfyUI Sonic在底層使用SVD模型進行處理，因此結果和設置是根據SVD模型設定的。 這些設置已經設置為最佳狀態；沒有必要更改它們。

• 如果出現變形或失真手的問題，將最小分辨率保持在768或以下。

Sonic通過專注於全球音頻感知來改變肖像動畫，以實現無縫、逼真的表情。通過捕捉語音的完整深度，它創造出感覺自然、情感豐富且引人入勝的動畫。無論是講故事、虛擬化身還是內容創作，Sonic都提供無與倫比的真實感。進入動畫的未來，與Sonic一起——讓每一個字都變得栩栩如生。