Sonic | 唇同步肖像动画
更新于 2025/6/16:ComfyUI 版本更新至 v0.3.39,以提高稳定性和兼容性。Sonic 通过利用全球音频感知,彻底改变了肖像动画,实现了更流畅、更富表现力的面部动作。通过捕捉完整的音频背景,Sonic 确保了栩栩如生、情感共鸣的动画,超越了基于音素的方法。体验下一代肖像动画,就在 Sonic。ComfyUI Sonic 工作流程
ComfyUI Sonic 示例
ComfyUI Sonic 描述
ComfyUI Sonic 通过利用全球音频感知重新定义了肖像动画,实现超逼真的面部动作和表情。不同于传统方法,它捕捉了超越音素的完整语音背景,以生成流畅、情感丰富的动画。借助尖端的AI技术,Sonic 确保了声音与视觉的无缝同步,使角色以无与伦比的真实感栩栩如生。通过 Sonic 提升您的动画效果,让每个表情都充满生命力。
1.1 如何使用 Sonic 工作流?
左侧节点是您的音频和头像图像输入。中间的是 Sonic 处理节点。右侧是用于输出视频的视频合并节点。
请按照以下步骤操作:
- 输入您的头像图像,该图像将用于可视化音频中的对话。
- 输入您的音频,以生成插入图像的音频驱动配音。
- 点击 Queue Prompt!!
完成!您的渲染视频将存储在 Outputs 文件夹中。
Sonic 的优点和缺点:
优点:
- Sonic 生成高度逼真且富有表现力的音频驱动肖像动画。
- Sonic 使用 SVD,因此帧之间没有闪烁。
- 一致性优于之前发布的 audio2video 模型。
缺点:
- 由于 Sonic 使用 SVD,远景或全身镜头可能难以正确投射面部的声音。
- 侧面视角的面孔或复杂角度的面孔可能会产生失真结果。
1.2 Sonic 音频和视频输入
- 在加载音频节点中上传您的音频(对话或人声)
- 在加载图像节点中上传您的图像(人物的特写或中景)
1.3 Sonic 处理节点
ComfyUI Sonic 在后台使用 SVD 模型 进行处理,因此结果和设置是根据 SVD 模型的。 这些设置已调至最佳,无需更改。
- 如果有变形或手部失真等伪影,将
min resolution
保持在 768 或以下。
Sonic 通过专注于全球音频感知,改变了肖像动画的方式,实现了无缝、栩栩如生的表情。通过捕捉语音的全部深度,它创造出自然、富有情感且引人入胜的动画。无论是讲故事、虚拟头像还是内容创作,Sonic 都提供无与伦比的真实感。踏入动画的未来,与 Sonic 一起,让每一个词语都栩栩如生。