ComfyUI  >  工作流  >  ComfyUI LivePortrait 工作流程 | 动画肖像

ComfyUI LivePortrait 工作流程 | 动画肖像

这个 ComfyUI LivePortrait 工作流程通过集成高效的 LivePortrait 框架使静态肖像图像栩栩如生。它使您能够创建高度逼真的动画视频,完全控制面部表情、头部运动以及眼睛和嘴巴等细节。

ComfyUI LivePortrait Workflow

ComfyUI LivePortrait Workflow
想要运行这个工作流吗?
  • 完全可操作的工作流
  • 没有缺失的节点或模型
  • 无需手动设置
  • 具有惊艳的视觉效果

ComfyUI LivePortrait Examples

ComfyUI LivePortrait Description

什么是 LivePortrait?

LivePortrait 是由快手科技开发的高效肖像动画框架,旨在从单一来源图像合成逼真的视频。它使用来源图像作为外观参考,并从驱动视频、音频、文本或生成中派生运动(面部表情和头部姿势)。

与主流的基于扩散的方法不同,LivePortrait 探索并扩展了基于隐式关键点的框架,以有效平衡计算效率和可控性。它专注于更好的泛化性、可控性和实用效率。即使与扩散方法相比,LivePortrait 也具有高生成质量,同时速度极快——在 RTX 4090 GPU 上使用 PyTorch 每帧约 12.8 毫秒。

更多详情,请访问 LivePortrait

LivePortrait 的工作原理

在高层次上,LivePortrait 以来源图像和驱动视频为输入。它从来源图像中提取外观,从驱动视频中提取运动。这些然后通过扭曲和生成模块结合起来,合成一个保留来源图像身份但遵循驱动视频运动和表情的动画肖像视频。

LivePortrait 的关键组件是:

  1. 外观特征提取器:从来源图像中编码身份和外观信息。
  2. 运动提取器:从驱动视频帧中提取运动特征(面部关键点)。
  3. 扭曲模块:使用提取的运动扭曲来源图像特征,使其与驱动姿势和表情对齐。
  4. 图像生成器:采用扭曲后的特征合成最终的逼真动画帧。
  5. 拼接和重定目标模块:可选地将生成的肖像拼接回原图,并允许控制特定的面部区域,如眼睛和嘴巴。

这些模块设计高效,并协同工作以实现高质量、可控的 LivePortrait 动画。

如何使用 ComfyUI LivePortrait

感谢 kijai 的 ComfyUI-LivePortraitKJ 节点和工作流程,在 ComfyUI 中创建逼真的肖像动画变得更加容易。以下是他的 ComfyUI LivePortrait 工作流程的关键组件和参数的细分。

在 ComfyUI 中使用 LivePortrait

  1. 添加一个 "(Down)LoadLivePortraitModels" 节点以下载和加载预训练的 LivePortrait 模型。
    • 选择所需的精度(fp32、fp16 或自动)。
  2. 添加一个 "LivePortraitProcess" 节点并将其连接到模型节点。
    • 将您的来源图像和驱动视频帧连接到相应的输入。
    • 调整参数:
      • dsize:裁剪尺寸(默认:512)
      • scale:裁剪比例系数(默认:2.3)
      • vx_ratiovy_ratio:裁剪偏移比率(默认:0, -0.125)
      • lip_zero:当值接近 0 时嘴巴闭合(默认:True)
      • eye_retargeting:启用眼睛重定目标(默认:False)
      • lip_retargeting:启用嘴唇重定目标(默认:False)
      • stitching:将生成的肖像拼接回原图(默认:True)
      • relative:相对于锚定帧重定目标(默认:True)
      • onnx_device:用于 ONNX 面部裁剪的设备(CPU/CUDA,默认:CPU)
  3. "LivePortraitProcess" 节点输出裁剪生成的帧以及带背景的完整帧。

ComfyUI 中 LivePortrait 的一些关键参数

  • dsizescalevx_ratiovy_ratio 控制面部检测和裁剪。如果面部未正确检测并居中,请调整它们。
  • 启用 eye_retargeting 和 lip_retargeting 以允许对这些区域进行更精细的控制。重定目标使用隐式混合形状,并且相对于第一帧。
  • lip_zero 在驱动运动值接近零时将嘴巴夹闭。对于中性参考帧很有用。
  • 启用 stitching 将生成的肖像粘贴回原图。禁用则仅输出面部裁剪图像。

请注意,Insightface 模型已集成在此 ComfyUI LivePortrait 工作流程中。Insightface 模型(https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip)许可证性质为非商业用途。

想要更多 ComfyUI 工作流吗?

RunComfy

© 版权 2024 RunComfy. 保留所有权利。

RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。