ComfyUI  >  工作流  >  DiffuEraser | 视频修复

DiffuEraser | 视频修复

DiffuEraser 是一个新发布的视频修复扩散模型,可以用真实的内容重建删除的部分。它使用去噪 UNet、BrushNet 和时间注意力在帧之间保持自然运动和细节一致性。通过整合先验信息,减少噪声并抑制幻觉。RunComfy Crew 通过使用 Segment Anything 2 (SAM2) 自动生成遮罩来改进工作流,消除了手动操作的需要。只需上传电影,选择项目,让过程处理修复。DiffuEraser 不仅仅是擦除,它可以重建,轻松产生高质量的结果。

ComfyUI DiffuEraser 工作流程

DiffuEraser Workflow in ComfyUI | Video Inpainting with Automated Mask Generation
想要运行这个工作流吗?
  • 完全可操作的工作流
  • 没有缺失的节点或模型
  • 无需手动设置
  • 具有惊艳的视觉效果

ComfyUI DiffuEraser 示例

ComfyUI DiffuEraser 描述

ComfyUI DiffuEraser 视频修复工作流描述

什么是 ComfyUI DiffuEraser 工作流?

DiffuEraser 是一个尖端的视频修复解决方案,可以无缝去除视频中的不需要物体,同时保持时间一致性。利用强大的基于扩散的修复模型,DiffuEraser 用上下文准确的内容重建缺失区域。此工作流与 Segment Anything 2 (SAM2) 集成,实现自动遮罩生成,消除了手动创建遮罩的需要。

DiffuEraser 使用去噪 UNet 以及辅助的 BrushNet 分支,整合时间注意力以保持帧一致性。通过利用先验信息,它减少了幻觉和伪影,确保无瑕疵的物体去除。

Runcomfy Crew 通过点选择界面自动化遮罩创建,使用户能够标记需要去除的物体而无需手动创建遮罩。这极大地简化了修复工作流。

DiffuEraser 工作流的好处

  • 高质量的重建与自然场景融合。
  • 通过 SAM2 自动生成遮罩,减少手动工作。
  • 跨帧无缝修复的时间一致性。
  • 具有点基接口的灵活物体选择。
  • 以最少的用户输入实现专业级结果。
  • 通过利用先验信息抑制幻觉。
  • 兼容标准视频格式,便于集成。

如何使用 DiffuEraser 工作流

使用 DiffuEraser 去除物体

主要生成方法:SAM2 + DiffuEraser

DiffuEraser

  • 输入: 原始视频,通过点坐标选择帧中的物体
  • 最佳用途: 去除物体、人、水印或其他不需要的元素
  • 特点:
    • 使用 SAM2 自动生成遮罩
    • 产生高视觉保真度的自然修复
    • 确保所有帧的时间一致性
示例工作流
  1. 准备输入
    • Load Video Node: 上传您的源视频
    • Points Editor: 加载第一帧,添加正点(绿色)以标记要去除的物体
  2. 细化(可选)
    • DiffuEraserSampler 中调整 mask_dilation_iter 以获得精确的遮罩
    • Video Combine 中修改 crf 以提高输出质量
  3. 输出
    • Video Combine: 找到预览并保存到本地机器
替代方法:手动遮罩创建

DiffuEraser

  • 输入: 预先创建的遮罩视频。
  • 最佳用途: 需要对遮罩区域进行精确控制的用户。
  • 特点:
    • 需要手动创建遮罩。
    • 提供对物体选择的完全控制。
    • 适合复杂场景或艺术工作流。

DiffuEraser 的参数参考

DiffuEraser

  • DiffuEraserLoader:
    • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基础模型。
    • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 增强修复。
  • DiffuEraserSampler:
    • seed: [random] - 控制生成的变异。
    • num_inference_steps: [2] - 较高的值提高质量。
    • guidance_scale: [0] - 控制对先验信息的依从性。
    • video_length: [10] - 定义处理的帧数。
    • mask_dilation_iter: [8] - 扩展遮罩覆盖范围。
    • ref_stride: [10] - 时间一致性的参考帧步幅。
    • neighbor_length: [10] - 定义用于参考的帧。
    • subvideo_length: [50] - 批处理的最大帧数。
    • seg_repo: [briaai/RMBG-2.0] - 背景去除模型。
  • Video Combine:
    • frame_rate: [1] - 匹配源帧率。
    • format: [video/h264-mp4] - 输出格式。
    • crf: [19] - 控制视频压缩质量。

使用 DiffuEraser 进行高级优化

  • 性能优化:
    • 减少 subvideo_length 以加快处理速度。
    • 降低 num_inference_steps 以加快生成速度。
  • 质量增强:
    • 增加 mask_dilation_iter 以改善遮罩覆盖。
    • 调整 neighbor_length 以改善移动物体的精细化。

使用提示

  1. 使用 Points Editor 在目标物体上标记多个点。
  2. 如果 SAM2 包含不需要的区域,添加 负点(红色)
  3. 对于 移动物体, 在多个帧上标记点。
  4. 简单的背景会产生更好的修复结果。
  5. 降低 video_lengthsubvideo_length 以避免长视频的内存问题。

更多信息

  • 有关 DiffuEraser 的详细指南和更新,请访问
  • 有关 DiffuEraser 的 ComfyUI 集成,请访问
  • 有关 SAM2 的详细指南,请访问

感谢原作者

DiffuEraser 由 Xiaowen LiHaolan XuePeiran RenLiefeng Bo 在阿里巴巴集团同义实验室创建,并由 smthemex 实现的 ComfyUI 集成。Runcomfy Crew 通过 SAM2 实现自动遮罩生成增强了工作流。所有功劳归于原作者的开创性贡献。

想要更多 ComfyUI 工作流吗?

RunComfy
版权 2025 RunComfy. 保留所有权利。

RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。 RunComfy还提供 AI Playground, 帮助艺术家利用最新的AI工具创作出令人惊叹的艺术作品。