DiffuEraser | 视频修复

ComfyUI DiffuEraser 视频修复工作流描述

什么是 ComfyUI DiffuEraser 工作流？

DiffuEraser 是一个尖端的视频修复解决方案，可以无缝去除视频中的不需要物体，同时保持时间一致性。利用强大的基于扩散的修复模型，DiffuEraser 用上下文准确的内容重建缺失区域。此工作流与 Segment Anything 2 (SAM2) 集成，实现自动遮罩生成，消除了手动创建遮罩的需要。

DiffuEraser 使用去噪 UNet 以及辅助的 BrushNet 分支，整合时间注意力以保持帧一致性。通过利用先验信息，它减少了幻觉和伪影，确保无瑕疵的物体去除。

SAM2 集成 由 Runcomfy Crew 通过点选择界面自动化遮罩创建，使用户能够标记需要去除的物体而无需手动创建遮罩。这极大地简化了修复工作流。

DiffuEraser 工作流的好处

• 高质量的重建与自然场景融合。
• 通过 SAM2 自动生成遮罩，减少手动工作。
• 跨帧无缝修复的时间一致性。
• 具有点基接口的灵活物体选择。
• 以最少的用户输入实现专业级结果。
• 通过利用先验信息抑制幻觉。
• 兼容标准视频格式，便于集成。

如何使用 DiffuEraser 工作流

使用 DiffuEraser 去除物体

主要生成方法：SAM2 + DiffuEraser

• 输入： 原始视频，通过点坐标选择帧中的物体
• 最佳用途： 去除物体、人、水印或其他不需要的元素
• 特点：
  • 使用 SAM2 自动生成遮罩
  • 产生高视觉保真度的自然修复
  • 确保所有帧的时间一致性

示例工作流

1. 准备输入
   • 在 Load Video Node： 上传您的源视频
   • 在 Points Editor： 加载第一帧，添加正点（绿色）以标记要去除的物体
2. 细化（可选）
   • 在 DiffuEraserSampler 中调整 mask_dilation_iter 以获得精确的遮罩
   • 在 Video Combine 中修改 crf 以提高输出质量
3. 输出
   • 在 Video Combine： 找到预览并保存到本地机器

替代方法：手动遮罩创建

• 输入： 预先创建的遮罩视频。
• 最佳用途： 需要对遮罩区域进行精确控制的用户。
• 特点：
  • 需要手动创建遮罩。
  • 提供对物体选择的完全控制。
  • 适合复杂场景或艺术工作流。

DiffuEraser 的参数参考

• DiffuEraserLoader：
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基础模型。
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 增强修复。
• DiffuEraserSampler：
  • seed: [random] - 控制生成的变异。
  • num_inference_steps: [2] - 较高的值提高质量。
  • guidance_scale: [0] - 控制对先验信息的依从性。
  • video_length: [10] - 定义处理的帧数。
  • mask_dilation_iter: [8] - 扩展遮罩覆盖范围。
  • ref_stride: [10] - 时间一致性的参考帧步幅。
  • neighbor_length: [10] - 定义用于参考的帧。
  • subvideo_length: [50] - 批处理的最大帧数。
  • seg_repo: [briaai/RMBG-2.0] - 背景去除模型。
• Video Combine：
  • frame_rate: [1] - 匹配源帧率。
  • format: [video/h264-mp4] - 输出格式。
  • crf: [19] - 控制视频压缩质量。

使用 DiffuEraser 进行高级优化

• 性能优化：
  • 减少 subvideo_length 以加快处理速度。
  • 降低 num_inference_steps 以加快生成速度。
• 质量增强：
  • 增加 mask_dilation_iter 以改善遮罩覆盖。
  • 调整 neighbor_length 以改善移动物体的精细化。

使用提示

1. 使用 Points Editor 在目标物体上标记多个点。
2. 如果 SAM2 包含不需要的区域，添加 负点（红色）。
3. 对于 移动物体， 在多个帧上标记点。
4. 简单的背景会产生更好的修复结果。
5. 降低 video_length 和 subvideo_length 以避免长视频的内存问题。

更多信息

• 有关 DiffuEraser 的详细指南和更新，请访问 DiffuEraser
• 有关 DiffuEraser 的 ComfyUI 集成，请访问 ComfyUI DiffuEraser
• 有关 SAM2 的详细指南，请访问 SAM2 on RunComfy

感谢原作者

DiffuEraser 由 Xiaowen Li、Haolan Xue、Peiran Ren 和 Liefeng Bo 在阿里巴巴集团同义实验室创建，并由 smthemex 实现的 ComfyUI 集成。Runcomfy Crew 通过 SAM2 实现自动遮罩生成增强了工作流。所有功劳归于原作者的开创性贡献。