DiffuEraser | 视频修复
DiffuEraser 是一个新发布的视频修复扩散模型,可以用真实的内容重建删除的部分。它使用去噪 UNet、BrushNet 和时间注意力在帧之间保持自然运动和细节一致性。通过整合先验信息,减少噪声并抑制幻觉。RunComfy Crew 通过使用 Segment Anything 2 (SAM2) 自动生成遮罩来改进工作流,消除了手动操作的需要。只需上传电影,选择项目,让过程处理修复。DiffuEraser 不仅仅是擦除,它可以重建,轻松产生高质量的结果。ComfyUI DiffuEraser 工作流程
ComfyUI DiffuEraser 示例
ComfyUI DiffuEraser 描述
ComfyUI DiffuEraser 视频修复工作流描述
什么是 ComfyUI DiffuEraser 工作流?
DiffuEraser 是一个尖端的视频修复解决方案,可以无缝去除视频中的不需要物体,同时保持时间一致性。利用强大的基于扩散的修复模型,DiffuEraser 用上下文准确的内容重建缺失区域。此工作流与 Segment Anything 2 (SAM2) 集成,实现自动遮罩生成,消除了手动创建遮罩的需要。
DiffuEraser 使用去噪 UNet 以及辅助的 BrushNet 分支,整合时间注意力以保持帧一致性。通过利用先验信息,它减少了幻觉和伪影,确保无瑕疵的物体去除。
由 Runcomfy Crew 通过点选择界面自动化遮罩创建,使用户能够标记需要去除的物体而无需手动创建遮罩。这极大地简化了修复工作流。
DiffuEraser 工作流的好处
- 高质量的重建与自然场景融合。
- 通过 SAM2 自动生成遮罩,减少手动工作。
- 跨帧无缝修复的时间一致性。
- 具有点基接口的灵活物体选择。
- 以最少的用户输入实现专业级结果。
- 通过利用先验信息抑制幻觉。
- 兼容标准视频格式,便于集成。
如何使用 DiffuEraser 工作流
使用 DiffuEraser 去除物体
主要生成方法:SAM2 + DiffuEraser
- 输入: 原始视频,通过点坐标选择帧中的物体
- 最佳用途: 去除物体、人、水印或其他不需要的元素
- 特点:
- 使用 SAM2 自动生成遮罩
- 产生高视觉保真度的自然修复
- 确保所有帧的时间一致性
示例工作流
- 准备输入
- 在 Load Video Node: 上传您的源视频
- 在 Points Editor: 加载第一帧,添加正点(绿色)以标记要去除的物体
- 细化(可选)
- 在 DiffuEraserSampler 中调整
mask_dilation_iter
以获得精确的遮罩 - 在 Video Combine 中修改
crf
以提高输出质量
- 在 DiffuEraserSampler 中调整
- 输出
- 在 Video Combine: 找到预览并保存到本地机器
替代方法:手动遮罩创建
- 输入: 预先创建的遮罩视频。
- 最佳用途: 需要对遮罩区域进行精确控制的用户。
- 特点:
- 需要手动创建遮罩。
- 提供对物体选择的完全控制。
- 适合复杂场景或艺术工作流。
DiffuEraser 的参数参考
- DiffuEraserLoader:
checkpoint
: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基础模型。lora
: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 增强修复。
- DiffuEraserSampler:
seed
: [random] - 控制生成的变异。num_inference_steps
: [2] - 较高的值提高质量。guidance_scale
: [0] - 控制对先验信息的依从性。video_length
: [10] - 定义处理的帧数。mask_dilation_iter
: [8] - 扩展遮罩覆盖范围。ref_stride
: [10] - 时间一致性的参考帧步幅。neighbor_length
: [10] - 定义用于参考的帧。subvideo_length
: [50] - 批处理的最大帧数。seg_repo
: [briaai/RMBG-2.0] - 背景去除模型。
- Video Combine:
frame_rate
: [1] - 匹配源帧率。format
: [video/h264-mp4] - 输出格式。crf
: [19] - 控制视频压缩质量。
使用 DiffuEraser 进行高级优化
- 性能优化:
- 减少
subvideo_length
以加快处理速度。 - 降低
num_inference_steps
以加快生成速度。
- 减少
- 质量增强:
- 增加
mask_dilation_iter
以改善遮罩覆盖。 - 调整
neighbor_length
以改善移动物体的精细化。
- 增加
使用提示
- 使用 Points Editor 在目标物体上标记多个点。
- 如果 SAM2 包含不需要的区域,添加 负点(红色)。
- 对于 移动物体, 在多个帧上标记点。
- 简单的背景会产生更好的修复结果。
- 降低
video_length
和subvideo_length
以避免长视频的内存问题。
更多信息
- 有关 DiffuEraser 的详细指南和更新,请访问
- 有关 DiffuEraser 的 ComfyUI 集成,请访问
- 有关 SAM2 的详细指南,请访问
感谢原作者
DiffuEraser 由 Xiaowen Li、Haolan Xue、Peiran Ren 和 Liefeng Bo 在阿里巴巴集团同义实验室创建,并由 smthemex 实现的 ComfyUI 集成。Runcomfy Crew 通过 SAM2 实现自动遮罩生成增强了工作流。所有功劳归于原作者的开创性贡献。