DiffuEraser | 影片修補

ComfyUI DiffuEraser 影片修補工作流程描述

ComfyUI DiffuEraser 工作流程是什麼？

DiffuEraser 是一種尖端的影片修補解決方案，能夠無縫移除影片中的不需要物件，同時保持時間一致性。使用強大的擴散式修補模型，DiffuEraser 能夠以上下文準確的內容重建缺失區域。此工作流程與 Segment Anything 2 (SAM2) 集成，用於自動遮罩生成，消除了手動創建遮罩的需求。

DiffuEraser 利用去噪 UNet 和輔助 BrushNet 分支，結合時間注意力以維持幀一致性。通過利用先驗信息，它減少了幻覺和瑕疵，確保完美的物件移除。

SAM2 集成 由 Runcomfy Crew 自動化遮罩創建，使用點選介面使用戶能夠標記要移除的物件，而無需手動創建遮罩。這顯著簡化了修補工作流程。

DiffuEraser 工作流程的好處

• 高品質重建，自然場景融合。
• 通過 SAM2 自動生成遮罩，減少手動工作。
• 時間一致性，實現幀間的無縫修補。
• 使用基於點的介面進行靈活的物件選擇。
• 專業級結果，所需用戶輸入最少。
• 通過利用先驗信息抑制幻覺。
• 與標準影片格式兼容，易於集成。

如何使用 DiffuEraser 工作流程

使用 DiffuEraser 進行物件移除

主生成方法：SAM2 + DiffuEraser

• **輸入：**原始影片，通過點座標選擇物件的幀
• **最佳用途：**移除物件、人員、浮水印或其他不需要的元素
• 特徵：
  • 使用 SAM2 自動生成遮罩
  • 生成具有高視覺保真度的自然修補
  • 確保所有幀的時間一致性

範例工作流程

1. 準備輸入
   • 在 Load Video Node: 上傳您的源影片
   • 在 Points Editor: 加載第一個幀，添加正點（綠色）以標記需要移除的物件
2. 精細化（可選）
   • 在 DiffuEraserSampler 中調整 mask_dilation_iter 以獲得精確遮罩
   • 修改 Video Combine 中的 crf 以提高輸出品質
3. 輸出
   • 在 Video Combine: 找到預覽並將其保存到本地機器

替代方法：手動遮罩創建

• **輸入：**預先創建的遮罩影片。
• **最佳用途：**需要對遮罩區域進行精確控制的用戶。
• 特徵：
  • 需要手動創建遮罩。
  • 提供對物件選擇的完整控制。
  • 適合複雜場景或藝術工作流程。

DiffuEraser 的參數參考

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基本模型。
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 用於增強修補。
• DiffuEraserSampler:
  • seed: [random] - 控制生成變異性。
  • num_inference_steps: [2] - 較高的值提高品質。
  • guidance_scale: [0] - 控制對先驗信息的遵循。
  • video_length: [10] - 定義處理的幀數。
  • mask_dilation_iter: [8] - 擴展遮罩範圍。
  • ref_stride: [10] - 用於時間一致性的參考幀步幅。
  • neighbor_length: [10] - 定義用於參考的幀數。
  • subvideo_length: [50] - 批次中處理的最大幀數。
  • seg_repo: [briaai/RMBG-2.0] - 背景移除模型。
• Video Combine:
  • frame_rate: [1] - 匹配源幀率。
  • format: [video/h264-mp4] - 輸出格式。
  • crf: [19] - 控制影片壓縮品質。

使用 DiffuEraser 的高級優化

• 效能優化：
  • 減少 subvideo_length 以加快處理速度。
  • 降低 num_inference_steps 以加快生成速度。
• 品質增強：
  • 增加 mask_dilation_iter 以改善遮罩覆蓋範圍。
  • 調整 neighbor_length 以改進移動物件的精細化。

使用提示

1. 使用 Points Editor 在目標物件上標記多個點。
2. 如果 SAM2 包含不需要的區域，添加 負點（紅色）。
3. 對於 移動物件， 在多個幀上標記點。
4. 簡單的背景產生更好的修補結果。
5. 對於較長的影片，降低 video_length 和 subvideo_length 以避免記憶體問題。

更多信息

• 有關 DiffuEraser 的詳細指南和更新，請訪問 DiffuEraser
• 有關 ComfyUI 的 DiffuEraser 集成，請訪問 ComfyUI DiffuEraser
• 有關 SAM2 的詳細指南，請訪問 SAM2 on RunComfy

感謝原作者

DiffuEraser 由阿里巴巴集團同義實驗室的 Xiaowen Li、Haolan Xue、Peiran Ren 和 Liefeng Bo 創建，smthemex 負責 ComfyUI 集成。Runcomfy Crew 通過 SAM2 自動遮罩生成增強了工作流程。所有榮譽歸功於原作者的開創性貢獻。