ComfyUI  >  工作流程  >  DiffuEraser | 影片修補

DiffuEraser | 影片修補

DiffuEraser 是一款新近推出的影片修補擴散模型,能夠以逼真的內容重建刪除部分。它使用去噪 UNet、BrushNet 和時間注意力在幀之間保持自然運動和細節一致性。通過整合先驗信息來減少噪音和抑制幻覺。RunComfy Crew 使用 Segment Anything 2 (SAM2) 自動生成遮罩,改進了工作流程,無需手動操作。只需上傳影片,選擇項目,讓流程處理修補。DiffuEraser 不僅僅是擦除,而是重建,輕鬆產生高品質的結果。

ComfyUI DiffuEraser 工作流程

DiffuEraser Workflow in ComfyUI | Video Inpainting with Automated Mask Generation
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI DiffuEraser 範例

ComfyUI DiffuEraser 說明

ComfyUI DiffuEraser 影片修補工作流程描述

ComfyUI DiffuEraser 工作流程是什麼?

DiffuEraser 是一種尖端的影片修補解決方案,能夠無縫移除影片中的不需要物件,同時保持時間一致性。使用強大的擴散式修補模型,DiffuEraser 能夠以上下文準確的內容重建缺失區域。此工作流程與 Segment Anything 2 (SAM2) 集成,用於自動遮罩生成,消除了手動創建遮罩的需求。

DiffuEraser 利用去噪 UNet 和輔助 BrushNet 分支,結合時間注意力以維持幀一致性。通過利用先驗信息,它減少了幻覺和瑕疵,確保完美的物件移除。

Runcomfy Crew 自動化遮罩創建,使用點選介面使用戶能夠標記要移除的物件,而無需手動創建遮罩。這顯著簡化了修補工作流程。

DiffuEraser 工作流程的好處

  • 高品質重建,自然場景融合。
  • 通過 SAM2 自動生成遮罩,減少手動工作。
  • 時間一致性,實現幀間的無縫修補。
  • 使用基於點的介面進行靈活的物件選擇。
  • 專業級結果,所需用戶輸入最少。
  • 通過利用先驗信息抑制幻覺。
  • 與標準影片格式兼容,易於集成。

如何使用 DiffuEraser 工作流程

使用 DiffuEraser 進行物件移除

主生成方法:SAM2 + DiffuEraser

DiffuEraser

  • **輸入:**原始影片,通過點座標選擇物件的幀
  • **最佳用途:**移除物件、人員、浮水印或其他不需要的元素
  • 特徵:
    • 使用 SAM2 自動生成遮罩
    • 生成具有高視覺保真度的自然修補
    • 確保所有幀的時間一致性
範例工作流程
  1. 準備輸入
    • Load Video Node: 上傳您的源影片
    • Points Editor: 加載第一個幀,添加正點(綠色)以標記需要移除的物件
  2. 精細化(可選)
    • DiffuEraserSampler 中調整 mask_dilation_iter 以獲得精確遮罩
    • 修改 Video Combine 中的 crf 以提高輸出品質
  3. 輸出
    • Video Combine: 找到預覽並將其保存到本地機器
替代方法:手動遮罩創建

DiffuEraser

  • **輸入:**預先創建的遮罩影片。
  • **最佳用途:**需要對遮罩區域進行精確控制的用戶。
  • 特徵:
    • 需要手動創建遮罩。
    • 提供對物件選擇的完整控制。
    • 適合複雜場景或藝術工作流程。

DiffuEraser 的參數參考

DiffuEraser

  • DiffuEraserLoader:
    • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基本模型。
    • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 用於增強修補。
  • DiffuEraserSampler:
    • seed: [random] - 控制生成變異性。
    • num_inference_steps: [2] - 較高的值提高品質。
    • guidance_scale: [0] - 控制對先驗信息的遵循。
    • video_length: [10] - 定義處理的幀數。
    • mask_dilation_iter: [8] - 擴展遮罩範圍。
    • ref_stride: [10] - 用於時間一致性的參考幀步幅。
    • neighbor_length: [10] - 定義用於參考的幀數。
    • subvideo_length: [50] - 批次中處理的最大幀數。
    • seg_repo: [briaai/RMBG-2.0] - 背景移除模型。
  • Video Combine:
    • frame_rate: [1] - 匹配源幀率。
    • format: [video/h264-mp4] - 輸出格式。
    • crf: [19] - 控制影片壓縮品質。

使用 DiffuEraser 的高級優化

  • 效能優化:
    • 減少 subvideo_length 以加快處理速度。
    • 降低 num_inference_steps 以加快生成速度。
  • 品質增強:
    • 增加 mask_dilation_iter 以改善遮罩覆蓋範圍。
    • 調整 neighbor_length 以改進移動物件的精細化。

使用提示

  1. 使用 Points Editor 在目標物件上標記多個點。
  2. 如果 SAM2 包含不需要的區域,添加 負點(紅色)
  3. 對於 移動物件, 在多個幀上標記點。
  4. 簡單的背景產生更好的修補結果。
  5. 對於較長的影片,降低 video_lengthsubvideo_length 以避免記憶體問題。

更多信息

  • 有關 DiffuEraser 的詳細指南和更新,請訪問
  • 有關 ComfyUI 的 DiffuEraser 集成,請訪問
  • 有關 SAM2 的詳細指南,請訪問

感謝原作者

DiffuEraser 由阿里巴巴集團同義實驗室的 Xiaowen LiHaolan XuePeiran RenLiefeng Bo 創建,smthemex 負責 ComfyUI 集成。Runcomfy Crew 通過 SAM2 自動遮罩生成增強了工作流程。所有榮譽歸功於原作者的開創性貢獻。

想要更多 ComfyUI 工作流程嗎?

RunComfy
版權 2025 RunComfy. 保留所有權利。

RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。