DiffuEraser | 影片修補
DiffuEraser 是一款新近推出的影片修補擴散模型,能夠以逼真的內容重建刪除部分。它使用去噪 UNet、BrushNet 和時間注意力在幀之間保持自然運動和細節一致性。通過整合先驗信息來減少噪音和抑制幻覺。RunComfy Crew 使用 Segment Anything 2 (SAM2) 自動生成遮罩,改進了工作流程,無需手動操作。只需上傳影片,選擇項目,讓流程處理修補。DiffuEraser 不僅僅是擦除,而是重建,輕鬆產生高品質的結果。ComfyUI DiffuEraser 工作流程
ComfyUI DiffuEraser 範例
ComfyUI DiffuEraser 說明
ComfyUI DiffuEraser 影片修補工作流程描述
ComfyUI DiffuEraser 工作流程是什麼?
DiffuEraser 是一種尖端的影片修補解決方案,能夠無縫移除影片中的不需要物件,同時保持時間一致性。使用強大的擴散式修補模型,DiffuEraser 能夠以上下文準確的內容重建缺失區域。此工作流程與 Segment Anything 2 (SAM2) 集成,用於自動遮罩生成,消除了手動創建遮罩的需求。
DiffuEraser 利用去噪 UNet 和輔助 BrushNet 分支,結合時間注意力以維持幀一致性。通過利用先驗信息,它減少了幻覺和瑕疵,確保完美的物件移除。
由 Runcomfy Crew 自動化遮罩創建,使用點選介面使用戶能夠標記要移除的物件,而無需手動創建遮罩。這顯著簡化了修補工作流程。
DiffuEraser 工作流程的好處
- 高品質重建,自然場景融合。
- 通過 SAM2 自動生成遮罩,減少手動工作。
- 時間一致性,實現幀間的無縫修補。
- 使用基於點的介面進行靈活的物件選擇。
- 專業級結果,所需用戶輸入最少。
- 通過利用先驗信息抑制幻覺。
- 與標準影片格式兼容,易於集成。
如何使用 DiffuEraser 工作流程
使用 DiffuEraser 進行物件移除
主生成方法:SAM2 + DiffuEraser
- **輸入:**原始影片,通過點座標選擇物件的幀
- **最佳用途:**移除物件、人員、浮水印或其他不需要的元素
- 特徵:
- 使用 SAM2 自動生成遮罩
- 生成具有高視覺保真度的自然修補
- 確保所有幀的時間一致性
範例工作流程
- 準備輸入
- 在 Load Video Node: 上傳您的源影片
- 在 Points Editor: 加載第一個幀,添加正點(綠色)以標記需要移除的物件
- 精細化(可選)
- 在 DiffuEraserSampler 中調整
mask_dilation_iter
以獲得精確遮罩 - 修改 Video Combine 中的
crf
以提高輸出品質
- 在 DiffuEraserSampler 中調整
- 輸出
- 在 Video Combine: 找到預覽並將其保存到本地機器
替代方法:手動遮罩創建
- **輸入:**預先創建的遮罩影片。
- **最佳用途:**需要對遮罩區域進行精確控制的用戶。
- 特徵:
- 需要手動創建遮罩。
- 提供對物件選擇的完整控制。
- 適合複雜場景或藝術工作流程。
DiffuEraser 的參數參考
- DiffuEraserLoader:
checkpoint
: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion 基本模型。lora
: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA 用於增強修補。
- DiffuEraserSampler:
seed
: [random] - 控制生成變異性。num_inference_steps
: [2] - 較高的值提高品質。guidance_scale
: [0] - 控制對先驗信息的遵循。video_length
: [10] - 定義處理的幀數。mask_dilation_iter
: [8] - 擴展遮罩範圍。ref_stride
: [10] - 用於時間一致性的參考幀步幅。neighbor_length
: [10] - 定義用於參考的幀數。subvideo_length
: [50] - 批次中處理的最大幀數。seg_repo
: [briaai/RMBG-2.0] - 背景移除模型。
- Video Combine:
frame_rate
: [1] - 匹配源幀率。format
: [video/h264-mp4] - 輸出格式。crf
: [19] - 控制影片壓縮品質。
使用 DiffuEraser 的高級優化
- 效能優化:
- 減少
subvideo_length
以加快處理速度。 - 降低
num_inference_steps
以加快生成速度。
- 減少
- 品質增強:
- 增加
mask_dilation_iter
以改善遮罩覆蓋範圍。 - 調整
neighbor_length
以改進移動物件的精細化。
- 增加
使用提示
- 使用 Points Editor 在目標物件上標記多個點。
- 如果 SAM2 包含不需要的區域,添加 負點(紅色)。
- 對於 移動物件, 在多個幀上標記點。
- 簡單的背景產生更好的修補結果。
- 對於較長的影片,降低
video_length
和subvideo_length
以避免記憶體問題。
更多信息
- 有關 DiffuEraser 的詳細指南和更新,請訪問
- 有關 ComfyUI 的 DiffuEraser 集成,請訪問
- 有關 SAM2 的詳細指南,請訪問
感謝原作者
DiffuEraser 由阿里巴巴集團同義實驗室的 Xiaowen Li、Haolan Xue、Peiran Ren 和 Liefeng Bo 創建,smthemex 負責 ComfyUI 集成。Runcomfy Crew 通過 SAM2 自動遮罩生成增強了工作流程。所有榮譽歸功於原作者的開創性貢獻。