DiffuEraser ist eine hochmoderne Video-Inpainting-Lösung, die nahtlos unerwünschte Objekte aus Videos entfernt und dabei zeitliche Konsistenz bewahrt. Mithilfe eines leistungsstarken, diffusionsbasierten Inpainting-Modells rekonstruiert DiffuEraser fehlende Bereiche mit kontextuell genauem Inhalt. Dieser Arbeitsablauf integriert sich mit Segment Anything 2 (SAM2) für automatische Maskenerstellung, wodurch manuell erstellte Masken überflüssig werden.
DiffuEraser nutzt ein Denoising UNet zusammen mit einem zusätzlichen BrushNet-Zweig und integriert zeitliche Aufmerksamkeit, um die Konsistenz der Frames zu erhalten. Durch die Nutzung von Vorinformationen reduziert es Halluzinationen und Artefakte, was eine makellose Objektentfernung gewährleistet.
Die SAM2 Integration durch die Runcomfy Crew automatisiert die Maskenerstellung mithilfe einer Punkt-Auswahl-Schnittstelle, sodass Benutzer Objekte zur Entfernung markieren können, ohne Masken manuell erstellen zu müssen. Dies optimiert den Inpainting-Arbeitsablauf erheblich.
mask_dilation_iter für präzises Maskieren ancrf in Video Combine für eine höhere Ausgabequalität
checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion Basismodell.lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA für verbessertes Inpainting.seed: [random] - Steuert die Variabilität der Erzeugung.num_inference_steps: [2] - Höhere Werte verbessern die Qualität.guidance_scale: [0] - Steuert die Einhaltung von Vorinformationen.video_length: [10] - Definiert verarbeitete Frames.mask_dilation_iter: [8] - Erweitert die Maskenabdeckung.ref_stride: [10] - Referenz-Frame-Schrittweite für zeitliche Konsistenz.neighbor_length: [10] - Definiert verwendete Referenz-Frames.subvideo_length: [50] - Maximale Frames, die in einem Batch verarbeitet werden.seg_repo: [briaai/RMBG-2.0] - Modell zur Hintergrundentfernung.frame_rate: [1] - Entspricht der Quell-Frame-Rate.format: [video/h264-mp4] - Ausgabeformat.crf: [19] - Steuert die Video-Kompressionsqualität.subvideo_length für schnellere Verarbeitung.num_inference_steps, um die Erzeugung zu beschleunigen.mask_dilation_iter, um die Maskenabdeckung zu verbessern.neighbor_length für Verfeinerungen bewegter Objekte an.video_length und subvideo_length für längere Videos, um Speicherprobleme zu vermeiden.DiffuEraser wurde von Xiaowen Li, Haolan Xue, Peiran Ren und Liefeng Bo vom Tongyi Lab, Alibaba Group, mit ComfyUI-Integration von smthemex erstellt. Die Runcomfy Crew verbesserte den Arbeitsablauf mit automatischer Maskenerstellung über SAM2. Alle Anerkennung gebührt den ursprünglichen Autoren für ihre bahnbrechenden Beiträge.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
