DiffuEraser | Video-Inpainting

ComfyUI DiffuEraser Video-Inpainting Arbeitsablauf Beschreibung#

Was ist der ComfyUI DiffuEraser Arbeitsablauf?#

DiffuEraser ist eine hochmoderne Video-Inpainting-Lösung, die nahtlos unerwünschte Objekte aus Videos entfernt und dabei zeitliche Konsistenz bewahrt. Mithilfe eines leistungsstarken, diffusionsbasierten Inpainting-Modells rekonstruiert DiffuEraser fehlende Bereiche mit kontextuell genauem Inhalt. Dieser Arbeitsablauf integriert sich mit Segment Anything 2 (SAM2) für automatische Maskenerstellung, wodurch manuell erstellte Masken überflüssig werden.

DiffuEraser nutzt ein Denoising UNet zusammen mit einem zusätzlichen BrushNet-Zweig und integriert zeitliche Aufmerksamkeit, um die Konsistenz der Frames zu erhalten. Durch die Nutzung von Vorinformationen reduziert es Halluzinationen und Artefakte, was eine makellose Objektentfernung gewährleistet.

Die **SAM2** Integration durch die Runcomfy Crew automatisiert die Maskenerstellung mithilfe einer Punkt-Auswahl-Schnittstelle, sodass Benutzer Objekte zur Entfernung markieren können, ohne Masken manuell erstellen zu müssen. Dies optimiert den Inpainting-Arbeitsablauf erheblich.

Vorteile des DiffuEraser Arbeitsablaufs#

• Hochwertige Rekonstruktion mit natürlicher Szenenverschmelzung.
• Automatische Maskenerstellung über SAM2, wodurch manueller Aufwand reduziert wird.
• Zeitliche Konsistenz für nahtloses Inpainting über alle Frames hinweg.
• Flexible Objektauswahl mit einer punktbasierten Schnittstelle.
• Ergebnisse in professioneller Qualität mit minimalem Benutzereingriff.
• Unterdrückung von Halluzinationen durch Nutzung von Vorinformationen.
• Kompatibel mit Standard-Videodateiformaten für mühelose Integration.

Verwendung des DiffuEraser Arbeitsablaufs#

Objektentfernung mit DiffuEraser#

Primäre Erzeugungsmethode: SAM2 + DiffuEraser#

• Eingaben: Originalvideo, Frames für die Objektauswahl über Punktkoordinaten
• Am besten geeignet für: Entfernen von Objekten, Personen, Wasserzeichen oder anderen unerwünschten Elementen
• Merkmale:
  • Verwendet SAM2 für automatische Maskenerstellung
  • Produziert natürliches Inpainting mit hoher visueller Treue
  • Gewährleistet zeitliche Konsistenz über alle Frames hinweg

Beispiel-Arbeitsablauf#

1. Vorbereitung der Eingaben
   • In Load Video Node: Laden Sie Ihr Quellvideo hoch
   • In Points Editor: Laden Sie den ersten Frame, um positive Punkte (grün) hinzuzufügen, um Objekte zur Entfernung zu markieren
2. Verfeinerung (optional)
   • In DiffuEraserSampler passen Sie mask_dilation_iter für präzises Maskieren an
   • Ändern Sie crf in Video Combine für eine höhere Ausgabequalität
3. Ausgabe
   • In Video Combine: Finden Sie die Vorschau und speichern Sie sie auf Ihrem lokalen Computer

Alternative Methode: Manuelle Maskenerstellung#

• Eingaben: Vorab erstelltes Maskenvideo.
• Am besten geeignet für: Benutzer, die präzise Kontrolle über maskierte Bereiche benötigen.
• Merkmale:
  • Erfordert manuelle Maskenerstellung.
  • Bietet volle Kontrolle über die Objektauswahl.
  • Ideal für komplexe Szenen oder künstlerische Arbeitsabläufe.

Parameterreferenz für DiffuEraser#

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - Stable Diffusion Basismodell.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA für verbessertes Inpainting.
• DiffuEraserSampler:
  • seed: [random] - Steuert die Variabilität der Erzeugung.
  • num_inference_steps: [2] - Höhere Werte verbessern die Qualität.
  • guidance_scale: [0] - Steuert die Einhaltung von Vorinformationen.
  • video_length: [10] - Definiert verarbeitete Frames.
  • mask_dilation_iter: [8] - Erweitert die Maskenabdeckung.
  • ref_stride: [10] - Referenz-Frame-Schrittweite für zeitliche Konsistenz.
  • neighbor_length: [10] - Definiert verwendete Referenz-Frames.
  • subvideo_length: [50] - Maximale Frames, die in einem Batch verarbeitet werden.
  • seg_repo: [briaai/RMBG-2.0] - Modell zur Hintergrundentfernung.
• Video Combine:
  • frame_rate: [1] - Entspricht der Quell-Frame-Rate.
  • format: [video/h264-mp4] - Ausgabeformat.
  • crf: [19] - Steuert die Video-Kompressionsqualität.

Erweiterte Optimierung mit DiffuEraser#

• Leistungsoptimierung:
  • Reduzieren Sie subvideo_length für schnellere Verarbeitung.
  • Verringern Sie num_inference_steps, um die Erzeugung zu beschleunigen.
• Qualitätsverbesserungen:
  • Erhöhen Sie mask_dilation_iter, um die Maskenabdeckung zu verbessern.
  • Passen Sie neighbor_length für Verfeinerungen bewegter Objekte an.

Verwendungstipps#

1. Verwenden Sie Points Editor, um mehrere Punkte auf dem Zielobjekt zu markieren.
2. Fügen Sie negative Punkte (rot) hinzu, wenn SAM2 unerwünschte Bereiche einschließt.
3. Für bewegte Objekte markieren Sie Punkte über mehrere Frames hinweg.
4. Einfachere Hintergründe liefern bessere Inpainting-Ergebnisse.
5. Verringern Sie video_length und subvideo_length für längere Videos, um Speicherprobleme zu vermeiden.

Weitere Informationen#

• Für detaillierte Anleitungen und Updates zu DiffuEraser besuchen Sie DiffuEraser
• Für die ComfyUI-Integration von DiffuEraser besuchen Sie ComfyUI DiffuEraser
• Für detaillierte Anleitungen zu SAM2 besuchen Sie SAM2 auf RunComfy

Anerkennung der ursprünglichen Autoren#

DiffuEraser wurde von Xiaowen Li, Haolan Xue, Peiran Ren und Liefeng Bo vom Tongyi Lab, Alibaba Group, mit ComfyUI-Integration von smthemex erstellt. Die Runcomfy Crew verbesserte den Arbeitsablauf mit automatischer Maskenerstellung über SAM2. Alle Anerkennung gebührt den ursprünglichen Autoren für ihre bahnbrechenden Beiträge.