Segment Anything V2, auch bekannt als SAM2, ist ein bahnbrechendes AI-Modell, das die Objekterkennung in sowohl Bildern als auch Videos revolutioniert.
Segment Anything V2 ist ein hochmodernes AI-Modell, das die nahtlose Segmentierung von Objekten in Bildern und Videos ermöglicht. Es ist das erste einheitliche Modell, das sowohl Bild- als auch Video-Segmentierungsaufgaben mit außergewöhnlicher Genauigkeit und Effizienz bewältigt. Segment Anything V2 (SAM2) baut auf dem Erfolg seines Vorgängers, dem Segment Anything Model (SAM), auf, indem es seine promptfähigen Fähigkeiten auf den Videobereich erweitert.
Mit Segment Anything V2 (SAM2) können Benutzer ein Objekt in einem Bild oder Video-Frame mit verschiedenen Eingabemethoden wie einem Klick, einem Begrenzungsrahmen oder einer Maske auswählen. Das Modell segmentiert dann intelligent das ausgewählte Objekt, sodass spezifische Elemente innerhalb des visuellen Inhalts präzise extrahiert und manipuliert werden können.
SAM2 erweitert SAM's promptfähige Fähigkeit auf Videos, indem es ein per-Session-Speichermodul einführt, das Informationen über Zielobjekte erfasst und so die Verfolgung von Objekten über mehrere Frames hinweg ermöglicht, auch bei temporären Verschwindungen. Die Streaming-Architektur verarbeitet Video-Frames einzeln und verhält sich wie SAM für Bilder, wenn das Speichermodul leer ist. Dies ermöglicht eine Echtzeit-Videoverarbeitung und eine natürliche Generalisierung der Fähigkeiten von SAM. SAM2 unterstützt auch interaktive Maskenvorhersagekorrekturen basierend auf Benutzereingaben. Das Modell verwendet eine Transformer-Architektur mit Streaming-Speicher und wurde auf dem SA-V-Datensatz trainiert, dem größten Video-Segmentierungsdatensatz, der mit einem model-in-the-loop-Datenengine gesammelt wurde, die sowohl das Modell als auch die Daten durch Benutzerinteraktion verbessert.
Dieser ComfyUI-Workflow unterstützt das Auswählen eines Objekts in einem Video-Frame mit einem Klick/Punkt.
Video laden: Wählen und laden Sie das Video hoch, das Sie verarbeiten möchten.
Schlüsselpunkt: Setzen Sie drei Schlüsselpunkte auf die Leinwand—positive0, positive1 und negative0:
positive0 und positive1 markieren die Regionen oder Objekte, die Sie segmentieren möchten.
negative0 hilft, unerwünschte Bereiche oder Ablenkungen auszuschließen.
points_store: Ermöglicht das Hinzufügen oder Entfernen von Punkten nach Bedarf, um den Segmentierungsprozess zu verfeinern.
Modelloptionen: Wählen Sie aus den verfügbaren SAM2-Modellen: tiny, small, large oder base_plus. Größere Modelle liefern bessere Ergebnisse, benötigen jedoch mehr Ladezeit.
Für weitere Informationen besuchen Sie bitte Kijai ComfyUI-segment-anything-2.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
