Dieser Workflow bringt SAM 3 zu ComfyUI für schnelle, präzise Objekterkennung und -segmentierung sowohl auf Bildern als auch auf Videos. Er ist für Künstler und technische Benutzer konzipiert, die zuverlässige Masken für VFX, Rotoskopie, Komposition und KI-unterstützte Bearbeitung benötigen. Mit Text-Prompts, Boxenauswahl und Frame-zu-Frame-Propagation liefert SAM 3 konsistente Masken, die auch in komplexen Szenen bestehen.
Der Graph umfasst zwei Bildpipelines und eine Videopipeline. Sie können das Ziel durch Textbeschreibung segmentieren, indem Sie Boxen darum zeichnen oder indem Sie auf dem ersten Videoframe initialisieren und SAM 3 die Masken durch den gesamten Clip propagieren lassen. Der Workflow zeigt die Ergebnisse inline an und speichert Visualisierungsüberlagerungen und Masken-Only-Ausgaben.
Auf einen Blick hat der Workflow drei Bahnen: Bild mit semantischem Text-Prompting, Bild mit Box-Prompting und Video mit Initialisierung plus Propagation. Alle Bahnen verwenden die gleichen SAM 3 Gewichte und konvergieren auf Vorschauen und Speichern.
Die Bildgruppe lädt ein Bild mit LoadImage (#4) und die SAM 3 Gewichte mit LoadSAM3Model (#1). Von dort aus fließt das Bild in zwei alternative SAM 3 Segmentierungszweige, sodass Sie den schnellsten Weg wählen können, um eine saubere Maske zu erhalten. Jeder Zweig gibt eine Visualisierungsüberlagerung für schnelles QC und eine Binärmaske für nachgelagerte Arbeiten zurück. Verwenden Sie die Bildbahn, wenn Sie schnell eine einzelne hochwertige SAM 3 Maske benötigen.
Dieser Pfad segmentiert mit Sprachhinweisen. DeepTranslatorTextNode (#16) ermöglicht es Ihnen, eine natürliche Sprachbeschreibung in Ihrer bevorzugten Sprache einzugeben, die dann in SAM3Segmentation (#82) geleitet wird. SAM 3 interpretiert den Text und gibt eine Maske plus eine kolorierte Überlagerung zurück, die Sie über SaveImage (#23) speichern und mit MaskPreview (#15) inspizieren können. Verwenden Sie kurze, konkrete Substantive für beste Ergebnisse und verfeinern Sie, indem Sie spezifischer werden, wenn mehrere Objekte übereinstimmen.
Dieser Pfad segmentiert mit Interessensbereichsboxen. Verwenden Sie SAM3BBoxCollector (#84), um eine oder mehrere Boxen um das gewünschte Objekt zu zeichnen, und führen Sie dann SAM3Segmentation (#81) aus, um die Maske anhand dieser Boxen zu berechnen. Sie können Ausschlussboxen hinzufügen, um nahe Ablenkungen zu unterdrücken und eine engere SAM 3 Maske zu erhalten. Ergebnisse werden mit PreviewImage (#65) und MaskPreview (#66) angezeigt und können für Kompositionsarbeiten exportiert werden.
Die Videogruppe lädt Ihren Clip mit VHS_LoadVideo (#75) aus der Video Helper Suite und initialisiert das Modell mit SAM3VideoModelLoader (#69). Verwenden Sie SAM3VideoSegmentation (#78), um die anfängliche Auswahl auf dem ersten Frame festzulegen, optional unterstützt durch Punkte über SAM3PointCollector (#79) oder Boxen, falls erforderlich. Dann treibt SAM3Propagate (#77) SAM 3 vorwärts und rückwärts durch den Clip, um konsistente Masken selbst bei Bewegung und Verdeckung aufrechtzuerhalten. SAM3VideoOutput (#76) liefert sowohl eine Überlagerungsvisualisierung als auch pro-Frame-Masken, die mit CreateVideo (#70, #74) in MP4s umgewandelt und über SaveVideo (#71, #72) gespeichert werden. Verwenden Sie diese Bahn, wenn Sie saubere, zeitlich stabile SAM 3 Masken für die Bearbeitung oder Komposition benötigen.
LoadSAM3Model (#1)
Lädt die SAM 3 Gewichte für Bildaufgaben. Wenn Sie Gewichte austauschen, halten Sie Ihre Bildbahnen konsistent, damit Vorschauen und Speichern denselben SAM 3 Backbone widerspiegeln.
SAM3Segmentation (#82)
Textgesteuerte Bildsegmentierung. Geben Sie eine klare Textanweisung zur Beschreibung der Zielklasse an. Wenn mehrere Objekte erkannt werden, machen Sie die Beschreibung spezifischer oder führen Sie mehrere Durchläufe durch, um separate SAM 3 Masken zu sammeln.
SAM3Segmentation (#81)
Boxgesteuerte Bildsegmentierung. Zeichnen Sie eine oder mehrere enge Boxen um das Objekt. Verwenden Sie zusätzliche Boxen, um angrenzende Regionen auszuschließen, wenn die Maske ausläuft, und führen Sie sie dann erneut aus, um die SAM 3 Ausgabe zu verfeinern.
SAM3VideoModelLoader (#69)
Initialisiert das SAM 3 Videomodell für die Clipbahn. Halten Sie dies konsistent mit Ihrer Bildmodellauswahl, wenn Sie Looks über Standbilder und Filmmaterial hinweg abgleichen möchten.
SAM3VideoSegmentation (#78)
Legt die anfängliche Auswahl auf dem ersten Frame mit Text, Punkten oder Boxen fest. Beginnen Sie mit dem einfachsten Hinweis, der das Thema klar isoliert. Wenn die Maske des ersten Frames perfekt ist, wird die Propagation über den Rest des Videos einfacher und schneller.
SAM3Propagate (#77)
Propagiert die anfängliche Maske durch die Sequenz. Passen Sie ihr Verhalten an, wenn sich Subjekte schnell bewegen, den Maßstab ändern oder teilweise verdecken. Wenn nach einem Szenenwechsel oder Schnitt Drift auftritt, initialisieren Sie in der Nähe des Schnitts neu und propagieren Sie erneut, um SAM 3 Ergebnisse stabil zu halten.
SAM3VideoOutput (#76)
Verpackt die propagierten SAM 3 Masken und eine Visualisierungsüberlagerung. Verwenden Sie das Overlay-MP4, um die Qualität Frame für Frame zu überprüfen, und verwenden Sie das Masken-Only-MP4 für den direkten Import in Komposition oder Redaktion.
SAM3BBoxCollector (#84)
Interaktives Box-Werkzeug zur Bildauswahl. Zeichnen Sie enge positive Boxen und optionale negative Boxen, um SAM 3 zu präzisen Grenzen zu führen, dann Vorschau und Iteration.
SAM3PointCollector (#79)
Interaktives Punkt-Werkzeug zur Videoinitialisierung. Fügen Sie einige gut platzierte positive und negative Klicks auf dem ersten Frame hinzu, um SAM 3 zu steuern, wenn Text oder Boxen allein mehrdeutig sind.
VHS_LoadVideo (#75)
Videoaufnahme aus der Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Verwenden Sie es, um Ihren Clip zu laden, Frames zu inspizieren und Bilder an die SAM 3 Videoknoten zur Initialisierung und Propagation zu übergeben.
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken PozzettiAndrea für ComfyUI-SAM3 für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und Repositories, die unten verlinkt sind.
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
