Ce workflow apporte SAM 3 à ComfyUI pour une détection et une segmentation d'objets rapide et précise sur les images et vidéos. Il est conçu pour les artistes et les utilisateurs techniques qui ont besoin de masques fiables pour le VFX, le rotoscopie, la composition et le montage assisté par AI. Avec des invites textuelles, une sélection de boîtes et une propagation d'image en image, SAM 3 fournit des masques cohérents qui tiennent dans des scènes complexes.
Le graphe comprend deux pipelines d'images et un pipeline vidéo. Vous pouvez segmenter en décrivant la cible avec du texte, en dessinant des boîtes autour de celle-ci, ou en initialisant sur la première image vidéo et en laissant SAM 3 propager les masques à travers tout le clip. Le workflow prévisualise les résultats en ligne et enregistre les superpositions de visualisation et les sorties uniquement en masque.
En un coup d'œil, le workflow comporte trois voies : Image avec invite textuelle sémantique, Image avec invite de boîte, et Vidéo avec initialisation plus propagation. Toutes les voies utilisent les mêmes poids SAM 3 et convergent sur les prévisualisations et les sauvegardes.
Le groupe Image charge une image avec LoadImage (#4) et les poids SAM 3 avec LoadSAM3Model (#1). De là, l'image s'écoule vers deux branches de segmentation SAM 3 alternatives pour que vous puissiez choisir le moyen le plus rapide d'obtenir un masque propre. Chaque branche retourne une superposition de visualisation pour un contrôle rapide et un masque binaire pour le travail en aval. Utilisez la voie image lorsque vous avez besoin d'un seul masque SAM 3 de haute qualité rapidement.
Ce chemin segmente avec des indices de langage. DeepTranslatorTextNode (#16) vous permet de taper une description en langage naturel dans votre langue préférée, qui est ensuite acheminée vers SAM3Segmentation (#82). SAM 3 interprète le texte et retourne un masque plus une superposition colorisée que vous pouvez enregistrer via SaveImage (#23) et inspecter avec MaskPreview (#15). Utilisez des noms concrets et courts pour de meilleurs résultats, et affinez en étant plus spécifique si plusieurs objets correspondent.
Ce chemin segmente avec des boîtes de région d'intérêt. Utilisez SAM3BBoxCollector (#84) pour dessiner une ou plusieurs boîtes autour de ce que vous voulez, puis exécutez SAM3Segmentation (#81) pour calculer le masque guidé par ces boîtes. Vous pouvez ajouter des boîtes d'exclusion pour supprimer les distracteurs proches et obtenir un masque SAM 3 plus serré. Les résultats sont prévisualisés avec PreviewImage (#65) et MaskPreview (#66) et peuvent être exportés pour le travail de comp.
Le groupe Vidéo charge votre clip avec VHS_LoadVideo (#75) de la Video Helper Suite et initialise le modèle avec SAM3VideoModelLoader (#69). Utilisez SAM3VideoSegmentation (#78) pour définir la sélection initiale sur la première image, éventuellement aidé par des points via SAM3PointCollector (#79) ou des boîtes si nécessaire. Ensuite, SAM3Propagate (#77) fait avancer et reculer SAM 3 à travers le clip pour maintenir des masques cohérents même avec le mouvement et l'occlusion. SAM3VideoOutput (#76) produit à la fois une visualisation de superposition et des masques par image, qui sont transformés en MP4 avec CreateVideo (#70, #74) et enregistrés via SaveVideo (#71, #72). Utilisez cette voie lorsque vous avez besoin de masques SAM 3 propres et temporellement stables pour le montage ou la composition.
LoadSAM3Model (#1)
Charge les poids SAM 3 pour les tâches d'image. Si vous échangez des poids, gardez vos voies d'image cohérentes pour que les prévisualisations et les sauvegardes reflètent le même backbone SAM 3.
SAM3Segmentation (#82)
Segmentation d'image basée sur le texte. Fournissez une invite textuelle claire décrivant la classe cible. Si plusieurs objets sont détectés, rendez la description plus spécifique ou effectuez plusieurs passages pour collecter des masques SAM 3 séparés.
SAM3Segmentation (#81)
Segmentation d'image basée sur les boîtes. Dessinez une ou plusieurs boîtes serrées autour de l'objet. Utilisez des boîtes supplémentaires pour exclure les régions adjacentes si le masque saigne, puis réexécutez pour affiner la sortie SAM 3.
SAM3VideoModelLoader (#69)
Initialise le modèle vidéo SAM 3 pour la voie clip. Gardez cela cohérent avec votre choix de modèle d'image si vous prévoyez de faire correspondre les apparences à travers les images fixes et les séquences.
SAM3VideoSegmentation (#78)
Définit la sélection initiale sur la première image en utilisant du texte, des points ou des boîtes. Commencez avec l'indice le plus simple qui isole clairement le sujet. Si le masque de la première image est parfait, la propagation sera plus facile et plus rapide à travers le reste de la vidéo.
SAM3Propagate (#77)
Propage le masque initial à travers la séquence. Ajustez son comportement lorsque les sujets se déplacent rapidement, changent d'échelle ou s'occluent partiellement. Si une dérive apparaît après un changement de scène ou une coupe, réinitialisez près de la coupe et propagez à nouveau pour garder les résultats SAM 3 stables.
SAM3VideoOutput (#76)
Emballe les masques SAM 3 propagés et une visualisation de superposition. Utilisez le MP4 de superposition pour réviser la qualité image par image, et utilisez le MP4 uniquement en masque pour l'ingestion directe dans le comp ou l'éditorial.
SAM3BBoxCollector (#84)
Outil de boîte interactif pour la sélection d'image. Dessinez des boîtes positives serrées et des boîtes négatives optionnelles pour guider SAM 3 vers des limites précises, puis prévisualisez et itérez.
SAM3PointCollector (#79)
Outil de point interactif pour l'initialisation vidéo. Ajoutez quelques clics positifs et négatifs bien placés sur la première image pour diriger SAM 3 lorsque le texte ou les boîtes seuls sont ambigus.
VHS_LoadVideo (#75)
Ingestion vidéo de la Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Utilisez-le pour charger votre clip, inspecter les images et remettre les images aux nœuds vidéo SAM 3 pour l'initialisation et la propagation.
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement PozzettiAndrea pour ComfyUI-SAM3 pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux référentiels liés ci-dessous.
Note: L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
RunComfy est la première ComfyUI plateforme, offrant des ComfyUI en ligne environnement et services, ainsi que des workflows ComfyUI proposant des visuels époustouflants. RunComfy propose également AI Playground, permettant aux artistes d'utiliser les derniers outils d'IA pour créer des œuvres d'art incroyables.
