SAM 3.1 ComfyUI | Segmentazione e Tracciamento Nativo

SAM 3.1 ComfyUI workflow per segmentazione guidata da prompt, anteprima di bounding-box e tracciamento video#

Questo workflow SAM 3.1 ComfyUI offre segmentazione di immagini nativa e promptabile con visualizzazione immediata delle bounding-box e tracciamento accurato degli oggetti video con estrazione della maschera. Utilizza i nodi comfy-core SAM 3.1 integrati, quindi ottieni prestazioni e stabilità di prim'ordine senza nodi personalizzati di terze parti. Il risultato sono maschere rapide e riutilizzabili per compositing, isolamento o editing a valle su immagini fisse e video completi.

Progettato per artisti, editor e ingegneri di pipeline, SAM 3.1 ComfyUI rende facile iniziare con un suggerimento testuale o una bounding box, convalidare la selezione sul posto, quindi propagare una maschera pulita attraverso un intero clip. Dietro le quinte carica il checkpoint sam3.1_multiplex_fp16 ed esegue i nodi ufficiali SAM3_Detect, SAM3_VideoTrack, SAM3_TrackToMask e SAM3_TrackPreview che sono stati aggiunti come supporto nativo a ComfyUI. Vedi i file del modello su Hugging Face e la richiesta di pull ComfyUI per ulteriori informazioni: Comfy-Org/sam3.1, ComfyUI PR #13408.

Modelli chiave nel workflow Comfyui SAM 3.1 ComfyUI#

• Checkpoint Comfy-Org SAM 3.1 Multiplex FP16. I pesi sam3.1_multiplex_fp16 alimentano la segmentazione di immagini promptabile e il tracker utilizzato dai nodi SAM 3.1. Caricalo con CheckpointLoaderSimple e fornisce il modello e il text-conditioning utilizzati in tutto il workflow. Fonte: Comfy-Org/sam3.1.

Come usare il workflow Comfyui SAM 3.1 ComfyUI#

Il grafico ha due corsie indipendenti. Il Mascheramento Immagine ti consente di segmentare un'immagine fissa e visualizzare in anteprima le bounding box per un rapido QA. Il Mascheramento Video inizializza una maschera su un fotogramma di riferimento, traccia l'oggetto attraverso il clip, visualizza in anteprima il tracciamento ed esporta maschere per l'editing o il compositing.

Mascheramento Immagine#

Questa corsia è ideale per fotogrammi singoli o per prototipare il tuo prompt prima di eseguire il tracciamento. Inizia caricando un'immagine con LoadImage (#4) e scrivendo un breve suggerimento testuale in CLIPTextEncode (#3), ad esempio "un uccello" o "auto rossa". Il text conditioning e l'immagine vengono forniti a SAM3_Detect (#1), che restituisce sia una maschera che bounding box automatiche intorno al soggetto rilevato. Usa MaskPreview+ (#5) per ispezionare visivamente la maschera e DrawBBoxes (#6) più PreviewImage (#7) per confermare il posizionamento della scatola. Se la selezione è ambigua, affina il testo, aggiungi punti positivi o negativi, o fornisci una scatola più stretta per indirizzare SAM 3.1 ComfyUI verso l'oggetto desiderato.

Mascheramento Video#

Questa corsia scala la stessa segmentazione promptabile a clip completi. Carica un video in VHS_LoadVideoPath (#12); fornisce fotogrammi e metadati al resto del grafico. Un fotogramma di riferimento viene scelto con ImageFromBatch (#15) e descritto in testo tramite CLIPTextEncode (#14). SAM3_Detect (#13) genera la maschera iniziale su quel fotogramma, che serve come seme per SAM3_VideoTrack (#8) per seguire l'oggetto attraverso i rimanenti fotogrammi utilizzando lo stesso modello e text conditioning. Converte il tracciamento risultante in maschere per fotogramma con SAM3_TrackToMask (#9). Per un'anteprima binaria rapida o per invertire il primo piano/sfondo, le maschere passano attraverso InvertMask (#19) e MaskToImage (#16), quindi VHS_VideoCombine (#17) può rendere un semplice video maschera. Per una visione interattiva del risultato sui fotogrammi originali, SAM3_TrackPreview (#10) riproduce l'overlay alla velocità del fotogramma sorgente fornita da VHS_VideoInfoLoaded (#18). Regola il fotogramma di partenza o il prompt se vedi un drift, quindi riesegui per bloccare il tracciamento prima di esportare.

Nodi chiave nel workflow Comfyui SAM 3.1 ComfyUI#

SAM3_Detect (#1)#

Genera una maschera dell'oggetto e bounding box per un'immagine fissa basata sul tuo prompt e punti o box opzionali. Usalo per convalidare rapidamente la tua scelta di soggetto in SAM 3.1 ComfyUI. Se la maschera sembra troppo ampia o include simili, stringi la descrizione testuale o disegna una scatola più vincolata per migliorare la separazione.

SAM3_Detect (#13)#

Inizia il tracker video producendo una maschera pulita su un fotogramma di riferimento scelto. La qualità del tracciamento in SAM 3.1 ComfyUI dipende fortemente da questo seme, quindi scegli un fotogramma in cui il bersaglio è visibile e minimamente occultato. Se il soggetto cambia aspetto più avanti, reinizializza da un altro fotogramma e concatena i risultati nel tuo editor.

SAM3_VideoTrack (#8)#

Propaga la maschera iniziale attraverso il clip utilizzando lo stesso modello e suggerimento testuale. Mantieni il conditioning coerente con il seme per evitare di agganciarti a oggetti simili. Quando tracci un soggetto piccolo o in rapido movimento, inizia da un fotogramma con un seme sicuro e considera di accorciare il segmento se l'illuminazione o la scala cambiano drasticamente.

SAM3_TrackToMask (#9)#

Converte l'output del tracker in una sequenza di maschere per l'esportazione. Puoi esportare tutti i fotogrammi o selezionare un sottoinsieme inserendo indici o intervalli semplici. Questo è il punto di passaggio per scrivere un'anteprima video o per salvare una sequenza PNG per il compositing nel tuo strumento preferito.

SAM3_TrackPreview (#10)#

Riproduce il risultato tracciato sui fotogrammi originali per un controllo qualità istantaneo. L'anteprima utilizza la velocità del fotogramma sorgente riportata da VHS_VideoInfoLoaded (#18) in modo che il timing corrisponda al tuo clip. Usalo per individuare drift, fallimenti di occultamento o scambi di identità prima di impegnarti in un'esportazione completa.

Extra opzionali#

• Usa bounding box per disambiguare quando il tuo prompt testuale corrisponde a più soggetti nel fotogramma.
• Se il bersaglio cambia scala o illuminazione a metà clip, dividi il video in segmenti logici e reinizia SAM3_Detect (#13) per segmento per un tracciamento più stabile.
• Per esportazioni di maschere come sequenza di immagini, instrada SAM3_TrackToMask (#9) a un nodo SaveImage invece di VHS_VideoCombine (#17).
• Mantieni i prompt brevi e specifici. In SAM 3.1 ComfyUI, sostantivi concisi con un attributo chiave spesso superano lunghe prose.
• Quando hai bisogno solo di una maschera fissa da un fotogramma specifico, esegui il Mascheramento Immagine su quel fotogramma direttamente per bypassare il tracciamento e risparmiare tempo.

Ringraziamenti#

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo sentitamente Innovate Futures @ Benji per il workflow ComfyUI con segmentazione SAM 3.1, Comfy-Org per i file del modello SAM 3.1 e Comfy-Org per il supporto nativo ComfyUI SAM 3.1 PR per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• Innovate Futures @ Benji/Workflow source
  • Docs / Note di rilascio: ComfyUI With SAM 3.1 Segmentation Native Support! No Custom Node Needed @Benji's AI Playground
• Comfy-Org/SAM 3.1 model files
  • GitHub: facebookresearch/sam3
  • Hugging Face: Comfy-Org/sam3.1
  • arXiv: SAM 3: Segment Anything with Concepts (2511.16719)
  • Docs / Note di rilascio: RELEASE_SAM3p1.md
• Comfy-Org/Native ComfyUI SAM 3.1 support PR
  • GitHub: Comfy-Org/ComfyUI#13408

Nota: L'uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e condizioni fornite dai loro autori e manutentori.