Questo workflow porta SAM 3 a ComfyUI per un rilevamento e segmentazione degli oggetti rapidi e accurati su immagini e video. È progettato per artisti e utenti tecnici che necessitano di maschere affidabili per VFX, rotoscoping, compositing e editing assistito dall'AI. Con prompt testuali, selezione di box e propagazione da fotogramma a fotogramma, SAM 3 fornisce maschere coerenti che si mantengono in scene complesse.
Il grafico include due pipeline di immagini e una pipeline video. Puoi segmentare descrivendo il target con testo, disegnando box intorno ad esso, o inizializzando sul primo fotogramma video e lasciando che SAM 3 propaghi le maschere attraverso l'intero clip. Il workflow visualizza i risultati in linea e salva sovrapposizioni di visualizzazione e output solo maschera.
A colpo d'occhio, il workflow ha tre corsie: Immagine con prompt testuale semantico, Immagine con prompt di box e Video con inizializzazione più propagazione. Tutte le corsie utilizzano gli stessi pesi SAM 3 e convergono su anteprime e salvataggi.
Il gruppo Immagine carica un'immagine con LoadImage (#4) e i pesi SAM 3 con LoadSAM3Model (#1). Da lì, l'immagine fluisce in due rami di segmentazione SAM 3 alternativi, così puoi scegliere il modo più veloce per ottenere una maschera pulita. Ogni ramo restituisce una sovrapposizione di visualizzazione per un QC rapido e una maschera binaria per il lavoro a valle. Usa la corsia immagine quando hai bisogno rapidamente di una singola maschera SAM 3 di alta qualità.
Questo percorso segmenta con suggerimenti linguistici. DeepTranslatorTextNode (#16) ti permette di digitare una descrizione in linguaggio naturale nella tua lingua preferita, che viene poi instradata in SAM3Segmentation (#82). SAM 3 interpreta il testo e restituisce una maschera più una sovrapposizione colorata che puoi salvare tramite SaveImage (#23) e ispezionare con MaskPreview (#15). Usa nomi concreti e brevi per ottenere i migliori risultati e affina essendo più specifico se più oggetti corrispondono.
Questo percorso segmenta con box di regione d'interesse. Usa SAM3BBoxCollector (#84) per disegnare uno o più box intorno a ciò che desideri, poi esegui SAM3Segmentation (#81) per calcolare la maschera guidata da quei box. Puoi aggiungere box di esclusione per sopprimere distrattori vicini e ottenere una maschera SAM 3 più stretta. I risultati vengono visualizzati con PreviewImage (#65) e MaskPreview (#66) e possono essere esportati per il lavoro di composizione.
Il gruppo Video carica il tuo clip con VHS_LoadVideo (#75) dalla Video Helper Suite e inizializza il modello con SAM3VideoModelLoader (#69). Usa SAM3VideoSegmentation (#78) per impostare la selezione iniziale sul primo fotogramma, opzionalmente aiutato da punti tramite SAM3PointCollector (#79) o box se necessario. Poi SAM3Propagate (#77) guida SAM 3 avanti e indietro nel clip per mantenere maschere coerenti anche con movimento e occlusione. SAM3VideoOutput (#76) fornisce sia una visualizzazione di sovrapposizione che maschere per fotogramma, che vengono trasformate in MP4 con CreateVideo (#70, #74) e salvate tramite SaveVideo (#71, #72). Usa questa corsia quando hai bisogno di maschere SAM 3 pulite e temporalmente stabili per editing o compositing.
LoadSAM3Model (#1)
Carica i pesi SAM 3 per le attività di immagine. Se cambi i pesi, mantieni le tue corsie immagine coerenti in modo che le anteprime e i salvataggi riflettano lo stesso backbone SAM 3.
SAM3Segmentation (#82)
Segmentazione delle immagini guidata dal testo. Fornisci un prompt testuale chiaro che descriva la classe target. Se vengono rilevati più oggetti, rendi la descrizione più specifica o esegui più passaggi per raccogliere maschere SAM 3 separate.
SAM3Segmentation (#81)
Segmentazione delle immagini guidata da box. Disegna uno o più box stretti intorno all'oggetto. Usa box aggiuntivi per escludere regioni adiacenti se la maschera si espande, poi esegui nuovamente per affinare l'output SAM 3.
SAM3VideoModelLoader (#69)
Inizializza il modello video SAM 3 per la corsia del clip. Mantieni questo coerente con la tua scelta di modello di immagine se intendi abbinare gli aspetti tra immagini fisse e filmati.
SAM3VideoSegmentation (#78)
Imposta la selezione iniziale sul primo fotogramma utilizzando testo, punti o box. Inizia con l'indicazione più semplice che isola chiaramente il soggetto. Se la maschera del primo fotogramma è perfetta, la propagazione sarà più facile e veloce nel resto del video.
SAM3Propagate (#77)
Propaga la maschera iniziale attraverso la sequenza. Regola il suo comportamento quando i soggetti si muovono rapidamente, cambiano scala o si occludono parzialmente. Se appare un drift dopo un cambio di scena o un taglio, re-inizializza vicino al taglio e propaga di nuovo per mantenere stabili i risultati SAM 3.
SAM3VideoOutput (#76)
Confeziona le maschere SAM 3 propagate e una visualizzazione di sovrapposizione. Usa l'MP4 di sovrapposizione per esaminare la qualità fotogramma per fotogramma, e usa l'MP4 solo maschera per l'ingestione diretta in composizione o editoriale.
SAM3BBoxCollector (#84)
Strumento box interattivo per la selezione delle immagini. Disegna box positivi stretti e box negativi opzionali per guidare SAM 3 verso bordi precisi, poi visualizza e itera.
SAM3PointCollector (#79)
Strumento punto interattivo per l'inizializzazione video. Aggiungi alcuni clic positivi e negativi ben posizionati sul primo fotogramma per indirizzare SAM 3 quando testo o box da soli sono ambigui.
VHS_LoadVideo (#75)
Ingestione video dalla Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Usalo per caricare il tuo clip, ispezionare i fotogrammi e trasferire le immagini ai nodi video SAM 3 per l'inizializzazione e la propagazione.
Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo calorosamente PozzettiAndrea per ComfyUI-SAM3 per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati sotto.
Nota: L'uso dei modelli, dataset e codici di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.
RunComfy è la piattaforma principale ComfyUI che offre ComfyUI online ambiente e servizi, insieme a workflow di ComfyUI con visuali mozzafiato. RunComfy offre anche AI Playground, consentire agli artisti di sfruttare gli ultimi strumenti di AI per creare arte incredibile.
