Segment Anything V2 (SAM2) | Videosegmentering

Segment Anything V2, även känd som SAM2, är en banbrytande AI-modell utvecklad av Meta AI som revolutionerar objektsegmentering i både bilder och videor.

Vad är Segment Anything V2 (SAM2)?

Segment Anything V2 är en toppmodern AI-modell som möjliggör sömlös segmentering av objekt i både bilder och videor. Det är den första enade modellen som klarar både bild- och videosegmenteringsuppgifter med exceptionell noggrannhet och effektivitet. Segment Anything V2 (SAM2) bygger på framgången med sin föregångare, Segment Anything Model (SAM), genom att utvidga dess promptbara kapaciteter till videodomänen.

Med Segment Anything V2 (SAM2) kan användare välja ett objekt i en bild eller video med olika inmatningsmetoder, såsom ett klick, en avgränsningsruta eller en mask. Modellen segmenterar sedan intelligent det valda objektet, vilket möjliggör exakt extraktion och manipulation av specifika element inom det visuella innehållet.

Höjdpunkter av Segment Anything V2 (SAM2)

1. Toppmodern Prestanda: SAM2 överträffar befintliga modeller inom objektsegmentering för både bilder och videor. Den sätter en ny standard för noggrannhet och precision, och överträffar prestandan hos sin föregångare, SAM, i bildsegmenteringsuppgifter.
2. Enad Modell för Bilder och Videor: SAM2 är den första modellen som erbjuder en enad lösning för segmentering av objekt i både bilder och videor. Denna integration förenklar arbetsflödet för AI-konstnärer, eftersom de kan använda en enda modell för olika segmenteringsuppgifter.
3. Förbättrade Videosegmenteringsförmågor: SAM2 utmärker sig i videosegmentering av objekt, särskilt i att spåra objektets delar. Den överträffar befintliga videosegmenteringsmodeller och erbjuder förbättrad noggrannhet och konsekvens i att segmentera objekt över ramar.
4. Höjdpunkter av Segment A. Minskad Interaktionstid: Jämfört med befintliga interaktiva videosegmenteringsmetoder kräver SAM2 mindre interaktionstid från användare. Denna effektivitet gör det möjligt för AI-konstnärer att fokusera mer på sin kreativa vision och spendera mindre tid på manuella segmenteringsuppgifter.
5. Enkel Design och Snabb Inferens: Trots sina avancerade förmågor bibehåller SAM2 en enkel arkitektonisk design och erbjuder snabba inferenshastigheter. Detta säkerställer att AI-konstnärer kan integrera SAM2 i sina arbetsflöden sömlöst utan att kompromissa med prestanda eller effektivitet.

Hur Segment Anything V2 (SAM2) Fungerar

SAM2 utvidgar SAM:s promptbara kapacitet till videor genom att introducera en minnesmodul per session som fångar information om målobjektet, vilket möjliggör objektspårning över ramar, även med tillfälliga försvinnanden. Den strömmande arkitekturen bearbetar videoramar en i taget och beter sig som SAM för bilder när minnesmodulen är tom. Detta möjliggör realtidsvideobearbetning och naturlig generalisering av SAM:s kapaciteter. SAM2 stödjer också interaktiva maskprediktionskorrigeringar baserat på användarpromptar. Modellen använder en transformerarkitektur med strömmande minne och är tränad på SA-V-datasetet, det största videosegmenteringsdatasetet som samlats in med en modell-i-loopen datamotor som förbättrar både modellen och data genom användarinteraktion.

Hur man använder Segment Anything V2 (SAM2) i ComfyUI

Detta ComfyUI-arbetsflöde stödjer val av objekt i en videoram med ett klick/pek.

1. Ladda Video (Upload)

Videoladdning: Välj och ladda upp videon du vill bearbeta.

2. Redigera Punkter

nyckelpunkt: Placera tre nyckelpunkter på duken—positive0, positive1 och negative0:

positive0 och positive1 markerar de områden eller objekt du vill segmentera.

negative0 hjälper till att utesluta oönskade områden eller distraktioner.

points_store: Låter dig lägga till eller ta bort punkter efter behov för att förfina segmenteringsprocessen.

3. Modellval av SAM2

Modellalternativ: Välj bland tillgängliga SAM2-modeller: tiny, small, large eller base_plus. Större modeller ger bättre resultat men kräver längre laddningstid.

För mer information, besök .