Segment Anything V2 (SAM2) | Segmentace videí

Segment Anything V2, také známý jako SAM2, je průlomový AI model vyvinutý společností Meta AI, který revolucionalizuje segmentaci objektů jak v obrázcích, tak ve videích.

Co je Segment Anything V2 (SAM2)?

Segment Anything V2 je špičkový AI model, který umožňuje bezproblémovou segmentaci objektů v obrázcích a videích. Je to první sjednocený model schopný zvládnout jak úkoly segmentace obrázků, tak videí s výjimečnou přesností a efektivitou. Segment Anything V2 (SAM2) staví na úspěchu svého předchůdce, Segment Anything Model (SAM), a rozšiřuje jeho schopnosti na segmentaci videí.

S Segment Anything V2 (SAM2) mohou uživatelé vybrat objekt v obrázku nebo video snímku pomocí různých vstupních metod, jako je kliknutí, ohraničovací rámeček nebo maska. Model pak inteligentně segmentuje vybraný objekt, což umožňuje přesnou extrakci a manipulaci s konkrétními prvky ve vizuálním obsahu.

Hlavní body Segment Anything V2 (SAM2)

1. Špičkový výkon: SAM2 překonává existující modely v oblasti segmentace objektů jak v obrázcích, tak ve videích. Nastavuje nový standard pro přesnost a preciznost, překonává výkon svého předchůdce, SAM, v úkolech segmentace obrázků.
2. Sjednocený model pro obrázky a videa: SAM2 je prvním modelem, který poskytuje sjednocené řešení pro segmentaci objektů jak v obrázcích, tak ve videích. Tato integrace zjednodušuje pracovní postup pro AI umělce, protože mohou použít jeden model pro různé úkoly segmentace.
3. Vylepšené schopnosti segmentace videí: SAM2 vyniká v segmentaci objektů ve videích, zejména při sledování částí objektů. Překonává existující modely segmentace videí, nabízí zlepšenou přesnost a konzistenci při segmentaci objektů napříč snímky.
4. Snížený čas interakce: Ve srovnání s existujícími metodami interaktivní segmentace videí vyžaduje SAM2 méně času na interakci od uživatelů. Tato efektivita umožňuje AI umělcům více se soustředit na jejich kreativní vizi a méně času trávit ručními úkoly segmentace.
5. Jednoduchý design a rychlá inference: Navzdory svým pokročilým schopnostem si SAM2 udržuje jednoduchý architektonický design a nabízí rychlé rychlosti inference. To zajišťuje, že AI umělci mohou SAM2 bezproblémově integrovat do svých pracovních postupů, aniž by museli obětovat výkon nebo efektivitu.

Jak Segment Anything V2 (SAM2) funguje

SAM2 rozšiřuje schopnosti SAM na videa zavedením paměťového modulu na sezení, který zachycuje informace o cílovém objektu, což umožňuje sledování objektů napříč snímky, i při dočasných zmizeních. Streamovací architektura zpracovává video snímky jeden po druhém, chová se jako SAM pro obrázky, když je paměťový modul prázdný. To umožňuje zpracování videa v reálném čase a přirozenou generalizaci schopností SAM. SAM2 také podporuje interaktivní korekce masky na základě uživatelských podnětů. Model využívá transformátorovou architekturu se streamovací pamětí a je trénován na datasetu SA-V, největším datasetu segmentace videí, shromážděném pomocí modelu-in-the-loop datového motoru, který zlepšuje jak model, tak data prostřednictvím uživatelské interakce.

Jak používat Segment Anything V2 (SAM2) v ComfyUI

Tento pracovní postup ComfyUI podporuje výběr objektu v video snímku pomocí kliknutí/bodu.

1. Načtení videa (Nahrát)

Načtení videa: Vyberte a nahrajte video, které chcete zpracovat.

2. Editor bodů

klíčový bod: Umístěte tři klíčové body na plátno—positive0, positive1 a negative0:

positive0 a positive1 označují oblasti nebo objekty, které chcete segmentovat.

negative0 pomáhá vyloučit nežádoucí oblasti nebo rušivé prvky.

points_store: Umožňuje přidávat nebo odebírat body podle potřeby k upřesnění procesu segmentace.

3. Výběr modelu SAM2

Možnosti modelu: Vyberte z dostupných modelů SAM2: tiny, small, large nebo base_plus. Větší modely poskytují lepší výsledky, ale vyžadují delší dobu načítání.

Pro více informací navštivte .