Segment Anything V2、別名SAM2は、Meta AIによって開発された画期的なAIモデルで、画像および動画のオブジェクトセグメンテーションを革命的に変えます。
Segment Anything V2は、画像および動画全体のオブジェクトをシームレスにセグメント化する最先端のAIモデルです。これは、画像と動画のセグメンテーションタスクの両方を優れた精度と効率で処理できる最初の統合モデルです。Segment Anything V2 (SAM2)は、その前身であるSegment Anything Model (SAM)の成功を基に、プロンプト可能な機能を動画領域に拡張しています。
Segment Anything V2 (SAM2)を使用すると、クリック、バウンディングボックス、またはマスクなどのさまざまな入力方法を使用して画像または動画フレーム内のオブジェクトを選択できます。その後、モデルは選択されたオブジェクトをインテリジェントにセグメント化し、視覚コンテンツ内の特定の要素を正確に抽出および操作できるようにします。
SAM2は、ターゲットオブジェクト情報をキャプチャするセッションごとのメモリモジュールを導入することにより、SAMのプロンプト可能な機能を動画に拡張します。これにより、一時的な消失があってもフレーム全体でオブジェクトを追跡できます。ストリーミングアーキテクチャは、動画フレームを1つずつ処理し、メモリモジュールが空のときにSAMのように動作します。これにより、リアルタイムの動画処理とSAMの機能の自然な一般化が可能になります。SAM2はまた、ユーザープロンプトに基づいたインタラクティブなマスク予測修正をサポートします。モデルは、ストリーミングメモリを備えたトランスフォーマーアーキテクチャを使用し、ユーザーインタラクションによってモデルとデータの両方を改善するモデルインザループデータエンジンを使用して収集された最大の動画セグメンテーションデータセットであるSA-Vデータセットでトレーニングされています。
このComfyUIワークフローは、クリック/ポイントを使用して動画フレーム内のオブジェクトを選択することをサポートします。
動画の読み込み: 処理したい動画を選択してアップロードします。
キーポイント: キャンバスに3つのキーポイント—positive0、positive1、およびnegative0を配置します：
positive0とpositive1は、セグメント化したい領域またはオブジェクトをマークします。
negative0は不要な領域や気を散らすものを除外するのに役立ちます。
ポイントストア: セグメンテーションプロセスを洗練するために、必要に応じてポイントを追加または削除できます。
モデルオプション: 利用可能なSAM2モデルから選択します：tiny、small、large、またはbase_plus。大きなモデルはより良い結果を提供しますが、ロード時間が長くなります。
詳細については、Kijai ComfyUI-segment-anything-2をご覧ください。
RunComfyは最高の ComfyUI プラットフォームです。次のものを提供しています: ComfyUIオンライン 環境とサービス、および ComfyUIワークフロー 魅力的なビジュアルが特徴です。 RunComfyはまた提供します AI Playground, アーティストが最新のAIツールを活用して素晴らしいアートを作成できるようにする。
