SAM 3 | 先進的物件分割工具

SAM 3 影像和影片分割工作流程適用於 ComfyUI

此工作流程將 SAM 3 引入 ComfyUI，實現快速、精確的影像和影片物件檢測與分割。專為需要可靠遮罩的藝術家和技術用戶設計，適用於視覺特效、轉描、合成和 AI 協助編輯。透過文字提示、框選和幀對幀傳播，SAM 3 提供在複雜場景中也能堅持的一致遮罩。

圖形包括兩個影像管道和一個影片管道。您可以通過文字描述目標、在其周圍繪製框，或在影片的第一幀初始化並讓 SAM 3 傳播遮罩來進行分割。工作流程會內嵌預覽結果並保存可視化覆蓋和僅遮罩輸出。

Comfyui SAM 3 工作流程中的關鍵模型

• SAM 3. 此圖形中驅動影像和影片遮罩的下一代分割模型。通過 ComfyUI 集成於 PozzettiAndrea/ComfyUI-SAM3 提供，能夠在多樣內容中提供穩健的遮罩和區域提案。

如何使用 Comfyui SAM 3 工作流程

概覽此工作流程有三個通道：語意文字提示影像、框選提示影像和初始化加傳播影片。所有通道使用相同的 SAM 3 權重並在預覽和保存時趨同。

影像

影像組通過 LoadImage (#4) 加載圖片，並通過 LoadSAM3Model (#1) 加載 SAM 3 權重。從這裡開始，影像流向兩個替代的 SAM 3 分割分支，您可以選擇最快速的方法獲得乾淨的遮罩。每個分支返回一個可視化覆蓋以快速 QC 和一個二進制遮罩以供下游使用。當您需要快速獲得單一高品質的 SAM 3 遮罩時，請使用影像通道。

影像解決方案一：語意分割

此路徑使用語言提示進行分割。DeepTranslatorTextNode (#16) 允許您在偏好的語言中輸入自然語言描述，然後將其路由到 SAM3Segmentation (#82)。SAM 3 會解釋文本並返回遮罩加上可保存的彩色覆蓋，通過 SaveImage (#23) 保存並通過 MaskPreview (#15) 檢查。使用簡短、具體的名詞以獲得最佳效果，如果匹配多個物件，可以通過更具體的描述進行細化。

影像解決方案三：框選

此路徑使用感興趣區域框進行分割。使用 SAM3BBoxCollector (#84) 繪製一個或多個框圍繞您想要的物件，然後運行 SAM3Segmentation (#81) 來計算由這些框引導的遮罩。您可以添加排除框以抑制附近的干擾並獲得更緊密的 SAM 3 遮罩。結果可通過 PreviewImage (#65) 和 MaskPreview (#66) 預覽並可導出以供合成使用。

影片

影片組通過 VHS_LoadVideo (#75) 從 Video Helper Suite 加載影片並使用 SAM3VideoModelLoader (#69) 初始化模型。使用 SAM3VideoSegmentation (#78) 在第一幀上設置初始選擇，選擇性地通過 SAM3PointCollector (#79) 或框進行輔助。如果需要，然後 SAM3Propagate (#77) 在影片中前後推進，以保持即使在運動和遮擋下也能一致的遮罩。SAM3VideoOutput (#76) 生成覆蓋可視化和每幀遮罩，這些遮罩會轉換成 MP4 由 CreateVideo (#70, #74) 創建並通過 SaveVideo (#71, #72) 保存。當您需要乾淨、時間穩定的 SAM 3 遮罩以供編輯或合成時，請使用此通道。

Comfyui SAM 3 工作流程中的關鍵節點

LoadSAM3Model (#1)
加載影像任務的 SAM 3 權重。如果您更換權重，請保持影像通道一致，以便預覽和保存反映相同的 SAM 3 主幹。

SAM3Segmentation (#82)
基於文本的影像分割。提供清晰的文本提示描述目標類別。如果檢測到多個物件，請使描述更具體或運行多次以收集單獨的 SAM 3 遮罩。

SAM3Segmentation (#81)
基於框的影像分割。繪製一個或多個緊密的框圍繞物件。如果遮罩溢出，使用額外的框排除相鄰區域，然後重新運行以精緻 SAM 3 輸出。

SAM3VideoModelLoader (#69)
為影片通道初始化 SAM 3 影片模型。如果您計劃匹配靜態圖像和影片的外觀，請保持這與您的影像模型選擇一致。

SAM3VideoSegmentation (#78)
使用文本、點或框在第一幀上設置初始選擇。從簡單的提示開始，清晰地隔離主題。如果第一幀遮罩完美，則在影片其餘部分的傳播會更簡單和更快速。

SAM3Propagate (#77)
在序列中傳播初始遮罩。當主題快速移動、改變比例或部分遮擋時調整其行為。如果在場景更改或剪輯後出現漂移，請在剪輯附近重新初始化並再次傳播，以保持 SAM 3 結果穩定。

SAM3VideoOutput (#76)
打包傳播的 SAM 3 遮罩和可視化覆蓋。使用覆蓋 MP4 逐幀審查質量，並使用僅遮罩 MP4 直接用於合成或編輯。

SAM3BBoxCollector (#84)
互動式框工具，用於影像選擇。繪製緊密的正面框和可選的負面框以引導 SAM 3 朝向精確邊界，然後預覽和迭代。

SAM3PointCollector (#79)
互動式點工具，用於影片初始化。在第一幀上添加幾個放置良好的正面和負面點擊，以引導 SAM 3 當文本或框單獨不明確時。

VHS_LoadVideo (#75)
來自 Video Helper Suite 的影片引入 Kosinkadink/ComfyUI-VideoHelperSuite。用於加載影片、檢查幀，並將影像交給 SAM 3 影片節點進行初始化和傳播。

可選擴展

• 在困難的影像上結合文本和框。使用特定的 SAM 3 文本描述，然後添加框以抑制附近的雜亂。
• 對於多個物件，分別運行多次並保存每個 SAM 3 遮罩，然後在您的合成器中分層。
• 在具有硬剪輯的影片上，在剪輯後重新初始化，然後再次運行 SAM 3 傳播以獲得一致的遮罩。
• 保存覆蓋和僅遮罩影片。覆蓋適合 QC，而僅遮罩文件直接進入轉描或鍵控管道。

致謝

此工作流程實現並基於以下作品和資源。我們感謝 PozzettiAndrea 為 ComfyUI-SAM3 的貢獻和維護。詳情請參閱下方鏈接的原始文檔和存儲庫。

資源

• PozzettiAndrea/ComfyUI-SAM3
  • GitHub: ComfyUI-SAM3

注意：使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。