SAM 3.1 ComfyUI 工作流程，用於提示引導的分割、邊界框預覽和視頻跟蹤#
此 SAM 3.1 ComfyUI 工作流程提供本地、可提示的圖像分割，具有即時邊界框可視化和幀準確的視頻物體跟蹤及遮罩提取。它使用內置的 comfy-core SAM 3.1 節點，因此您可以獲得一流的性能和穩定性，而無需第三方自定義節點。結果是快速、可重複使用的遮罩，用於合成、隔離或靜止圖像和完整視頻的下游編輯。
專為藝術家、編輯和管道工程師設計，SAM 3.1 ComfyUI 使您可以輕鬆地從文本提示或邊界框開始，當場驗證選擇，然後將乾淨的遮罩傳播到整個剪輯。它在引擎蓋下加載 sam3.1_multiplex_fp16 檢查點並運行官方的 SAM3_Detect、SAM3_VideoTrack、SAM3_TrackToMask 和 SAM3_TrackPreview 節點，這些節點作為本地支持添加到 ComfyUI。請參考 Hugging Face 上的模型文件和 ComfyUI 的 pull request 以獲取背景信息：Comfy-Org/sam3.1，ComfyUI PR #13408。
Comfyui SAM 3.1 ComfyUI 工作流程中的關鍵模型#
- Comfy-Org SAM 3.1 Multiplex FP16 檢查點。sam3.1_multiplex_fp16 權重驅動可提示的圖像分割和 SAM 3.1 節點使用的跟蹤器。用
CheckpointLoaderSimple加載它，並提供整個工作流程中使用的模型和文本調節。來源：Comfy-Org/sam3.1。
如何使用 Comfyui SAM 3.1 ComfyUI 工作流程#
圖形有兩個獨立的通道。圖像遮罩允許您分割靜止圖像並預覽邊界框以進行快速質量檢查。視頻遮罩在參考幀上初始化遮罩，跟蹤整個剪輯中的物體，預覽跟蹤並導出遮罩以進行編輯或合成。
圖像遮罩#
此通道非常適合單幀或在運行跟蹤之前對提示進行原型設計。首先使用 LoadImage (#4) 加載圖像，並在 CLIPTextEncode (#3) 中編寫簡短的文本提示，例如“a bird”或“red car”。文本調節和圖像被饋送到 SAM3_Detect (#1)，它返回遮罩和自動邊界框。使用 MaskPreview+ (#5) 來視覺檢查遮罩，並使用 DrawBBoxes (#6) 加上 PreviewImage (#7) 來確認框的位置。如果選擇不明確，請細化文本，添加正面或負面點，或提供更緊密的框以引導 SAM 3.1 ComfyUI 朝向預期的物體。
視頻遮罩#
此通道將相同的可提示分割擴展到整個剪輯。在 VHS_LoadVideoPath (#12) 中加載視頻；它將幀和元數據提供給圖形的其餘部分。使用 ImageFromBatch (#15) 選擇一個參考幀，並通過 CLIPTextEncode (#14) 用文本描述。SAM3_Detect (#13) 在該幀上生成初始遮罩，這作為 SAM3_VideoTrack (#8) 使用相同的模型和文本調節跟蹤剩餘幀中的物體的種子。使用 SAM3_TrackToMask (#9) 將結果跟蹤轉換為每幀遮罩。為了快速的二元預覽或反轉前景/背景，遮罩通過 InvertMask (#19) 和 MaskToImage (#16)，然後 VHS_VideoCombine (#17) 可以渲染簡單的遮罩視頻。要在原始幀上交互查看結果，SAM3_TrackPreview (#10) 以 VHS_VideoInfoLoaded (#18) 提供的源幀率播放覆蓋。調整起始幀或提示如果看到漂移，然後重新運行以在導出前鎖定跟蹤。
Comfyui SAM 3.1 ComfyUI 工作流程中的關鍵節點#
SAM3_Detect (#1)#
根據您的提示和可選的點或框生成靜止圖像的物體遮罩和邊界框。使用它可以快速驗證您的主題選擇。如果遮罩感覺過於寬泛或包括相似物，請收緊文本描述或繪製更受約束的框以改善分離。
SAM3_Detect (#13)#
通過在選定的參考幀上生成乾淨的遮罩來啟動視頻跟蹤器。SAM 3.1 ComfyUI 中的跟蹤質量很大程度上取決於此種子，因此請選擇一個目標可見且遮擋最小的幀。如果主題後來出現變化，請從另一幀重新初始化並在編輯器中連接結果。
SAM3_VideoTrack (#8)#
使用相同的模型和文本提示在剪輯中傳播初始遮罩。保持調節與種子一致，以避免附著在類似物體上。當跟蹤小型或快速移動的物體時，從具有信心種子的幀開始，如果光照或比例劇烈變化，請考慮縮短段。
SAM3_TrackToMask (#9)#
將跟蹤器輸出轉換為遮罩序列以便導出。您可以輸出所有幀或通過輸入索引或簡單範圍選擇子集。這是要么寫入視頻預覽，要么將 PNG 序列保存到您首選工具中的合成的交接點。
SAM3_TrackPreview (#10)#
在原始幀上播放跟蹤結果以進行即時質量控制。預覽使用 VHS_VideoInfoLoaded (#18) 報告的源幀率，因此時間與您的剪輯匹配。在提交完整導出之前，使用它來檢查漂移、遮擋失敗或身份交換。
可選附加功能#
- 使用邊界框在文本提示匹配幀中的多個主題時進行消歧。
- 如果目標在剪輯中途改變比例或光照，將視頻拆分為邏輯段，並為每個段重新播種
SAM3_Detect(#13) 以獲得更穩定的跟蹤。 - 對於作為圖像序列的遮罩導出，將
SAM3_TrackToMask(#9) 路由到SaveImage節點，而不是VHS_VideoCombine(#17)。 - 保持提示簡短且具體。在 SAM 3.1 ComfyUI 中，具有關鍵屬性的簡潔名詞通常比冗長的散文表現更好。
- 當您只需要特定幀的靜止遮罩時，直接在該幀上運行圖像遮罩以繞過跟蹤並節省時間。
感謝#
此工作流程實施並建立在以下工作和資源之上。我們衷心感謝 Innovate Futures @ Benji 提供的 ComfyUI 與 SAM 3.1 分割工作流程，Comfy-Org 提供的 SAM 3.1 模型文件，以及 Comfy-Org 提供的 Native ComfyUI SAM 3.1 支持 PR 的貢獻和維護。有關權威詳細信息，請參閱以下鏈接的原始文檔和存儲庫。
資源#
- Innovate Futures @ Benji/工作流程來源
- Comfy-Org/SAM 3.1 模型文件
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- arXiv: SAM 3: Segment Anything with Concepts (2511.16719)
- 文檔 / 發布說明：RELEASE_SAM3p1.md
- Comfy-Org/Native ComfyUI SAM 3.1 支持 PR
- GitHub: Comfy-Org/ComfyUI#13408
注意：使用參考的模型、數據集和代碼需遵循其作者和維護者提供的各自許可和條款。