Рабочий процесс SAM 3.1 ComfyUI для сегментации с подсказками, предварительного просмотра ограничивающих рамок и отслеживания видео#
Этот рабочий процесс SAM 3.1 ComfyUI обеспечивает родную, поддающуюся подсказкам сегментацию изображений с мгновенной визуализацией ограничивающих рамок и точным по кадрам отслеживанием объектов на видео с извлечением масок. Он использует встроенные узлы comfy-core SAM 3.1, так что вы получаете первоклассную производительность и стабильность без сторонних пользовательских узлов. Результат — быстрые, многоразовые маски для композитинга, изоляции или дальнейшего редактирования как для статических изображений, так и для полноценных видео.
Разработанный для художников, редакторов и инженеров-пайплайнов, SAM 3.1 ComfyUI упрощает начало работы с текстовой подсказкой или ограничивающей рамкой, проверяет выбор на месте, а затем распространяет чистую маску через весь клип. В основе он загружает контрольную точку sam3.1_multiplex_fp16 и запускает официальные узлы SAM3_Detect, SAM3_VideoTrack, SAM3_TrackToMask и SAM3_TrackPreview, которые были добавлены как родная поддержка в ComfyUI. См. файлы модели на Hugging Face и запрос на изменение ComfyUI для фона: Comfy-Org/sam3.1, ComfyUI PR #13408.
Основные модели в рабочем процессе Comfyui SAM 3.1 ComfyUI#
- Контрольная точка Comfy-Org SAM 3.1 Multiplex FP16. Веса sam3.1_multiplex_fp16 обеспечивают сегментацию изображений с подсказками и трекер, используемый узлами SAM 3.1. Загрузите его с помощью
CheckpointLoaderSimple, и он предоставит модель и текстовую кондиционировку, используемую в ходе всего рабочего процесса. Источник: Comfy-Org/sam3.1.
Как использовать рабочий процесс Comfyui SAM 3.1 ComfyUI#
График имеет два независимых пути. Маскирование изображений позволяет сегментировать статическое изображение и предварительно просматривать ограничивающие рамки для быстрой проверки качества. Маскирование видео инициализирует маску на эталонном кадре, отслеживает объект по всему клипу, предварительно просматривает трек и экспортирует маски для редактирования или композитинга.
Маскирование изображений#
Этот путь идеально подходит для одиночных кадров или для прототипирования вашей подсказки перед запуском отслеживания. Начните с загрузки изображения с помощью LoadImage (#4) и написания короткой текстовой подсказки в CLIPTextEncode (#3), например, "птица" или "красная машина". Текстовая кондиционировка и изображение передаются в SAM3_Detect (#1), который возвращает как маску, так и автоматические ограничивающие рамки вокруг обнаруженного объекта. Используйте MaskPreview+ (#5) для визуального осмотра матового слоя и DrawBBoxes (#6) плюс PreviewImage (#7) для подтверждения размещения рамки. Если выбор неоднозначен, уточните текст, добавьте положительные или отрицательные точки или предоставьте более узкую рамку, чтобы направить SAM 3.1 ComfyUI к предполагаемому объекту.
Маскирование видео#
Этот путь масштабирует ту же сегментацию с подсказками на полные клипы. Загрузите видео в VHS_LoadVideoPath (#12); оно предоставляет кадры и метаданные остальной части графика. Эталонный кадр выбирается с помощью ImageFromBatch (#15) и описывается в тексте через CLIPTextEncode (#14). SAM3_Detect (#13) генерирует начальную маску на этом кадре, которая служит семенем для SAM3_VideoTrack (#8) для отслеживания объекта по оставшимся кадрам с использованием той же модели и текстовой кондиционировки. Преобразуйте полученный трек в последовательность масок по кадрам с помощью SAM3_TrackToMask (#9). Для быстрого двоичного предварительного просмотра или инверсии переднего/заднего плана маски проходят через InvertMask (#19) и MaskToImage (#16), затем VHS_VideoCombine (#17) может отрендерить простое видео с маской. Для интерактивного просмотра результата на оригинальных кадрах SAM3_TrackPreview (#10) воспроизводит наложение с исходной частотой кадров, предоставленной VHS_VideoInfoLoaded (#18). Отрегулируйте начальный кадр или подсказку, если вы видите дрейф, затем перезапустите, чтобы зафиксировать трек перед экспортом.
Основные узлы в рабочем процессе Comfyui SAM 3.1 ComfyUI#
SAM3_Detect (#1)#
Создает маску объекта и ограничивающие рамки для статического изображения на основе вашей подсказки и дополнительных точек или рамок. Используйте его для быстрой проверки вашего выбора объекта в SAM 3.1 ComfyUI. Если маска кажется слишком широкой или включает похожие объекты, уточните текстовое описание или нарисуйте более ограниченную рамку для улучшения разделения.
SAM3_Detect (#13)#
Инициализирует видеотрекер, создавая чистую маску на выбранном эталонном кадре. Качество отслеживания в SAM 3.1 ComfyUI сильно зависит от этого семени, поэтому выберите кадр, где цель видна и минимально закрыта. Если объект позже меняет внешний вид, повторно инициализируйте с другого кадра и объедините результаты в вашем редакторе.
SAM3_VideoTrack (#8)#
Распространяет начальную маску по клипу, используя ту же модель и текстовую подсказку. Сохраняйте кондиционирование согласованным с семенем, чтобы избежать привязки к похожим объектам. При отслеживании небольшого или быстро движущегося объекта начните с кадра с уверенным семенем и рассмотрите возможность сокращения сегмента, если освещение или масштаб резко меняются.
SAM3_TrackToMask (#9)#
Преобразует выходные данные трекера в последовательность масок для экспорта. Вы можете вывести все кадры или выбрать подмножество, введя индексы или простые диапазоны. Это точка передачи для записи видео-просмотра или сохранения последовательности PNG для композитинга в вашем предпочтительном инструменте.
SAM3_TrackPreview (#10)#
Воспроизводит отслеженный результат поверх оригинальных кадров для мгновенного контроля качества. Предварительный просмотр использует частоту кадров источника, сообщенную VHS_VideoInfoLoaded (#18), так что время соответствует вашему клипу. Используйте его, чтобы заметить дрейф, сбои в закрытии или замены идентичности перед тем, как перейти к полному экспорту.
Дополнительные возможности#
- Используйте ограничивающие рамки, чтобы устранить неоднозначность, когда ваша текстовая подсказка соответствует нескольким объектам в кадре.
- Если цель изменяет масштаб или освещение в середине клипа, разделите видео на логические сегменты и повторно инициализируйте
SAM3_Detect(#13) для каждого сегмента для более стабильного отслеживания. - Для экспорта матов в виде последовательности изображений направьте
SAM3_TrackToMask(#9) на узелSaveImageвместоVHS_VideoCombine(#17). - Держите подсказки короткими и конкретными. В SAM 3.1 ComfyUI короткие существительные с ключевым атрибутом часто превосходят длинную прозу.
- Когда вам нужна только статическая маска с определенного кадра, выполните маскирование изображения на этом кадре напрямую, чтобы обойти отслеживание и сэкономить время.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем Innovate Futures @ Benji за рабочий процесс сегментации ComfyUI с SAM 3.1, Comfy-Org за файлы модели SAM 3.1 и Comfy-Org за PR поддержки Native ComfyUI SAM 3.1 за их вклад и обслуживание. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Источник рабочего процесса Innovate Futures @ Benji
- Документы / Примечания к выпуску: ComfyUI With SAM 3.1 Segmentation Native Support! No Custom Node Needed @Benji's AI Playground
- Файлы модели Comfy-Org/SAM 3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- arXiv: SAM 3: Segment Anything with Concepts (2511.16719)
- Документы / Примечания к выпуску: RELEASE_SAM3p1.md
- Поддержка PR Comfy-Org/Native ComfyUI SAM 3.1
- GitHub: Comfy-Org/ComfyUI#13408
Примечание: Использование ссылочных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.