Этот рабочий процесс приносит SAM 3 в ComfyUI для быстрого и точного обнаружения и сегментации объектов как на изображениях, так и на видео. Он разработан для художников и технических пользователей, которым нужны надежные маски для VFX, ротоскопирования, композитинга и редактирования с поддержкой AI. С помощью текстовых подсказок, выбора области и распространения между кадрами SAM 3 обеспечивает стабильные маски, которые сохраняются в сложных сценах.
Граф включает в себя два конвейера изображений и один видеоконвейер. Вы можете сегментировать, описывая цель текстом, обводя её в рамки или инициализируя на первом кадре видео, позволяя SAM 3 распространять маски по всему клипу. Рабочий процесс предварительно просматривает результаты и сохраняет наложения визуализации и только маски.
На первый взгляд, рабочий процесс имеет три линии: Изображение с семантическими текстовыми подсказками, Изображение с подсказками в виде рамок и Видео с инициализацией и распространением. Все линии используют одни и те же веса SAM 3 и сходятся на предварительных просмотрах и сохранениях.
Группа Изображения загружает картинку с помощью LoadImage (#4) и веса SAM 3 с помощью LoadSAM3Model (#1). Оттуда изображение направляется в две альтернативные ветви сегментации SAM 3, чтобы вы могли выбрать самый быстрый способ получить чистую маску. Каждая ветвь возвращает наложение визуализации для быстрой проверки качества и бинарную маску для дальнейшей работы. Используйте линию изображения, когда вам нужна одна высококачественная маска SAM 3 быстро.
Этот путь сегментирует с помощью языковых подсказок. DeepTranslatorTextNode (#16) позволяет вам ввести описание на естественном языке на предпочитаемом вами языке, которое затем направляется в SAM3Segmentation (#82). SAM 3 интерпретирует текст и возвращает маску плюс цветное наложение, которое вы можете сохранить через SaveImage (#23) и проверить с помощью MaskPreview (#15). Используйте короткие, конкретные существительные для наилучших результатов и уточняйте, если несколько объектов совпадают.
Этот путь сегментирует с помощью рамок интереса. Используйте SAM3BBoxCollector (#84), чтобы нарисовать одну или несколько рамок вокруг того, что вы хотите, затем запустите SAM3Segmentation (#81), чтобы вычислить маску, ориентируясь на эти рамки. Вы можете добавить исключающие рамки, чтобы подавить близлежащие отвлекающие объекты и получить более точную маску SAM 3. Результаты предварительно просматриваются с помощью PreviewImage (#65) и MaskPreview (#66) и могут быть экспортированы для композита.
Группа Видео загружает ваш клип с помощью VHS_LoadVideo (#75) из Video Helper Suite и инициализирует модель с помощью SAM3VideoModelLoader (#69). Используйте SAM3VideoSegmentation (#78), чтобы установить начальный выбор на первом кадре, при необходимости с помощью точек через SAM3PointCollector (#79) или рамок. Затем SAM3Propagate (#77) продвигает SAM 3 вперед и назад по клипу, чтобы поддерживать стабильные маски даже при движении и перекрытии. SAM3VideoOutput (#76) предоставляет как наложение визуализации, так и маски для каждого кадра, которые преобразуются в MP4 с помощью CreateVideo (#70, #74) и сохраняются через SaveVideo (#71, #72). Используйте эту линию, когда вам нужны чистые, временно стабильные маски SAM 3 для редактирования или композитинга.
LoadSAM3Model (#1)
Загружает веса SAM 3 для задач с изображениями. Если вы меняете веса, держите ваши линии изображений последовательными, чтобы предварительные просмотры и сохранения отражали ту же основу SAM 3.
SAM3Segmentation (#82)
Сегментация изображения на основе текста. Предоставьте четкую текстовую подсказку, описывающую целевой класс. Если обнаружено несколько объектов, сделайте описание более конкретным или выполните несколько проходов, чтобы собрать отдельные маски SAM 3.
SAM3Segmentation (#81)
Сегментация изображения на основе рамок. Нарисуйте одну или несколько плотных рамок вокруг объекта. Используйте дополнительные рамки, чтобы исключить соседние регионы, если маска растекается, затем повторите, чтобы уточнить выход SAM 3.
SAM3VideoModelLoader (#69)
Инициализирует видео модель SAM 3 для линии клипа. Поддерживайте её последовательной с вашим выбором модели изображения, если вы планируете сопоставлять образы на неподвижных кадрах и видео.
SAM3VideoSegmentation (#78)
Устанавливает начальный выбор на первом кадре с использованием текста, точек или рамок. Начните с самой простой подсказки, которая четко изолирует объект. Если маска на первом кадре идеальна, распространение будет проще и быстрее по остальной части видео.
SAM3Propagate (#77)
Распространяет начальную маску по последовательности. Регулируйте её поведение, когда объекты быстро движутся, меняют масштаб или частично перекрываются. Если после смены сцены или разреза появляется дрейф, повторно инициализируйте рядом с разрезом и распространите снова, чтобы сохранить стабильность результатов SAM 3.
SAM3VideoOutput (#76)
Упаковывает распространенные маски SAM 3 и наложение визуализации. Используйте наложение MP4 для проверки качества кадр за кадром, а файл только с маской для прямого импорта в композитинг или редактор.
SAM3BBoxCollector (#84)
Интерактивный инструмент рамок для выбора изображений. Нарисуйте плотные положительные рамки и опциональные отрицательные рамки, чтобы направить SAM 3 к точным границам, затем предварительно просмотрите и повторите.
SAM3PointCollector (#79)
Интерактивный инструмент точек для инициализации видео. Добавьте несколько хорошо расположенных положительных и отрицательных кликов на первом кадре, чтобы направить SAM 3, когда текст или рамки неоднозначны.
VHS_LoadVideo (#75)
Загрузка видео из Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Используйте его для загрузки вашего клипа, проверки кадров и передачи изображений в видео узлы SAM 3 для инициализации и распространения.
Этот рабочий процесс реализует и строится на следующих работах и ресурсах. Мы выражаем искреннюю благодарность PozzettiAndrea за ComfyUI-SAM3 за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.
