이 워크플로우는 SAM 3를 ComfyUI에 도입하여 이미지와 비디오 모두에서 빠르고 정확한 객체 감지 및 세분화를 제공합니다. VFX, 로토스코핑, 합성 및 AI 지원 편집을 위해 신뢰할 수 있는 마스크가 필요한 아티스트와 기술 사용자에게 적합합니다. 텍스트 프롬프트, 박스 선택 및 프레임 간 전파를 통해 SAM 3은 복잡한 장면에서도 일관된 마스크를 제공합니다.
그래프에는 두 개의 이미지 파이프라인과 하나의 비디오 파이프라인이 포함되어 있습니다. 텍스트로 대상을 설명하거나, 주위에 박스를 그리거나, 첫 번째 비디오 프레임에서 초기화하고 SAM 3이 전체 클립을 통해 마스크를 전파하도록 할 수 있습니다. 워크플로우는 결과를 인라인으로 미리 보고 시각화 오버레이와 마스크 전용 출력을 저장합니다.
한눈에 보면, 워크플로우에는 세 가지 경로가 있습니다: 시맨틱 텍스트 프롬프트를 사용하는 이미지, 박스 프롬프트를 사용하는 이미지, 초기화 및 전파를 사용하는 비디오. 모든 경로는 동일한 SAM 3 가중치를 사용하고 미리보기 및 저장에 수렴합니다.
이미지 그룹은 LoadImage (#4)로 사진을 로드하고 LoadSAM3Model (#1)로 SAM 3 가중치를 로드합니다. 그런 다음, 이미지는 SAM 3 세분화의 두 가지 대체 경로로 흐르므로 깨끗한 마스크를 얻는 가장 빠른 방법을 선택할 수 있습니다. 각 경로는 빠른 품질 검사(QC)를 위한 시각화 오버레이와 다운스트림 작업을 위한 이진 마스크를 반환합니다. 고품질 SAM 3 마스크가 빨리 필요한 경우 이미지 경로를 사용하십시오.
이 경로는 언어 단서를 사용하여 세분화합니다. DeepTranslatorTextNode (#16)를 통해 선호하는 언어로 자연어 설명을 입력하면 SAM3Segmentation (#82)으로 라우팅됩니다. SAM 3은 텍스트를 해석하고 마스크와 색상 오버레이를 반환하며, 이를 SaveImage (#23)로 저장하고 MaskPreview (#15)로 검토할 수 있습니다. 최상의 결과를 위해 짧고 구체적인 명사를 사용하고, 여러 객체가 일치하는 경우 보다 구체적으로 수정하십시오.
이 경로는 관심 영역 박스를 사용하여 세분화합니다. SAM3BBoxCollector (#84)를 사용하여 원하는 대상을 둘러싼 하나 이상의 박스를 그린 다음 SAM3Segmentation (#81)를 실행하여 이러한 박스로 안내된 마스크를 계산합니다. 인접한 방해물을 억제하고 더 조밀한 SAM 3 마스크를 얻기 위해 제외 박스를 추가할 수 있습니다. 결과는 PreviewImage (#65) 및 MaskPreview (#66)로 미리 보고 컴포지션 작업을 위해 내보낼 수 있습니다.
비디오 그룹은 VHS_LoadVideo (#75)로 Video Helper Suite에서 클립을 로드하고 SAM3VideoModelLoader (#69)로 모델을 초기화합니다. 첫 번째 프레임에 초기 선택을 설정하려면 SAM3VideoSegmentation (#78)을 사용하고, 필요한 경우 SAM3PointCollector (#79) 또는 박스를 통해 보조할 수 있습니다. 그런 다음 SAM3Propagate (#77)가 SAM 3을 클립을 통해 앞으로 및 뒤로 구동하여 이동 및 가림에도 불구하고 일관된 마스크를 유지합니다. SAM3VideoOutput (#76)은 오버레이 시각화와 프레임별 마스크를 제공하며, 이를 CreateVideo (#70, #74)로 MP4로 변환하고 SaveVideo (#71, #72)로 저장합니다. 편집 또는 합성을 위해 깨끗하고 시간적으로 안정된 SAM 3 마스크가 필요할 때 이 경로를 사용하세요.
LoadSAM3Model (#1)
이미지 작업을 위한 SAM 3 가중치를 로드합니다. 가중치를 교체하는 경우, 미리보기 및 저장이 동일한 SAM 3 백본을 반영하도록 이미지 경로를 일관되게 유지하십시오.
SAM3Segmentation (#82)
텍스트 기반 이미지 세분화. 대상 클래스를 설명하는 명확한 텍스트 프롬프트를 제공하십시오. 여러 객체가 감지되면 설명을 더 구체적으로 하거나 여러 번 실행하여 개별 SAM 3 마스크를 수집하십시오.
SAM3Segmentation (#81)
박스 기반 이미지 세분화. 객체 주위에 하나 이상의 조밀한 박스를 그립니다. 마스크가 번지는 경우 인접한 영역을 제외하기 위해 추가 박스를 사용한 다음 SAM 3 출력을 세밀하게 조정하기 위해 다시 실행하십시오.
SAM3VideoModelLoader (#69)
클립 경로를 위한 SAM 3 비디오 모델을 초기화합니다. 정지 화면과 영상 전반에서 일관된 시각적 효과를 맞추려는 경우 이미지 모델 선택과 일관되게 유지하십시오.
SAM3VideoSegmentation (#78)
텍스트, 포인트 또는 박스를 사용하여 첫 번째 프레임에 초기 선택을 설정합니다. 주제를 명확하게 격리하는 가장 간단한 단서로 시작하십시오. 첫 프레임 마스크가 완벽하면 나머지 비디오에서 전파가 더 쉽고 빠릅니다.
SAM3Propagate (#77)
시퀀스를 통해 초기 마스크를 전파합니다. 주제가 빠르게 움직이거나 크기가 변경되거나 부분적으로 가려질 때 동작을 조정하십시오. 장면 변경 또는 컷 후 드리프트가 나타나면 컷 근처에서 다시 초기화하고 SAM 3 결과를 안정적으로 유지하기 위해 다시 전파하십시오.
SAM3VideoOutput (#76)
전파된 SAM 3 마스크와 시각화 오버레이를 패키징합니다. 오버레이 MP4를 사용하여 프레임 단위로 품질을 검토하고, 마스크 전용 MP4를 컴포지션 또는 편집에 직접 삽입하십시오.
SAM3BBoxCollector (#84)
이미지 선택을 위한 인터랙티브 박스 도구. 조밀한 긍정적 박스와 선택적 부정적 박스를 그려 SAM 3이 정확한 경계로 안내하도록 하십시오. 그런 다음 미리 보고 반복하십시오.
SAM3PointCollector (#79)
비디오 초기화를 위한 인터랙티브 포인트 도구. 첫 번째 프레임에 잘 배치된 긍정적 및 부정적 클릭을 추가하여 텍스트 또는 박스만으로 모호한 경우 SAM 3을 조정하십시오.
VHS_LoadVideo (#75)
Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite에서 비디오를 가져옵니다. 클립을 로드하고, 프레임을 검사하고, 이미지를 SAM 3 비디오 노드에 전달하여 초기화 및 전파를 수행하십시오.
이 워크플로우는 다음의 작업 및 자원을 구현하고 구축합니다. ComfyUI-SAM3에 대한 기여와 유지보수에 대해 PozzettiAndrea에게 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지보수자가 제공한 라이선스 및 조건에 따릅니다.
RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Playground, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.
