SAM 3 이미지 및 비디오 세분화 워크플로우 for ComfyUI
이 워크플로우는 SAM 3를 ComfyUI에 도입하여 이미지와 비디오 모두에서 빠르고 정확한 객체 감지 및 세분화를 제공합니다. VFX, 로토스코핑, 합성 및 AI 지원 편집을 위해 신뢰할 수 있는 마스크가 필요한 아티스트와 기술 사용자에게 적합합니다. 텍스트 프롬프트, 박스 선택 및 프레임 간 전파를 통해 SAM 3은 복잡한 장면에서도 일관된 마스크를 제공합니다.
그래프에는 두 개의 이미지 파이프라인과 하나의 비디오 파이프라인이 포함되어 있습니다. 텍스트로 대상을 설명하거나, 주위에 박스를 그리거나, 첫 번째 비디오 프레임에서 초기화하고 SAM 3이 전체 클립을 통해 마스크를 전파하도록 할 수 있습니다. 워크플로우는 결과를 인라인으로 미리 보고 시각화 오버레이와 마스크 전용 출력을 저장합니다.
Comfyui SAM 3 워크플로우의 주요 모델
- SAM 3. 이 그래프에서 이미지 및 비디오 마스킹을 지원하는 차세대 세분화 모델입니다. PozzettiAndrea/ComfyUI-SAM3를 통해 제공되며 다양한 콘텐츠에서 견고한 마스크와 영역 제안을 제공합니다.
Comfyui SAM 3 워크플로우 사용법
한눈에 보면, 워크플로우에는 세 가지 경로가 있습니다: 시맨틱 텍스트 프롬프트를 사용하는 이미지, 박스 프롬프트를 사용하는 이미지, 초기화 및 전파를 사용하는 비디오. 모든 경로는 동일한 SAM 3 가중치를 사용하고 미리보기 및 저장에 수렴합니다.
이미지
이미지 그룹은 LoadImage (#4)로 사진을 로드하고 LoadSAM3Model (#1)로 SAM 3 가중치를 로드합니다. 그런 다음, 이미지는 SAM 3 세분화의 두 가지 대체 경로로 흐르므로 깨끗한 마스크를 얻는 가장 빠른 방법을 선택할 수 있습니다. 각 경로는 빠른 품질 검사(QC)를 위한 시각화 오버레이와 다운스트림 작업을 위한 이진 마스크를 반환합니다. 고품질 SAM 3 마스크가 빨리 필요한 경우 이미지 경로를 사용하십시오.
이미지 솔루션 1: 시맨틱 세분화
이 경로는 언어 단서를 사용하여 세분화합니다. DeepTranslatorTextNode (#16)를 통해 선호하는 언어로 자연어 설명을 입력하면 SAM3Segmentation (#82)으로 라우팅됩니다. SAM 3은 텍스트를 해석하고 마스크와 색상 오버레이를 반환하며, 이를 SaveImage (#23)로 저장하고 MaskPreview (#15)로 검토할 수 있습니다. 최상의 결과를 위해 짧고 구체적인 명사를 사용하고, 여러 객체가 일치하는 경우 보다 구체적으로 수정하십시오.
이미지 솔루션 3: 박스
이 경로는 관심 영역 박스를 사용하여 세분화합니다. SAM3BBoxCollector (#84)를 사용하여 원하는 대상을 둘러싼 하나 이상의 박스를 그린 다음 SAM3Segmentation (#81)를 실행하여 이러한 박스로 안내된 마스크를 계산합니다. 인접한 방해물을 억제하고 더 조밀한 SAM 3 마스크를 얻기 위해 제외 박스를 추가할 수 있습니다. 결과는 PreviewImage (#65) 및 MaskPreview (#66)로 미리 보고 컴포지션 작업을 위해 내보낼 수 있습니다.
비디오
비디오 그룹은 VHS_LoadVideo (#75)로 Video Helper Suite에서 클립을 로드하고 SAM3VideoModelLoader (#69)로 모델을 초기화합니다. 첫 번째 프레임에 초기 선택을 설정하려면 SAM3VideoSegmentation (#78)을 사용하고, 필요한 경우 SAM3PointCollector (#79) 또는 박스를 통해 보조할 수 있습니다. 그런 다음 SAM3Propagate (#77)가 SAM 3을 클립을 통해 앞으로 및 뒤로 구동하여 이동 및 가림에도 불구하고 일관된 마스크를 유지합니다. SAM3VideoOutput (#76)은 오버레이 시각화와 프레임별 마스크를 제공하며, 이를 CreateVideo (#70, #74)로 MP4로 변환하고 SaveVideo (#71, #72)로 저장합니다. 편집 또는 합성을 위해 깨끗하고 시간적으로 안정된 SAM 3 마스크가 필요할 때 이 경로를 사용하세요.
Comfyui SAM 3 워크플로우의 주요 노드
LoadSAM3Model (#1) 이미지 작업을 위한 SAM 3 가중치를 로드합니다. 가중치를 교체하는 경우, 미리보기 및 저장이 동일한 SAM 3 백본을 반영하도록 이미지 경로를 일관되게 유지하십시오.
SAM3Segmentation (#82) 텍스트 기반 이미지 세분화. 대상 클래스를 설명하는 명확한 텍스트 프롬프트를 제공하십시오. 여러 객체가 감지되면 설명을 더 구체적으로 하거나 여러 번 실행하여 개별 SAM 3 마스크를 수집하십시오.
SAM3Segmentation (#81) 박스 기반 이미지 세분화. 객체 주위에 하나 이상의 조밀한 박스를 그립니다. 마스크가 번지는 경우 인접한 영역을 제외하기 위해 추가 박스를 사용한 다음 SAM 3 출력을 세밀하게 조정하기 위해 다시 실행하십시오.
SAM3VideoModelLoader (#69) 클립 경로를 위한 SAM 3 비디오 모델을 초기화합니다. 정지 화면과 영상 전반에서 일관된 시각적 효과를 맞추려는 경우 이미지 모델 선택과 일관되게 유지하십시오.
SAM3VideoSegmentation (#78) 텍스트, 포인트 또는 박스를 사용하여 첫 번째 프레임에 초기 선택을 설정합니다. 주제를 명확하게 격리하는 가장 간단한 단서로 시작하십시오. 첫 프레임 마스크가 완벽하면 나머지 비디오에서 전파가 더 쉽고 빠릅니다.
SAM3Propagate (#77) 시퀀스를 통해 초기 마스크를 전파합니다. 주제가 빠르게 움직이거나 크기가 변경되거나 부분적으로 가려질 때 동작을 조정하십시오. 장면 변경 또는 컷 후 드리프트가 나타나면 컷 근처에서 다시 초기화하고 SAM 3 결과를 안정적으로 유지하기 위해 다시 전파하십시오.
SAM3VideoOutput (#76) 전파된 SAM 3 마스크와 시각화 오버레이를 패키징합니다. 오버레이 MP4를 사용하여 프레임 단위로 품질을 검토하고, 마스크 전용 MP4를 컴포지션 또는 편집에 직접 삽입하십시오.
SAM3BBoxCollector (#84) 이미지 선택을 위한 인터랙티브 박스 도구. 조밀한 긍정적 박스와 선택적 부정적 박스를 그려 SAM 3이 정확한 경계로 안내하도록 하십시오. 그런 다음 미리 보고 반복하십시오.
SAM3PointCollector (#79) 비디오 초기화를 위한 인터랙티브 포인트 도구. 첫 번째 프레임에 잘 배치된 긍정적 및 부정적 클릭을 추가하여 텍스트 또는 박스만으로 모호한 경우 SAM 3을 조정하십시오.
VHS_LoadVideo (#75) Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite에서 비디오를 가져옵니다. 클립을 로드하고, 프레임을 검사하고, 이미지를 SAM 3 비디오 노드에 전달하여 초기화 및 전파를 수행하십시오.
선택적 추가 기능
- 어려운 이미지에서는 텍스트와 박스를 결합하십시오. 특정 SAM 3 텍스트 설명을 사용한 다음 인접한 혼란을 억제하기 위해 박스를 추가하십시오.
- 여러 객체가 있는 경우 개별 SAM 3 마스크를 저장한 후 각 객체를 별도로 실행하여 컴포지터에 레이어링하십시오.
- 어려운 컷이 있는 비디오에서는 컷 직후에 다시 초기화한 후 SAM 3 전파를 다시 실행하여 일관된 마스크를 얻으십시오.
- 오버레이와 마스크 전용 비디오를 모두 저장하십시오. 오버레이는 QC에 이상적이며, 마스크 전용 파일은 로토스코핑 또는 키잉 파이프라인에 바로 사용할 수 있습니다.
감사
이 워크플로우는 다음의 작업 및 자원을 구현하고 구축합니다. ComfyUI-SAM3에 대한 기여와 유지보수에 대해 PozzettiAndrea에게 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
자원
- PozzettiAndrea/ComfyUI-SAM3
- GitHub: ComfyUI-SAM3
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지보수자가 제공한 라이선스 및 조건에 따릅니다.
