Este workflow traz o SAM 3 para o ComfyUI para detecção e segmentação rápida e precisa de objetos tanto em imagens quanto em vídeos. É projetado para artistas e usuários técnicos que precisam de máscaras confiáveis para VFX, rotoscopia, composição e edição assistida por AI. Com prompts de texto, seleção por caixas e propagação quadro a quadro, o SAM 3 entrega máscaras consistentes que se mantêm em cenas complexas.
O gráfico inclui dois pipelines de imagem e um pipeline de vídeo. Você pode segmentar descrevendo o alvo com texto, desenhando caixas ao redor dele ou iniciando no primeiro quadro de vídeo e deixando o SAM 3 propagar máscaras por todo o clipe. O workflow pré-visualiza os resultados inline e salva sobreposições de visualização e saídas somente de máscara.
À primeira vista, o workflow tem três vias: Imagem com prompt de texto semântico, Imagem com prompt de caixa, e Vídeo com inicialização mais propagação. Todas as vias usam os mesmos pesos SAM 3 e convergem em pré-visualizações e salvamentos.
O grupo de Imagem carrega uma foto com LoadImage (#4) e os pesos SAM 3 com LoadSAM3Model (#1). A partir daí, a imagem flui para dois ramos alternativos de segmentação SAM 3 para que você possa escolher a maneira mais rápida de obter uma máscara limpa. Cada ramo retorna uma sobreposição de visualização para QC rápido e uma máscara binária para trabalho posterior. Use a via de imagem quando precisar de uma única máscara SAM 3 de alta qualidade rapidamente.
Este caminho segmenta com pistas de linguagem. DeepTranslatorTextNode (#16) permite que você digite uma descrição em linguagem natural em seu idioma preferido, que é então roteada para SAM3Segmentation (#82). O SAM 3 interpreta o texto e retorna uma máscara além de uma sobreposição colorida que você pode salvar via SaveImage (#23) e inspecionar com MaskPreview (#15). Use substantivos curtos e concretos para melhores resultados, e refine sendo mais específico se vários objetos coincidirem.
Este caminho segmenta com caixas de região de interesse. Use SAM3BBoxCollector (#84) para desenhar uma ou mais caixas ao redor do que você deseja, então execute SAM3Segmentation (#81) para calcular a máscara guiada por essas caixas. Você pode adicionar caixas de exclusão para suprimir distrações próximas e obter uma máscara SAM 3 mais ajustada. Os resultados são pré-visualizados com PreviewImage (#65) e MaskPreview (#66) e podem ser exportados para trabalho de composição.
O grupo de Vídeo carrega seu clipe com VHS_LoadVideo (#75) da Video Helper Suite e inicializa o modelo com SAM3VideoModelLoader (#69). Use SAM3VideoSegmentation (#78) para definir a seleção inicial no primeiro quadro, opcionalmente auxiliado por pontos via SAM3PointCollector (#79) ou caixas, se necessário. Em seguida, SAM3Propagate (#77) impulsiona o SAM 3 para frente e para trás no clipe para manter máscaras consistentes mesmo com movimento e oclusão. SAM3VideoOutput (#76) fornece tanto uma visualização de sobreposição quanto máscaras por quadro, que são transformadas em MP4s com CreateVideo (#70, #74) e salvas via SaveVideo (#71, #72). Use esta via quando precisar de máscaras SAM 3 limpas e temporalmente estáveis para edição ou composição.
LoadSAM3Model (#1)
Carrega os pesos SAM 3 para tarefas de imagem. Se você trocar os pesos, mantenha suas vias de imagem consistentes para que as pré-visualizações e salvamentos reflitam o mesmo backbone SAM 3.
SAM3Segmentation (#82)
Segmentação de imagem orientada por texto. Forneça um prompt de texto claro descrevendo a classe alvo. Se múltiplos objetos forem detectados, torne a descrição mais específica ou execute múltiplas passagens para coletar máscaras SAM 3 separadas.
SAM3Segmentation (#81)
Segmentação de imagem orientada por caixas. Desenhe uma ou mais caixas apertadas ao redor do objeto. Use caixas adicionais para excluir regiões adjacentes se a máscara vazar, então execute novamente para refinar a saída SAM 3.
SAM3VideoModelLoader (#69)
Inicializa o modelo de vídeo SAM 3 para a via do clipe. Mantenha isso consistente com sua escolha de modelo de imagem se planejar combinar aparências entre stills e filmagens.
SAM3VideoSegmentation (#78)
Define a seleção inicial no primeiro quadro usando texto, pontos ou caixas. Comece com a pista mais simples que isola claramente o sujeito. Se a máscara do primeiro quadro for perfeita, a propagação será mais fácil e rápida no restante do vídeo.
SAM3Propagate (#77)
Propaga a máscara inicial através da sequência. Ajuste seu comportamento quando sujeitos se movem rapidamente, mudam de escala ou ocorrem parcialmente. Se aparecer desvio após uma mudança de cena ou corte, re-inicialize perto do corte e propague novamente para manter os resultados SAM 3 estáveis.
SAM3VideoOutput (#76)
Empacota as máscaras SAM 3 propagadas e uma sobreposição de visualização. Use o MP4 de sobreposição para revisar a qualidade quadro a quadro, e use o MP4 somente de máscara para ingestão direta em composição ou editorial.
SAM3BBoxCollector (#84)
Ferramenta de caixa interativa para seleção de imagem. Desenhe caixas positivas apertadas e caixas negativas opcionais para guiar o SAM 3 em direção a limites precisos, então pré-visualize e itere.
SAM3PointCollector (#79)
Ferramenta de ponto interativa para inicialização de vídeo. Adicione alguns cliques positivos e negativos bem colocados no primeiro quadro para direcionar o SAM 3 quando texto ou caixas sozinhos forem ambíguos.
VHS_LoadVideo (#75)
Ingestão de vídeo da Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Use para carregar seu clipe, inspecionar quadros e entregar imagens aos nós de vídeo SAM 3 para inicialização e propagação.
Este workflow implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos a PozzettiAndrea por ComfyUI-SAM3 por suas contribuições e manutenção. Para detalhes autoritativos, por favor, consulte a documentação original e os repositórios linkados abaixo.
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
RunComfy é a principal ComfyUI plataforma, oferecendo ComfyUI online ambiente e serviços, juntamente com fluxos de trabalho do ComfyUI apresentando visuais impressionantes. RunComfy também oferece AI Playground, permitindo que artistas utilizem as mais recentes ferramentas de AI para criar arte incrível.
