Este flujo de trabajo trae SAM 3 a ComfyUI para detección y segmentación rápida y precisa de objetos tanto en imágenes como en videos. Está diseñado para artistas y usuarios técnicos que necesitan máscaras confiables para VFX, rotoscopia, composición y edición asistida por AI. Con indicaciones de texto, selección de cuadros y propagación de cuadro a cuadro, SAM 3 ofrece máscaras consistentes que se mantienen en escenas complejas.
El gráfico incluye dos canales de imagen y un canal de video. Puedes segmentar describiendo el objetivo con texto, dibujando cuadros alrededor o iniciando en el primer cuadro de video y dejando que SAM 3 propague máscaras a través de todo el clip. El flujo de trabajo previsualiza resultados en línea y guarda superposiciones de visualización y salidas solo de máscara.
A simple vista, el flujo de trabajo tiene tres carriles: Imagen con indicación de texto semántico, Imagen con indicación de cuadro, y Video con inicialización más propagación. Todos los carriles usan los mismos pesos SAM 3 y convergen en previsualizaciones y guardados.
El grupo de Imagen carga una imagen con LoadImage (#4) y los pesos SAM 3 con LoadSAM3Model (#1). Desde allí, la imagen fluye a dos ramas alternativas de segmentación SAM 3 para que puedas elegir la forma más rápida de obtener una máscara limpia. Cada rama devuelve una superposición de visualización para QC rápido y una máscara binaria para trabajar posteriormente. Usa el carril de imagen cuando necesites una sola máscara SAM 3 de alta calidad rápidamente.
Esta ruta segmenta con pistas de lenguaje. DeepTranslatorTextNode (#16) te permite escribir una descripción en lenguaje natural en tu idioma preferido, que luego se envía a SAM3Segmentation (#82). SAM 3 interpreta el texto y devuelve una máscara más una superposición colorizada que puedes guardar a través de SaveImage (#23) e inspeccionar con MaskPreview (#15). Usa sustantivos cortos y concretos para obtener los mejores resultados, y refina siendo más específico si coinciden múltiples objetos.
Esta ruta segmenta con cuadros de región de interés. Usa SAM3BBoxCollector (#84) para dibujar uno o más cuadros alrededor de lo que deseas, luego ejecuta SAM3Segmentation (#81) para calcular la máscara guiada por esos cuadros. Puedes añadir cuadros de exclusión para suprimir distracciones cercanas y obtener una máscara SAM 3 más ajustada. Los resultados se previsualizan con PreviewImage (#65) y MaskPreview (#66) y pueden exportarse para trabajo de composición.
El grupo de Video carga tu clip con VHS_LoadVideo (#75) desde el Video Helper Suite e inicializa el modelo con SAM3VideoModelLoader (#69). Usa SAM3VideoSegmentation (#78) para establecer la selección inicial en el primer cuadro, opcionalmente asistida por puntos a través de SAM3PointCollector (#79) o cuadros si es necesario. Luego SAM3Propagate (#77) impulsa SAM 3 hacia adelante y hacia atrás a través del clip para mantener máscaras consistentes incluso con movimiento y oclusión. SAM3VideoOutput (#76) produce tanto una visualización de superposición como máscaras por cuadro, que se convierten en MP4s con CreateVideo (#70, #74) y se guardan a través de SaveVideo (#71, #72). Usa este carril cuando necesites máscaras SAM 3 limpias y temporalmente estables para edición o composición.
LoadSAM3Model (#1)
Carga los pesos de SAM 3 para tareas de imagen. Si cambias los pesos, mantén tus carriles de imagen consistentes para que las previsualizaciones y guardados reflejen el mismo backbone de SAM 3.
SAM3Segmentation (#82)
Segmentación de imagen impulsada por texto. Proporciona una indicación de texto clara que describa la clase objetivo. Si se detectan múltiples objetos, haz la descripción más específica o ejecuta múltiples pasadas para recolectar máscaras SAM 3 separadas.
SAM3Segmentation (#81)
Segmentación de imagen impulsada por cuadro. Dibuja uno o más cuadros ajustados alrededor del objeto. Usa cuadros adicionales para excluir regiones adyacentes si la máscara se desborda, luego vuelve a ejecutar para refinar la salida de SAM 3.
SAM3VideoModelLoader (#69)
Inicializa el modelo de video SAM 3 para el carril de clip. Mantén esto consistente con tu elección de modelo de imagen si planeas emparejar looks entre imágenes fijas y metraje.
SAM3VideoSegmentation (#78)
Establece la selección inicial en el primer cuadro usando texto, puntos o cuadros. Comienza con la pista más simple que aísle limpiamente el sujeto. Si la máscara del primer cuadro es perfecta, la propagación será más fácil y rápida a través del resto del video.
SAM3Propagate (#77)
Propaga la máscara inicial a través de la secuencia. Ajusta su comportamiento cuando los sujetos se mueven rápidamente, cambian de escala o se ocluyen parcialmente. Si aparece deriva después de un cambio de escena o corte, reinicia cerca del corte y propaga nuevamente para mantener los resultados de SAM 3 estables.
SAM3VideoOutput (#76)
Empaqueta las máscaras SAM 3 propagadas y una superposición de visualización. Usa el MP4 de superposición para revisar la calidad cuadro a cuadro, y usa el MP4 solo de máscara para ingreso directo en composición o edición.
SAM3BBoxCollector (#84)
Herramienta interactiva de cuadro para selección de imagen. Dibuja cuadros positivos ajustados y cuadros negativos opcionales para guiar a SAM 3 hacia límites precisos, luego previsualiza e itera.
SAM3PointCollector (#79)
Herramienta interactiva de punto para inicialización de video. Añade unos pocos clics positivos y negativos bien colocados en el primer cuadro para guiar a SAM 3 cuando el texto o los cuadros por sí solos son ambiguos.
VHS_LoadVideo (#75)
Ingestión de video desde el Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Úsalo para cargar tu clip, inspeccionar cuadros y pasar imágenes a los nodos de video SAM 3 para inicialización y propagación.
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a PozzettiAndrea por ComfyUI-SAM3 por sus contribuciones y mantenimiento. Para detalles autorizados, consulta la documentación y repositorios originales vinculados a continuación.
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
RunComfy es la principal ComfyUI plataforma, ofreciendo ComfyUI en línea entorno y servicios, junto con flujos de trabajo de ComfyUI con impresionantes imágenes. RunComfy también ofrece AI Playground, permitiendo a los artistas aprovechar las últimas herramientas de AI para crear arte increíble.
