SAM 3 Flujo de Trabajo de Segmentación de Imágenes y Videos para ComfyUI
Este flujo de trabajo trae SAM 3 a ComfyUI para detección y segmentación rápida y precisa de objetos tanto en imágenes como en videos. Está diseñado para artistas y usuarios técnicos que necesitan máscaras confiables para VFX, rotoscopia, composición y edición asistida por AI. Con indicaciones de texto, selección de cuadros y propagación de cuadro a cuadro, SAM 3 ofrece máscaras consistentes que se mantienen en escenas complejas.
El gráfico incluye dos canales de imagen y un canal de video. Puedes segmentar describiendo el objetivo con texto, dibujando cuadros alrededor o iniciando en el primer cuadro de video y dejando que SAM 3 propague máscaras a través de todo el clip. El flujo de trabajo previsualiza resultados en línea y guarda superposiciones de visualización y salidas solo de máscara.
Modelos clave en el flujo de trabajo SAM 3 de Comfyui
- SAM 3. El modelo de segmentación de próxima generación que potencia el enmascarado de imágenes y videos en este gráfico. Se proporciona a través de la integración de ComfyUI en PozzettiAndrea/ComfyUI-SAM3 y ofrece máscaras robustas y propuestas de regiones en contenido diverso.
Cómo usar el flujo de trabajo SAM 3 de Comfyui
A simple vista, el flujo de trabajo tiene tres carriles: Imagen con indicación de texto semántico, Imagen con indicación de cuadro, y Video con inicialización más propagación. Todos los carriles usan los mismos pesos SAM 3 y convergen en previsualizaciones y guardados.
Imagen
El grupo de Imagen carga una imagen con LoadImage (#4) y los pesos SAM 3 con LoadSAM3Model (#1). Desde allí, la imagen fluye a dos ramas alternativas de segmentación SAM 3 para que puedas elegir la forma más rápida de obtener una máscara limpia. Cada rama devuelve una superposición de visualización para QC rápido y una máscara binaria para trabajar posteriormente. Usa el carril de imagen cuando necesites una sola máscara SAM 3 de alta calidad rápidamente.
Solución de Imagen Uno: Segmentación Semántica
Esta ruta segmenta con pistas de lenguaje. DeepTranslatorTextNode (#16) te permite escribir una descripción en lenguaje natural en tu idioma preferido, que luego se envía a SAM3Segmentation (#82). SAM 3 interpreta el texto y devuelve una máscara más una superposición colorizada que puedes guardar a través de SaveImage (#23) e inspeccionar con MaskPreview (#15). Usa sustantivos cortos y concretos para obtener los mejores resultados, y refina siendo más específico si coinciden múltiples objetos.
Solución de Imagen Tres: Cuadros
Esta ruta segmenta con cuadros de región de interés. Usa SAM3BBoxCollector (#84) para dibujar uno o más cuadros alrededor de lo que deseas, luego ejecuta SAM3Segmentation (#81) para calcular la máscara guiada por esos cuadros. Puedes añadir cuadros de exclusión para suprimir distracciones cercanas y obtener una máscara SAM 3 más ajustada. Los resultados se previsualizan con PreviewImage (#65) y MaskPreview (#66) y pueden exportarse para trabajo de composición.
Video
El grupo de Video carga tu clip con VHS_LoadVideo (#75) desde el Video Helper Suite e inicializa el modelo con SAM3VideoModelLoader (#69). Usa SAM3VideoSegmentation (#78) para establecer la selección inicial en el primer cuadro, opcionalmente asistida por puntos a través de SAM3PointCollector (#79) o cuadros si es necesario. Luego SAM3Propagate (#77) impulsa SAM 3 hacia adelante y hacia atrás a través del clip para mantener máscaras consistentes incluso con movimiento y oclusión. SAM3VideoOutput (#76) produce tanto una visualización de superposición como máscaras por cuadro, que se convierten en MP4s con CreateVideo (#70, #74) y se guardan a través de SaveVideo (#71, #72). Usa este carril cuando necesites máscaras SAM 3 limpias y temporalmente estables para edición o composición.
Nodos clave en el flujo de trabajo SAM 3 de Comfyui
LoadSAM3Model (#1) Carga los pesos de SAM 3 para tareas de imagen. Si cambias los pesos, mantén tus carriles de imagen consistentes para que las previsualizaciones y guardados reflejen el mismo backbone de SAM 3.
SAM3Segmentation (#82) Segmentación de imagen impulsada por texto. Proporciona una indicación de texto clara que describa la clase objetivo. Si se detectan múltiples objetos, haz la descripción más específica o ejecuta múltiples pasadas para recolectar máscaras SAM 3 separadas.
SAM3Segmentation (#81) Segmentación de imagen impulsada por cuadro. Dibuja uno o más cuadros ajustados alrededor del objeto. Usa cuadros adicionales para excluir regiones adyacentes si la máscara se desborda, luego vuelve a ejecutar para refinar la salida de SAM 3.
SAM3VideoModelLoader (#69) Inicializa el modelo de video SAM 3 para el carril de clip. Mantén esto consistente con tu elección de modelo de imagen si planeas emparejar looks entre imágenes fijas y metraje.
SAM3VideoSegmentation (#78) Establece la selección inicial en el primer cuadro usando texto, puntos o cuadros. Comienza con la pista más simple que aísle limpiamente el sujeto. Si la máscara del primer cuadro es perfecta, la propagación será más fácil y rápida a través del resto del video.
SAM3Propagate (#77) Propaga la máscara inicial a través de la secuencia. Ajusta su comportamiento cuando los sujetos se mueven rápidamente, cambian de escala o se ocluyen parcialmente. Si aparece deriva después de un cambio de escena o corte, reinicia cerca del corte y propaga nuevamente para mantener los resultados de SAM 3 estables.
SAM3VideoOutput (#76) Empaqueta las máscaras SAM 3 propagadas y una superposición de visualización. Usa el MP4 de superposición para revisar la calidad cuadro a cuadro, y usa el MP4 solo de máscara para ingreso directo en composición o edición.
SAM3BBoxCollector (#84) Herramienta interactiva de cuadro para selección de imagen. Dibuja cuadros positivos ajustados y cuadros negativos opcionales para guiar a SAM 3 hacia límites precisos, luego previsualiza e itera.
SAM3PointCollector (#79) Herramienta interactiva de punto para inicialización de video. Añade unos pocos clics positivos y negativos bien colocados en el primer cuadro para guiar a SAM 3 cuando el texto o los cuadros por sí solos son ambiguos.
VHS_LoadVideo (#75) Ingestión de video desde el Video Helper Suite Kosinkadink/ComfyUI-VideoHelperSuite. Úsalo para cargar tu clip, inspeccionar cuadros y pasar imágenes a los nodos de video SAM 3 para inicialización y propagación.
Extras opcionales
- Combina texto y cuadros en imágenes difíciles. Usa una descripción de texto SAM 3 específica, luego añade cuadros para suprimir el desorden cercano.
- Para múltiples objetos, ejecuta pasadas separadas y guarda cada máscara SAM 3, luego superponlas en tu compositor.
- En videos con cortes duros, reinicia justo después del corte antes de ejecutar nuevamente la propagación SAM 3 para máscaras consistentes.
- Guarda tanto el video de superposición como el video solo de máscara. La superposición es ideal para QC, mientras que el archivo solo de máscara se introduce directamente en tuberías de rotoscopia o claveado.
Agradecimientos
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a PozzettiAndrea por ComfyUI-SAM3 por sus contribuciones y mantenimiento. Para detalles autorizados, consulta la documentación y repositorios originales vinculados a continuación.
Recursos
- PozzettiAndrea/ComfyUI-SAM3
- GitHub: ComfyUI-SAM3
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.