SAM 3D ComfyUI Control de Movimiento de Objetos y Cuerpo
Este flujo de trabajo ofrece generación guiada por estructura con conciencia 3D desde una sola imagen usando enmascaramiento basado en Segment Anything y razonamiento de profundidad. Incluye dos modos listos para usar: Modo Objeto para extraer y reconstruir cualquier sujeto enmascarado como una malla 3D texturizada o un Gaussiano 3D, y Modo Cuerpo para construir una malla humana consciente de partes del cuerpo. El diseño de SAM 3D ComfyUI enfatiza la consistencia espacial, haciéndolo ideal para control de movimiento de objetos, guía de movimiento corporal y creación de activos controlables para flujos de video o 3D.
Construido sobre los proyectos de código abierto SAM3D, este flujo de trabajo SAM 3D ComfyUI convierte una imagen simple más una máscara en activos GLB, STL y PLY exportables con alineación de pose y horneado de textura. Es adecuado para creadores que desean resultados rápidos y controlables sin ajuste fino.
Nota: Se recomienda ejecutar este flujo de trabajo "Objeto 3D" en máquinas Medium, Large o XLarge. Los tipos de máquinas más grandes pueden provocar errores de tiempo de ejecución o resultados inestables. El flujo de trabajo "Cuerpo" funciona bien para todos los tipos de máquinas. Debido a la complejidad de la reconstrucción y optimización 3D, el flujo de trabajo "Objeto 3D" puede tardar ~40 minutos o más en completarse.
Modelos clave en el flujo de trabajo Comfyui SAM 3D ComfyUI
- Modelo Segment Anything (SAM). Utilizado para segmentación de alta calidad que ancla restricciones espaciales. Ver el documento original para más detalles: Segment Anything.
- Componentes preentrenados SAM3D Objects. Proporcionan profundidad, estructura dispersa, generación SLAT, decodificadores de malla y Gaussiano, y embebedores de textura para reconstrucción de objetos. Fuente: PozzettiAndrea/ComfyUI-SAM3DObjects.
- Componentes preentrenados SAM3D Body. Proporcionan procesamiento consciente de partes del cuerpo para generar mallas humanas y una vista de depuración. Fuente: PozzettiAndrea/ComfyUI-SAM3DBody.
- Estimador de profundidad monocular incluido en los repositorios SAM3D. Suministra intrínsecos de cámara, un mapa de puntos y una máscara informada por profundidad que mejoran la reconstrucción y alineación de pose. Ver los dos repositorios SAM3D arriba.
- Formulación de Gaussian Splatting 3D. Permite representaciones de escena basadas en puntos rápidas y fotorrealistas que son útiles para vistas previas rápidas y ciertos renderizadores: 3D Gaussian Splatting for Real-Time Rendering.
Cómo usar el flujo de trabajo Comfyui SAM 3D ComfyUI
A alto nivel, cargas una sola imagen y su máscara, luego eliges el grupo de Objetos o el grupo de Cuerpo. El Modo Objeto reconstruye una malla texturizada y una representación Gaussiana 3D con refinamiento de pose opcional. El Modo Cuerpo construye una malla consciente de partes del cuerpo y la exporta para inspección rápida o uso posterior.
Grupo SAM3DObjects
Este grupo convierte tu sujeto enmascarado en un activo 3D. Proporciona una imagen con una máscara que aísla el objeto que deseas controlar; el flujo de trabajo maneja automáticamente la inversión para tratar el sujeto como primer plano. Se estiman la profundidad y los intrínsecos de la cámara para producir un mapa de puntos, luego se crea una estructura dispersa y una pose inicial. Desde allí se genera una representación SLAT y se decodifica en una malla y un Gaussiano 3D; un horneado de textura transfiere la apariencia de la imagen fuente a la malla. Finalmente, la optimización de pose refina la alineación antes de previsualizar y exportar; ver SAM3D_DepthEstimate (#59), SAM3DSparseGen (#52), SAM3DSLATGen (#35), SAM3DMeshDecode (#45), SAM3DGaussianDecode (#37), SAM3DTextureBake (#47), y SAM3D_PoseOptimization (#57).
Grupo SAM3DBody
Este grupo se centra en sujetos humanos. Proporciona una imagen y una máscara que cubre a la persona. El procesador corporal produce una malla consciente de partes del cuerpo y una imagen de depuración para que puedas verificar la calidad de la segmentación. Puedes exportar el resultado como una malla para inspección o rigging, luego previsualizarlo de manera interactiva. Los pasos esenciales pasan por LoadSAM3DBodyModel (#62), SAM3DBodyProcess (#61), SAM3DBodyExportMesh (#64), y Preview3D (#65).
Nodos clave en el flujo de trabajo Comfyui SAM 3D ComfyUI
LoadSAM3DModel (#44) Carga todos los pesos del modo objeto en un solo lugar, incluyendo generador de estructura dispersa, generador SLAT y decodificadores, además de embebedores de textura. Si los pesos están alojados en Hugging Face, ingresa tu token y manten el proveedor configurado en consecuencia. Usa precisión automática a menos que tengas una razón para forzar un tipo de dato específico. Una vez cargados, las mismas conexiones alimentan toda la tubería de objetos.
SAM3D_DepthEstimate (#59) Estima la profundidad monocular, intrínsecos de cámara, un mapa de puntos y una máscara informada por profundidad de tu imagen de entrada. El encuadre correcto es importante: mantén el sujeto razonablemente centrado y evita recortes extremos para intrínsecos más estables. Usa la vista previa de nube de puntos incorporada para verificar la geometría antes de comprometerte a horneados largos. Los intrínsecos y el mapa de puntos producidos aquí se reutilizan más tarde para la optimización de pose.
SAM3DSparseGen (#52) Construye una estructura dispersa y una pose inicial combinando la imagen, la máscara de primer plano y las salidas de profundidad. Si tu máscara es demasiado suelta, espera flotadores y estructura más débil; ajusta los bordes para obtener resultados más nítidos. El nodo también emite un objeto de pose que puedes previsualizar para asegurarte de que la orientación se vea correcta. Esta estructura dispersa condiciona directamente el generador SLAT.
SAM3DSLATGen (#35) Convierte la estructura dispersa en una representación SLAT que es compacta pero consciente de la geometría. Un SLAT más limpio generalmente sigue de una máscara precisa y buena profundidad. Si planeas depender de la salida de malla sobre Gaussiano, favorece configuraciones que preserven el detalle en lugar de una extrema escasez. La ruta SLAT emitida alimenta ambos decodificadores.
SAM3DMeshDecode (#45) Decodifica SLAT en una malla 3D hermética adecuada para texturizado y exportación. Elige malla cuando necesites topología que funcione en herramientas DCC y motores de juegos. Si ves sobre-suavizado o agujeros, revisa la máscara y la densidad de estructura dispersa aguas arriba. Esta ruta produce un GLB que se horneará y opcionalmente se alineará con la pose más tarde.
SAM3DGaussianDecode (#37) Genera una representación Gaussiana 3D del mismo SLAT para vistas previas rápidas y ciertos renderizadores. Es útil cuando deseas validar rápidamente la geometría y la cobertura de puntos de vista. Si tu Gaussiano parece ruidoso, mejora la máscara o aumenta la calidad de la estructura en lugar de sobreajustar este nodo. El PLY resultante también ayuda en el horneado de textura.
SAM3DTextureBake (#47) Proyecta la apariencia de la imagen fuente sobre la malla decodificada. Usa una resolución de textura más alta cuando necesites primeros planos, y un preajuste más rápido para iteraciones rápidas. La elección del renderizador puede impactar la nitidez y la velocidad; elige la opción más rápida para vistas previas y la de mayor calidad para finales. Este nodo produce el GLB texturizado para previsualización y refinamiento de pose.
SAM3D_PoseOptimization (#57) Refina la alineación del GLB usando intrínsecos de cámara, el mapa de puntos, la máscara original y la pose inicial. Aumenta el presupuesto de optimización si observas desalineación alrededor de estructuras delgadas como extremidades o asas. Mantén limpia la máscara de primer plano para evitar que el optimizador se desplace hacia la geometría de fondo. El GLB optimizado está listo para inspección en la vista previa 3D.
SAM3DBodyProcess (#61) Realiza un procesamiento consciente de partes del cuerpo para producir una malla humana y una superposición de depuración. Selecciona el modo que se ajuste a tu caso de uso, como cuerpo completo frente a una región específica, para guiar la cobertura de la malla. Si las manos o el cabello se recortan, refina la máscara alrededor de esas áreas para mejorar la fidelidad. Exporta a STL para verificaciones rápidas o convierte más tarde según sea necesario.
Extras opcionales
- Usa una máscara limpia y de alto contraste. Pluma solo ligeramente; los bordes duros generalmente se reconstruyen mejor en el modo objeto de SAM 3D ComfyUI.
- Para iteraciones rápidas, confía primero en la ruta Gaussiana, luego cambia a decodificación de malla y horneados de textura de mayor resolución.
- Si los pesos requieren autenticación, pega un token válido de Hugging Face en los nodos de carga antes de poner en cola el gráfico.
- Inspecciona la nube de puntos y las vistas previas de pose antes de horneados largos para detectar problemas de encuadre o máscara temprano.
- Formatos de exportación: GLB es ideal para DCC y motores, PLY Gaussians para renderizadores compatibles, STL del modo cuerpo para verificaciones rápidas a escala de impresión.
- Mantén la escala del sujeto consistente en todos los disparos si planeas usar las salidas de SAM 3D ComfyUI para impulsar movimiento descendente o secuencias de múltiples vistas.
Agradecimientos
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a PozzettiAndrea por SAM 3D Objects y SAM 3D Body por sus contribuciones y mantenimiento. Para detalles autorizados, consulta la documentación original y los repositorios vinculados a continuación.
Recursos
- PozzettiAndrea/SAM 3D Objects
- PozzettiAndrea/SAM 3D Body
- GitHub: PozzettiAndrea/ComfyUI-SAM3DBody
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.
