Flujo de trabajo de TripoSplat 3D Gaussian Splats | Imagen a 3D

Flujo de trabajo de imagen a 3D Gaussian Splats de TripoSplat para ComfyUI#

Convierte una imagen de referencia única en un activo de 3D Gaussian Splats compartible con un video de vista previa de órbita. Este flujo de trabajo de imagen a 3D Gaussian Splats de TripoSplat es una plantilla oficial de ComfyUI 3D que agiliza la eliminación de fondo, la condicionamiento de visión, el muestreo de TripoSplat, la decodificación de splat, el renderizado en tiempo real y la exportación a SPZ con una ruta opcional de malla GLB. Está construido alrededor del proyecto y documento abierto de TripoSplat, que introduce características de triplano para la reconstrucción 3D Gaussian de una sola imagen GitHub y arXiv, con pesos listos para usar en Hugging Face.

Artistas, desarrolladores de juegos y creadores de XR pueden prototipar rápidamente accesorios u objetos estilizados a partir de una sola imagen, previsualizarlos como un plato giratorio y exportar activos que están listos para RunComfy. La plantilla que describe este README se alinea con el ejemplo de flujo de trabajo de ComfyUI para TripoSplat disponible en GitHub.

Modelos clave en el flujo de trabajo de imagen a 3D Gaussian Splats de TripoSplat en ComfyUI#

• Punto de control del modelo de difusión de TripoSplat (UNet). Generador principal que predice un campo 3D Gaussian a partir de las características de una sola imagen. Fuentes: GitHub y Hugging Face.
• Decodificador VAE de TripoSplat. Decodifica latentes muestreados en parámetros explícitos de 3D Gaussian Splats para renderizado y exportación. Los pesos están empaquetados en la tarjeta del modelo TripoSplat en Hugging Face.
• FLUX.2 VAE. Proporciona un espacio de codificación de imagen utilizado durante el acondicionamiento y la alineación con la canalización de TripoSplat. Distribuido con los pesos de TripoSplat en Hugging Face.
• DINO v3 ViT-H columna vertebral de visión. Proporciona características de imagen de alto nivel y robustas para la reconstrucción 3D de una sola vista; enviado junto con los activos del flujo de trabajo en Hugging Face.
• BiRefNet para la eliminación de fondo. Segmenta el sujeto en primer plano para mejorar el acondicionamiento y reducir el desorden antes de la generación 3D. Pesos del modelo: Hugging Face.

Cómo usar el flujo de trabajo de imagen a 3D Gaussian Splats de TripoSplat en ComfyUI#

Este flujo de trabajo avanza desde la preparación de imágenes y máscaras hasta el muestreo y decodificación de TripoSplat, y luego se ramifica en dos ramas de exportación: un video de vista previa de órbita en vivo y un archivo SPZ de 3D Gaussian Splats. Una tercera rama opcional convierte los splats a una malla para la exportación GLB.

• Carga y prepara tu imagen
  • Importa una imagen de referencia en LoadImage (#99). Si tu imagen ya tiene transparencia o una máscara curada, se puede usar directamente. De lo contrario, el subgrafo "Remove Background (BiRefNet)" incrustado aísla el sujeto y avanza una máscara limpia. El Switch: Mask Source (#35) elige automáticamente entre tu máscara y la máscara BiRefNet en función del interruptor auto_remove_background. El preprocesador TripoSplatPreprocessImage (#2) estandariza el tamaño y combina la imagen con la máscara elegida para que el sujeto esté centrado y limpio.
• Subgrafo de imagen a Gaussian Splat (TripoSplat)
  • El subgrafo principal Image to Gaussian Splat (TripoSplat) (#88) calcula el acondicionamiento con TripoSplatConditioning (#24) usando DINO v3 ViT-H y el FLUX.2 VAE. Un KSampler (#6) ejecuta el UNet de TripoSplat con esos acondicionamientos para producir latentes. VAEDecodeTripoSplat (#55) luego decodifica los latentes en una estructura real de 3D Gaussian Splats. Si deseas una vista rápida antes de una decodificación completa, habilita la ruta de vista previa incorporada que enruta el modelo a través de TripoSplatSamplingPreview (#97).
• Crear modelo 3D
  • Los splats decodificados se exportan con SplatToFile3D (#92) a un archivo SPZ que preserva el campo 3D Gaussian. Este es el formato recomendado para uso posterior y para cargar de nuevo en RunComfy. El nodo etiquetado SaveGLB (#51) recibe el archivo y lo escribe en disco como un paquete SPZ para portabilidad y compartición.
• Crear video
  • Para una vista previa de plato giratorio, CreateCameraInfo (#79) define una cámara de órbita y RenderSplat (#75) rasteriza los splats en cuadros. CreateVideo (#41) une esos cuadros en un video, y SaveVideo (#42) escribe el resultado en disco. Esta rama te da retroalimentación visual instantánea sobre cobertura, densidad y silueta antes de finalizar las exportaciones.
• Crear modelo 3D (experimental)
  • Si necesitas una malla, la rama experimental convierte los splats con SplatToMesh (#76) y escribe un GLB a través de SaveGLB (#67). La conversión de malla es mejor para visualización rápida o importación básica de DCC. Para vistas previas amigables con la fidelidad y la iluminación, los splats nativos más el video de órbita suelen verse mejor que una malla temprana.

Nodos clave en el flujo de trabajo de imagen a 3D Gaussian Splats de TripoSplat en ComfyUI#

• VAEDecodeTripoSplat (#55)
  • Decodifica latentes de difusión en una representación completa de 3D Gaussian Splats. El control num_gaussians gobierna la densidad y el uso de memoria. Valores más altos crean splats más densos y siluetas más suaves pero tardan más y requieren más VRAM; comienza modestamente y escala hasta que la cobertura y el detalle satisfagan tus necesidades.
• KSampler (#6)
  • Impulsa la inferencia de TripoSplat utilizando el acondicionamiento y el latente inicial. Ajusta seed para nuevas variaciones estructurales de la misma imagen. Mantén otras opciones de muestreo estables mientras evalúas cambios en la extracción de primer plano y la composición del sujeto.
• TripoSplatConditioning (#24)
  • Construye la guía de visión que hace posible el 3D de una sola imagen combinando características DINO con un latente VAE. Los buenos resultados dependen de un sujeto limpio, centrado y una máscara que excluya fondos ocupados.
• RenderSplat (#75)
  • Renderiza los splats resultantes a imágenes para el plato giratorio de vista previa. Ajusta el tamaño de salida para el equilibrio entre nitidez y velocidad, y usa la entrada de información de cámara de CreateCameraInfo (#79) para controlar el estilo de órbita.
• SplatToMesh (#76)
  • Convierte la representación Gaussian a una malla poligonal para la exportación GLB. Espera menos detalle fino que los splats nativos; trata esto como una ruta de conveniencia cuando tu cadena de herramientas de destino requiere mallas.

Extras opcionales#

• Usa imágenes con sujetos claros, centrados y buena separación del fondo; las vistas de objetos con mínima oclusión funcionan mejor.
• Si tu fuente ya tiene transparencia, desactiva la eliminación automática de fondo para preservar tu máscara hecha a mano.
• Aumenta num_gaussians gradualmente para encontrar el punto óptimo para tu GPU y la complejidad del objeto.
• Habilita la ruta de vista previa de TripoSplat para validar la aislamiento del sujeto y la silueta antes de ejecutar una decodificación completa y exportaciones.
• Prefiere SPZ para calidad y editabilidad; usa la rama de malla solo cuando un GLB sea estrictamente necesario.

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Comfy-Org por el soporte nativo de 3D Gaussian Splatting de ComfyUI y la plantilla de flujo de trabajo de imagen a gaussian-splat 3D TripoSplat, VAST AI Research y VAST AI por el modelo y repositorio TripoSplat, y a los autores del documento de TripoSplat por su contribución y mantenimiento. Para detalles autorizados, por favor refiérase a la documentación original y repositorios enlazados a continuación.

Recursos#

• Comfy-Org/Bringing native support for 3D Gaussian Splatting
  • Docs / Release Notes: Bringing native support for 3D Gaussian Splatting
• Comfy-Org/3d_triposplat_image_to_gaussian_splat.json
  • GitHub: Comfy-Org/workflow_templates
• VAST-AI/TripoSplat (model card)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• VAST-AI-Research/TripoSplat (repository)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• TripoSplat/arXiv:2605.16355
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.