Idol ComfyUI Imagen a 3D: imagen única a salpicadura gaussiana 3D con SPZ, GLB y video de órbita#
Idol ComfyUI Imagen a 3D convierte una foto de un solo sujeto en una vista 3D navegable. El flujo de trabajo reconstruye una salpicadura gaussiana a partir de una imagen, te permite orbitar el resultado en una vista previa en vivo y exporta tanto una salpicadura SPZ como una malla GLB opcional para pipelines DCC, de juegos o XR. Está impulsado por el ajuste fino de Idol de TripoSplat, que lee personajes estilizados, figuras y accesorios con fuertes priors.
Usa Idol ComfyUI Imagen a 3D cuando desees una exploración 3D rápida a partir de una foto de producto limpia o una hoja de concepto. Los lados no visibles se infieren desde la vista visible, por lo que los detalles finos del lado posterior pueden ser aproximados, y la conversión GLB está destinada a bloqueos rápidos que pueden requerir limpieza antes de su uso en producción.
Modelos clave en el flujo de trabajo de Comfyui Idol ComfyUI Imagen a 3D#
- Modelo de difusión Comfy-Org Idol. Los pesos de UNet que impulsan la generación 3D de vista única basada en el método TripoSplat. Ofrece un rendimiento más fuerte en sujetos estilizados en comparación con el modelo base. Hugging Face: Comfy-Org/Idol y el original speridlabs/idol.
- Codificador de visión DINOv3 ViT-H. Proporciona características visuales robustas de la imagen de entrada que condicionan el muestreador de TripoSplat para una mejor consistencia 3D. Distribuido con el repositorio de Idol. Hugging Face: Comfy-Org/Idol
- Decodificador VAE de Idol. Decodifica muestras latentes en una representación de salpicadura gaussiana que se puede renderizar y exportar. Hugging Face: Comfy-Org/Idol
- VAE Flux2. Un VAE secundario utilizado en la ruta de acondicionamiento para alinear características para el espacio latente de TripoSplat. Hugging Face: Comfy-Org/Idol
- Modelo de eliminación de fondo BiRefNet. Produce máscaras de sujeto limpias que mejoran la geometría y el color alrededor de bordes delgados como el cabello o accesorios. Hugging Face: Comfy-Org/BiRefNet
Para información de fondo sobre el enfoque subyacente, consulta TripoSplat en GitHub y su documento. GitHub: VAST-AI-Research/TripoSplat y arXiv:2605.16355
Cómo usar el flujo de trabajo Comfyui Idol ComfyUI Imagen a 3D#
Este flujo de trabajo tiene una etapa de generación central y tres ramas de salida que se ejecutan en paralelo: un video de órbita, una salpicadura SPZ y una malla GLB experimental. Carga un sujeto único y centrado en un fondo simple y pon en cola el gráfico para obtener todas las salidas en una sola pasada.
Imagen a Salpicadura Gaussiana (generación central)#
El nodo LoadImage (#99) trae tu imagen fuente y alfa opcional. El subgrafo Imagen a Salpicadura Gaussiana (TripoSplat) (#88) maneja el preprocesamiento, la segmentación opcional de BiRefNet y el acondicionamiento TripoSplat. Internamente, CLIPVisionLoader y los VAEs extraen características, KSampler (#6) genera latentes, y VAEDecodeTripoSplat (#55) los convierte en una salpicadura gaussiana 3D. Usa los controles del subgrafo para activar auto_remove_background, establecer num_gaussians, elegir los puntos de verificación de Idol y establecer una seed. Activa enable_preview para enrutar el modelo a través de TripoSplatSamplingPreview (#97) para una verificación rápida antes de la decodificación completa.
Crear Video#
RenderSplat (#75) renderiza una órbita de la salpicadura reconstruida. El movimiento de la cámara está definido por CreateCameraInfo (#79) en modo órbita, que puedes ajustar para la distancia y el encuadre. CreateVideo (#41) ensambla los cuadros y SaveVideo (#42) escribe el clip resultante. Esta rama es ideal para revisar siluetas y verificar flotadores o artefactos de oclusión sin salir de ComfyUI.
Crear Modelo 3D (salpicadura SPZ)#
SplatToFile3D (#92) escribe la salpicadura gaussiana en un archivo .spz que conserva los atributos de punto utilizados para la renderización de salpicaduras de alta calidad. SaveGLB (#51) proporciona un visor 3D para que puedas inspeccionar la orientación y la escala, luego compromete el archivo al disco. Elige esta ruta cuando necesites la visualización en tiempo real más fiel de la salida de Idol ComfyUI Imagen a 3D.
Crear Modelo 3D (malla experimental)#
SplatToMesh (#76) convierte la salpicadura en una malla de triángulos para intercambio, con controles para resolución, suavizado y limpieza de componentes. SaveGLB (#67) exporta el resultado como .glb. Esta ruta es experimental y principalmente para bloqueos rápidos. Espera retopologizar, decimar o arreglar el sombreado en una herramienta DCC para producción.
Nodos clave en el flujo de trabajo Comfyui Idol ComfyUI Imagen a 3D#
UNETLoader (#16)#
Carga los pesos de UNet de Idol que especializan TripoSplat para personajes y accesorios estilizados. Si necesitas una comparación de referencia, puedes cambiar al UNet de stock de TripoSplat de su repositorio. Mantén el UNet, el modelo de visión CLIP y los VAEs de la misma familia de lanzamientos para un comportamiento estable. Pesos de referencia: Hugging Face: Comfy-Org/Idol y GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Impulsa el horario de eliminación de ruido que produce la representación 3D latente. Los controles más impactantes son steps, sampler_name, scheduler, cfg y seed. Aumenta los pasos para la fidelidad, ajusta CFG para equilibrar la adherencia al acondicionamiento frente a la suavidad, y usa la semilla para la reproducibilidad en las ejecuciones. Evita CFG extrema con pasos muy bajos, lo que puede introducir geometría inestable.
VAEDecodeTripoSplat (#55)#
Convierte el latente final en una salpicadura gaussiana. El parámetro decisivo es num_gaussians, que establece el conteo de puntos e impacta tanto en el detalle como en el uso de memoria. Usa conteos moderados para vistas previas y conteos más altos para exportaciones SPZ finales. Conteos muy grandes aumentan el costo de renderización y no inventan nuevos detalles más allá de lo que el modelo ha inferido.
ComfySwitchNode (#35) Switch: Fuente de Máscara#
Elige entre la máscara de BiRefNet y cualquier alfa o máscara que proporciones con LoadImage. Usa la máscara derivada del modelo cuando la entrada tenga un fondo ocupado. Si proporcionas un alfa limpio, cambia a tu máscara para preservar estructuras delgadas.
TripoSplatSamplingPreview (#97)#
Proporciona una vista previa rápida y de bajo costo de la orientación de muestreo y la geometría aproximada. Activa esto al probar un sujeto por primera vez o al cambiar puntos de verificación. Te ayuda a verificar el encuadre y la escala antes de comprometerte con una decodificación completa.
RenderSplat (#75)#
Renderiza los cuadros de órbita utilizados para el video de vista previa. Los controles clave son width y height de la imagen, frames, splat_scale, headlight_shading y opacity_threshold. Presta atención a la escala de salpicadura y al umbral de opacidad juntos, que gobiernan cómo aparece la mezcla de puntos suave o ajustada.
SplatToMesh (#76)#
Convierte la salpicadura en una malla de triángulos para exportación .glb. resolution, min_component, min_opacity y smooth regulan el equilibrio entre detalle y limpieza. Aumenta la resolución para más fidelidad en la superficie, y aumenta el componente mínimo para eliminar pequeñas conchas flotantes. Espera ejecutar la limpieza de malla en un DCC para obtener los mejores resultados.
CreateCameraInfo (#79)#
Define una trayectoria de cámara en órbita para la rama de video. Ajusta la distancia, el giro y la inclinación para centrar el sujeto y evitar el recorte. Combina los ajustes de cámara con los cambios de resolución de RenderSplat para mantener tu sujeto enmarcado de manera consistente en todas las salidas.
Extras opcionales#
- Prefiere imágenes con el sujeto centrado, completamente en el marco y con un fondo mínimo.
- Si ya tienes un alfa de alta calidad, úsalo; de lo contrario, habilita la eliminación automática de fondo para mejores bordes.
- Comienza con un
num_gaussiansmoderado para iteración, luego aumentalo para la exportación final SPZ cuando estés satisfecho con la forma. - Usa el interruptor de vista previa para validar la pose y la escala antes de la decodificación completa.
- SPZ es mejor para fidelidad y rápida iteración en visores compatibles con salpicaduras; GLB es para intercambio y generalmente necesitará limpieza.
- Al convertir a malla, espera decimar y arreglar normales o sombreados en tu DCC.
- Para el video de órbita, ajusta la distancia de la cámara y el conteo de cuadros para equilibrar la suavidad y el tiempo de renderización.
- El método infiere los lados no visibles desde la vista visible, por lo que la simetría y las formas simples se reconstruyen de manera más confiable.
Reconocimientos#
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Comfy-Org por los archivos del modelo ComfyUI Idol, Sperid Labs por el modelo IDOL original, y Comfy-Org por la plantilla de flujo de trabajo ComfyUI (3d_idol_image_to_gaussian_splat.json) por sus contribuciones y mantenimiento. Para obtener detalles autorizados, por favor consulta la documentación original y los repositorios vinculados a continuación.
Recursos#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.