Pixal3D & TRELLIS.2 | Conversión Rápida de Imagen a 3D

Flujo de trabajo Pixal3D & TRELLIS.2 ComfyUI: Imagen única a GLB 3D texturizado#

Este flujo de trabajo Pixal3D & TRELLIS.2 ComfyUI convierte una foto de producto u objeto en un activo 3D limpio y texturizado con un GLB visualizable. El camino por defecto ejecuta Pixal3D y un interruptor incorporado expone la rama TRELLIS.2, para que puedas comparar resultados sin reconstruir el gráfico. El acondicionamiento DINOv3 compartido, la estimación de cámara MoGe, la eliminación de fondo, el desempaquetado UV y el horneado de texturas PBR ayudan a producir mallas y mapas de textura listos para juegos. Es un punto de partida práctico para artistas, prototipadores de juegos y equipos de producto que necesitan resultados rápidos y repetibles de imagen a 3D dentro de ComfyUI.

Las salidas incluyen una vista previa rápida de color de vértice GLB para verificaciones rápidas y un GLB texturizado PBR final con color base, metálico, rugosidad, oclusión ambiental y soporte normal. Las vistas previas en línea te permiten validar UVs, canales de textura y comportamiento de iluminación antes de la exportación.

Modelos clave en el flujo de trabajo Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Pixal3D (Comfy‑Org) – base de difusión 3D de imagen única que predice la forma y textura del objeto desde una vista. Model card
• TRELLIS.2 (Comfy‑Org) – arquitectura de dos etapas de forma y luego textura que mejora la consistencia geométrica y la fidelidad de la textura. Model card
• Codificador de visión DINOv3‑L – extractor de características usado para acondicionar tanto Pixal3D como TRELLIS.2 en tu imagen de entrada. (Pesos alojados dentro de los activos de Pixal3D.) Repository
• MoGe 2 (Estimación Geométrica Monocular, ViT‑L) – predice geometría gruesa y campo de visión de cámara usado para estabilizar la reconstrucción posterior. Model card
• BiRefNet – red de eliminación de fondo utilizada para aislar el objeto en primer plano y ajustar el recorte. Model card
• TRELLIS.2 VAEs (VAE de Forma y VAE de Textura) – decodificadores para latentes de forma y textura utilizados en ambas ramas. Repository

Cómo usar el flujo de trabajo Comfyui Pixal3D & TRELLIS.2 ComfyUI#

El flujo de trabajo fluye de izquierda a derecha: preprocesamiento de imagen y acondicionamiento, estructura dispersa, refinamiento de forma, generación de textura, UVs y horneado, luego exportación. Un único interruptor cambia el modelo y su acondicionamiento entre Pixal3D y TRELLIS.2 manteniendo el resto de la canalización idéntica.

Subir imagen de entrada aquí#

Carga una foto bien iluminada de un solo objeto contra un fondo limpio. Los recortes cuadrados funcionan bien, pero el gráfico recortará automáticamente alrededor del sujeto si la eliminación de fondo está activa. Los nodos PreviewImage muestran exactamente lo que verán las etapas posteriores, lo que ayuda a detectar problemas de encuadre temprano.

Eliminar fondo#

La separación del primer plano usa BiRefNet para que el modelo se enfoque en la silueta del objeto y no en la escena. Usa Switch: Remove background (#248) para habilitar o omitir el recorte según tu imagen. La máscara resultante se previsualiza para una verificación rápida y también se utiliza para dirigir el recorte.

Preprocesamiento de imagen#

ImageCropToMask centra y rellena el objeto basado en la máscara para que el sujeto llene el marco sin recortes. Esto mejora la extracción de características para el acondicionamiento y ayuda a la estimación de geometría a converger en la escala correcta. Una vista previa confirma la entrada final que llega a las ramas del modelo 3D.

Obtener FoV de la cámara#

MoGe estima las pistas de profundidad monocular y las convierte en un campo de visión de cámara que estabiliza la reconstrucción. MoGeInference (#56) se ejecuta en la imagen preprocesada, luego MoGeGeometryToFOV alimenta el ángulo de la cámara de nuevo al acondicionamiento. La rama Pixal3D usa esta señal directamente, mientras que la rama TRELLIS.2 se basa en características de imagen de DINOv3.

Acondicionamiento#

Tanto Pixal3DConditioning como Trellis2Conditioning transforman características DINOv3‑L en acondicionamiento positivo y negativo para los muestreadores de difusión. No necesitas ajustar nada aquí en el uso típico. El flujo de trabajo enruta automáticamente el acondicionamiento correcto a la rama de modelo activa.

Cambiar modelo aquí#

Configura Boolean (Switch to Trellis2) (#316) para elegir la rama activa. El interruptor impulsa ComfySwitchNode (#318) para el modelo UNet y ComfySwitchNode (#314 y #315) para el acondicionamiento positivo y negativo correspondiente. Comienza con Pixal3D para velocidad, luego cambia a TRELLIS.2 cuando quieras una consistencia geométrica más fuerte o detalle de textura.

Generación de estructura dispersa#

Esta etapa crea un andamio de vóxeles grueso del objeto. KSampler (#3) se ejecuta en una estructura latente vacía, guiada solo por tu acondicionamiento de imagen. VaeDecodeStructureTrellis2 (#119) convierte el latente en una cuadrícula de vóxeles de baja resolución, que se convierte inmediatamente en una malla aproximada para una vista previa 3D temprana. Usa este paso para confirmar la silueta general antes de un muestreo más profundo.

Generación de forma#

Trellis2ShapeStage (#91) inyecta orientación consciente de la forma, luego un KSampler (#18) dirigido densifica la estructura. Trellis2UpsampleStage (#94) aumenta la resolución espacial para capturar detalles más finos sin perder la forma establecida. VaeDecodeShapeTrellis (#92) produce la primera malla hermética más las subdivisiones de forma que mantienen la decodificación de textura posterior alineada con la geometría.

Generación de textura#

Esta etapa acondiciona la textura en la forma finalizada para evitar pintar fuera de la superficie. Trellis2TextureStage (#98) prepara latentes de textura basados en la forma aumentada y el acondicionamiento. Un KSampler (#12) final resuelve el latente de textura, y VaeDecodeTextureTrellis (#93) lo convierte en colores por vóxel que coinciden con la topología de forma decodificada.

Postprocesamiento de malla#

Antes de los UVs, la malla se limpia y se ajusta para hornear y usar en tiempo real. RemeshMesh y DecimateMesh regularizan la topología y reducen caras mientras preservan características. MeshSmoothNormals mejora la continuidad del sombreado. GetMeshInfo ayuda a enrutar las versiones correctas de alta y baja poli a los nodos de horneado.

Horneado de texturas#

UnwrapMesh genera un diseño UV en tu tamaño de mapa elegido, controlado por el widget de entero Texture Resolution. BakeTextureFromVoxel (#147) convierte los colores de vóxel en texturas de color base, metálico y rugosidad en el espacio UV. BakeAmbientOcclusion (#233) y BakeNormalMapFromMesh (#224) hornean mapas de oclusión y normales de alta a baja poli para sombreado basado en la física. ApplyTextureToMesh (#210) ensambla el conjunto PBR en la malla, y MeshSmoothNormals más nodos de exportación escriben el GLB final. Usa las vistas previas incluidas para UVs, color base, metálico, rugosidad, AO y normales para validar los resultados antes de guardar.

Vista previa de color de vértice#

Para iteración rápida, PaintMesh (#252) aplica colores de vóxel directamente a la malla sin UVs y horneados, produciendo un GLB de vista previa ligero. Este camino es ideal para evaluar rápidamente la cobertura de vista, la separación de materiales y el aspecto general antes de comprometerse con el horneado PBR completo. Úsalo para detectar problemas temprano, luego regresa a la rama de horneado para texturas finales.

Nodos clave en el flujo de trabajo Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Boolean (Switch to Trellis2) (#316) Controla si el gráfico ejecuta Pixal3D o TRELLIS.2. Usa Pixal3D para borradores rápidos, luego cambia a TRELLIS.2 cuando quieras la canalización de forma y textura de dos etapas descrita en la tarjeta del modelo. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Rutas el UNet seleccionado en todos los muestreadores posteriores para que el cambio de rama sea global y consistente. Combínalo con los interruptores de acondicionamiento (ComfySwitchNode (#314) y ComfySwitchNode (#315)) para mantener las indicaciones alineadas con la base elegida.
• Trellis2ShapeStage (#91) Añade orientación específica de la geometría antes del muestreo denso, lo que ayuda a estabilizar proporciones y silueta. Útil cuando las entradas tienen contornos complejos o detalles estructurales finos. TRELLIS.2
• Trellis2UpsampleStage (#94) Aumenta la resolución espacial latente para la forma sin reintroducir ruido. Ajusta solo si necesitas un detalle de malla visiblemente más fino o quieres equilibrar velocidad y fidelidad. TRELLIS.2
• Trellis2TextureStage (#98) Acondiciona la textura en la forma finalizada para que los mapas PBR se adhieran a las superficies. El ajuste aquí afecta cuán fuertemente la textura sigue la geometría frente a las pistas de apariencia. TRELLIS.2
• UnwrapMesh (#196) Genera un atlas UV utilizado por todos los horneados subsiguientes. Coordina su resolución con el control Texture Resolution para establecer el tamaño de mapa objetivo para color base, metálico, rugosidad, AO y normal.
• BakeTextureFromVoxel (#147) Convierte colores de vóxel en texturas UV y los alinea con una malla de referencia del decodificador de forma para preservar el detalle. Aumenta el tamaño de la textura cuando veas sangrado de color o pérdida de pequeñas marcas.
• ApplyTextureToMesh (#210) Combina color base, metálico, rugosidad, oclusión y normal en una malla final lista para PBR. Usa las vistas previas incluidas para verificar cada canal antes de la exportación.
• MoGeInference (#56) Estima geometría y FoV de cámara que mejoran la estabilidad de la reconstrucción, especialmente para lentes estrechas o anchas. Mantén esto activado para la mayoría de las entradas para evitar el desplazamiento de escala. MoGe
• RemoveBackground (#192) y Switch: Remove background (#248) Recorte de primer plano opcional impulsado por BiRefNet. Habilita cuando escenas ocupadas o sombras confunden la reconstrucción. BiRefNet
• Save3DAdvanced (#322) Escribe el GLB final y te permite establecer un prefijo de nombre de archivo y cámara de vista previa. Úsalo al final de la rama PBR una vez que todas las verificaciones de textura se vean correctas.

Extras opcionales#

• Apunta a un solo objeto centrado con mínima oclusión y buen contraste de borde para obtener los mejores resultados del flujo de trabajo Pixal3D & TRELLIS.2 ComfyUI.
• Si los fondos están desordenados, habilita el interruptor de eliminación de fondo para mejorar la calidad de la silueta y la eficiencia de empaquetado UV.
• Itera rápidamente con la vista previa de color de vértice GLB, luego ejecuta la rama de horneado completo cuando la forma y la separación de materiales se vean bien.
• Aumenta Texture Resolution al exportar activos principales o tomas macro. Mantenlo modesto para accesorios rápidos o objetivos móviles.
• Usa la vista previa del atlas UV para detectar estiramientos o superposiciones antes de hornear normales y oclusión.
• Prefiere vistas de 3/4 o frontales en lugar de perspectivas extremas para reconstrucciones más completas.

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Comfy.org por la plantilla de flujo de trabajo Source, a Comfy-Org por los pesos de modelo Pixal3D y TRELLIS.2, y a Comfy-Org por los pesos de modelo MoGe y BiRefNet por sus contribuciones y mantenimiento. Para detalles autorizados, por favor consulta la documentación original y los repositorios vinculados a continuación.

Recursos#

• Comfy.org/Source workflow template
  • Docs / Notas de lanzamiento: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.