Pixal3D & TRELLIS.2 | Conversion rapide d'image en 3D

Flux de travail Pixal3D & TRELLIS.2 ComfyUI : Image unique vers GLB 3D texturé#

Ce flux de travail Pixal3D & TRELLIS.2 ComfyUI transforme une photo de produit ou d'objet unique en un actif 3D propre et texturé avec un GLB prévisualisable. Le chemin par défaut utilise Pixal3D et un commutateur intégré expose la branche TRELLIS.2, vous permettant de comparer les résultats sans reconstruire le graphe. Le conditionnement DINOv3 partagé, l'estimation de la caméra MoGe, la suppression de l'arrière-plan, le dépliage UV et la cuisson de la texture PBR aident à produire des maillages et des cartes de texture prêts pour le jeu. C'est un point de départ pratique pour les artistes, les prototypistes de jeux et les équipes de produits qui ont besoin de résultats rapides et reproductibles d'image en 3D dans ComfyUI.

Les sorties incluent un GLB de prévisualisation rapide en couleur de sommet pour des vérifications rapides et un GLB final texturé PBR avec couleur de base, métallique, rugosité, occlusion ambiante et support normal. Les prévisualisations en ligne vous permettent de valider les UV, les canaux de texture et le comportement d'éclairage avant l'exportation.

Modèles clés dans le flux de travail Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Pixal3D (Comfy‑Org) – Diffusion 3D à image unique qui prédit la forme et la texture de l'objet à partir d'une vue. Carte du modèle
• TRELLIS.2 (Comfy‑Org) – Architecture en deux étapes, forme puis texture, qui améliore la cohérence géométrique et la fidélité des textures. Carte du modèle
• Encodeur de vision DINOv3‑L – Extracteur de caractéristiques utilisé pour conditionner à la fois Pixal3D et TRELLIS.2 sur votre image d'entrée. (Poids hébergés dans les actifs Pixal3D.) Répertoire
• MoGe 2 (Estimation de la géométrie monoculaire, ViT‑L) – Prédit la géométrie grossière et le champ de vision de la caméra utilisés pour stabiliser la reconstruction en aval. Carte du modèle
• BiRefNet – Réseau de suppression de l'arrière-plan utilisé pour isoler l'objet au premier plan et resserrer le recadrage. Carte du modèle
• VAEs TRELLIS.2 (Shape VAE et Texture VAE) – Décodeurs pour latents de forme et de texture utilisés dans les deux branches. Répertoire

Comment utiliser le flux de travail Comfyui Pixal3D & TRELLIS.2 ComfyUI#

Le flux de travail s'écoule de gauche à droite : prétraitement et conditionnement de l'image, structure parcimonieuse, raffinement de la forme, génération de texture, UV et cuisson, puis exportation. Un seul commutateur bascule le modèle et son conditionnement entre Pixal3D et TRELLIS.2 tout en gardant le reste de la chaîne identique.

Téléchargez l'image d'entrée ici#

Chargez une photo bien éclairée d'un seul objet sur un fond propre. Les recadrages carrés fonctionnent bien, mais le graphe recadrera automatiquement autour du sujet si la suppression de l'arrière-plan est active. Les nœuds PreviewImage montrent exactement ce que les étapes en aval verront, ce qui aide à détecter les problèmes de cadrage tôt.

Supprimer l'arrière-plan#

La séparation du premier plan utilise BiRefNet pour que le modèle se concentre sur la silhouette de l'objet et non sur la scène. Utilisez Switch: Remove background (#248) pour activer ou contourner le matting selon votre image. Le masque résultant est prévisualisé pour une vérification rapide et est également utilisé pour conduire le recadrage.

Prétraitement de l'image#

ImageCropToMask centre et remplit l'objet en fonction du masque pour que le sujet remplisse le cadre sans être coupé. Cela améliore l'extraction des caractéristiques pour le conditionnement et aide l'estimation de la géométrie à converger sur la bonne échelle. Une prévisualisation confirme l'entrée finale qui atteint les branches du modèle 3D.

Obtenez le champ de vision de la caméra#

MoGe estime les indices de profondeur monoculaire et les convertit en un champ de vision de la caméra qui stabilise la reconstruction. MoGeInference (#56) fonctionne sur l'image prétraitée, puis MoGeGeometryToFOV réinjecte l'angle de la caméra dans le conditionnement. La branche Pixal3D utilise ce signal directement, tandis que la branche TRELLIS.2 repose sur les caractéristiques d'image de DINOv3.

Conditionnement#

Les deux Pixal3DConditioning et Trellis2Conditioning transforment les caractéristiques DINOv3‑L en conditionnements positifs et négatifs pour les échantillonneurs de diffusion. Vous n'avez pas besoin de régler quoi que ce soit ici en utilisation typique. Le flux de travail dirige automatiquement le bon conditionnement vers la branche de modèle active.

Changer de modèle ici#

Réglez Boolean (Switch to Trellis2) (#316) pour choisir la branche active. Le commutateur pilote ComfySwitchNode (#318) pour le modèle UNet et ComfySwitchNode (#314 et #315) pour les conditionnements positifs et négatifs correspondants. Commencez avec Pixal3D pour la vitesse, puis passez à TRELLIS.2 quand vous voulez une cohérence géométrique plus forte ou un détail de texture.

Génération de structure parcimonieuse#

Cette étape crée un échafaudage de voxel grossier de l'objet. KSampler (#3) fonctionne sur une structure latente vide, guidée uniquement par votre conditionnement d'image. VaeDecodeStructureTrellis2 (#119) convertit le latent en une grille de voxels basse résolution, qui est immédiatement convertie en un maillage grossier pour une prévisualisation 3D précoce. Utilisez ce passage pour confirmer la silhouette globale avant un échantillonnage plus profond.

Génération de forme#

Trellis2ShapeStage (#91) injecte une guidance sensible à la forme, puis un KSampler (#18) ciblé densifie la structure. Trellis2UpsampleStage (#94) augmente la résolution spatiale pour capturer des détails plus fins sans perdre la forme établie. VaeDecodeShapeTrellis (#92) produit le premier maillage étanche plus les subdivisions de forme qui maintiennent le décodage de texture ultérieur aligné sur la géométrie.

Génération de texture#

Cette étape conditionne la texture sur la forme finalisée pour éviter de peindre à l'extérieur de la surface. Trellis2TextureStage (#98) prépare les latents de texture basés sur la forme échantillonnée et le conditionnement. Un KSampler (#12) final résout le latent de texture, et VaeDecodeTextureTrellis (#93) le convertit en couleurs par voxel qui correspondent à la topologie de forme décodée.

Post-traitement de maillage#

Avant les UV, le maillage est nettoyé et redimensionné pour la cuisson et l'utilisation en temps réel. RemeshMesh et DecimateMesh régularisent la topologie et réduisent les faces tout en préservant les caractéristiques. MeshSmoothNormals améliore la continuité de l'ombrage. GetMeshInfo aide à diriger les versions haute et basse résolution vers les nœuds de cuisson.

Cuisson de texture#

UnwrapMesh génère une disposition UV à la taille de carte choisie, contrôlée par le widget entier Texture Resolution. BakeTextureFromVoxel (#147) transforme les couleurs de voxel en textures de couleur de base, métallique et rugosité en espace UV. BakeAmbientOcclusion (#233) et BakeNormalMapFromMesh (#224) cuisent les cartes d'occlusion et normales du haut vers le bas pour un ombrage basé sur la physique. ApplyTextureToMesh (#210) assemble l'ensemble PBR sur le maillage, et MeshSmoothNormals plus les nœuds d'exportation écrivent le GLB final. Utilisez les prévisualisations incluses pour les UV, la couleur de base, le métallique, la rugosité, l'AO et les normales pour valider les résultats avant de sauvegarder.

Prévisualisation de couleur de sommet#

Pour une itération rapide, PaintMesh (#252) applique les couleurs de voxel directement sur le maillage sans UV et cuisson, produisant un GLB de prévisualisation léger. Ce chemin est idéal pour évaluer rapidement la couverture du point de vue, la séparation du matériau et l'aspect général avant de s'engager dans la cuisson complète PBR. Utilisez-le pour détecter les problèmes tôt, puis revenez à la branche de cuisson pour les textures finales.

Nœuds clés dans le flux de travail Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Boolean (Switch to Trellis2) (#316) Contrôle si le graphe exécute Pixal3D ou TRELLIS.2. Utilisez Pixal3D pour des brouillons rapides, puis passez à TRELLIS.2 lorsque vous souhaitez le pipeline de forme et de texture en deux étapes décrit dans la carte du modèle. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Route l'UNet sélectionné dans tous les échantillonneurs en aval pour que le changement de branche soit global et cohérent. Associez-le aux commutateurs de conditionnement (ComfySwitchNode (#314) et ComfySwitchNode (#315)) pour garder les invites alignées avec la colonne vertébrale choisie.
• Trellis2ShapeStage (#91) Ajoute une guidance spécifique à la géométrie avant l'échantillonnage dense, ce qui aide à stabiliser les proportions et la silhouette. Utile lorsque les entrées ont des contours complexes ou des détails structurels fins. TRELLIS.2
• Trellis2UpsampleStage (#94) Augmente la résolution spatiale latente pour la forme sans réintroduire de bruit. Ajustez uniquement si vous avez besoin de détails de maillage sensiblement plus fins ou si vous souhaitez équilibrer vitesse et fidélité. TRELLIS.2
• Trellis2TextureStage (#98) Conditionne la texture sur la forme finalisée pour que les cartes PBR adhèrent aux surfaces. Le réglage ici affecte la force avec laquelle la texture suit la géométrie par rapport aux indices d'apparence. TRELLIS.2
• UnwrapMesh (#196) Génère un atlas UV utilisé par toutes les cuissons ultérieures. Coordonnez sa résolution avec le contrôle Texture Resolution pour définir la taille de carte cible pour la couleur de base, le métallique, la rugosité, l'AO et la normale.
• BakeTextureFromVoxel (#147) Convertit les couleurs de voxel en textures UV et les aligne avec un maillage de référence à partir du décodeur de forme pour préserver le détail. Augmentez la taille de la texture lorsque vous voyez des saignements de couleur ou une perte de petites marques.
• ApplyTextureToMesh (#210) Combine la couleur de base, le métallique, la rugosité, l'occlusion et la normale en un maillage final prêt pour le PBR. Utilisez les prévisualisations incluses pour vérifier chaque canal avant l'exportation.
• MoGeInference (#56) Estime la géométrie et le champ de vision de la caméra qui améliorent la stabilité de la reconstruction, surtout pour les lentilles étroites ou larges. Gardez cela activé pour la plupart des entrées pour éviter les dérives d'échelle. MoGe
• RemoveBackground (#192) et Switch: Remove background (#248) Matting de premier plan optionnel alimenté par BiRefNet. Activez lorsque les scènes chargées ou les ombres confondent la reconstruction. BiRefNet
• Save3DAdvanced (#322) Écrit le GLB final et vous permet de définir un préfixe de nom de fichier et une caméra de prévisualisation. Utilisez-le à la fin de la branche PBR une fois que toutes les vérifications de texture semblent correctes.

Extras optionnels#

• Visez un objet unique et centré avec une occlusion minimale et un bon contraste des bords pour les meilleurs résultats du flux de travail Pixal3D & TRELLIS.2 ComfyUI.
• Si les arrière-plans sont encombrés, activez le commutateur de suppression de l'arrière-plan pour améliorer la qualité de la silhouette et l'efficacité du remplissage UV.
• Itérez rapidement avec le GLB de prévisualisation de couleur de sommet, puis exécutez la branche de cuisson complète lorsque la forme et la séparation du matériau semblent correctes.
• Augmentez Texture Resolution lors de l'exportation des actifs héros ou des prises de vue macro. Gardez-le modeste pour les accessoires rapides ou les cibles mobiles.
• Utilisez la prévisualisation de l'atlas UV pour repérer les étirements ou les chevauchements avant de cuire les normales et l'occlusion.
• Préférez des vues à 3/4 ou de face plutôt que des perspectives extrêmes pour des reconstructions plus complètes.

Remerciements#

Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Comfy.org pour le modèle de flux de travail Source, Comfy-Org pour les poids des modèles Pixal3D et TRELLIS.2, et Comfy-Org pour les poids des modèles MoGe et BiRefNet pour leurs contributions et leur maintenance. Pour des détails autorisés, veuillez vous référer à la documentation originale et aux répertoires liés ci-dessous.

Ressources#

• Comfy.org/Source workflow template
  • Docs / Notes de version : comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face : Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face : Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face : Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face : Comfy-Org/BiRefNet

Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.