ComfyUI Trellis2 | Workflow de Génération de Maillage Image-à-3D

ComfyUI Trellis2: Image vers 3D, raffinement de maillage et texturation PBR en un seul workflow

ComfyUI Trellis2 apporte le modèle image-à-3D TRELLIS.2 de Microsoft dans un pipeline ComfyUI pratique et convivial pour les créateurs. À partir d'une ou plusieurs images de référence, il génère des maillages propres, déplie les UV, cuit les textures PBR et exporte des actifs GLB que vous pouvez intégrer dans des DCC et des moteurs de jeu. Le workflow couvre également deux cas avancés : le raffinement d'un maillage existant avec une guidance par image et la texturation directe d'un maillage. Si vous avez besoin d'une géométrie haute-fidélité, de textures cohérentes et d'exports prévisibles, ce workflow ComfyUI Trellis2 est conçu pour vous.

Le graphique est organisé en groupes clairs pour des résultats simples en un clic, un contrôle plus approfondi, des sorties uniquement maillage, un raffinement de maillage, une génération uniquement texture, et une fusion multi-vues. Sous le capot, ComfyUI Trellis2 utilise la représentation native de voxels de TRELLIS.2 et une forte compréhension compositionnelle pour garder la structure fidèle tout en préservant les détails fins et le sens des invites. Les nœuds source sont fournis par l'extension ComfyUI visualbruno/ComfyUI-Trellis2.

Remarque : Ce workflow ne peut être exécuté que sur une machine Medium, Large, X Large. Les machines 2X Large ou plus grandes provoqueront une erreur.

Modèles clés dans le workflow ComfyUI Trellis2

• Microsoft TRELLIS.2‑4B. Un modèle image-à-3D à 4B paramètres qui utilise des latents structurés O-Voxel pour une génération rapide de maillages et de matériaux PBR haute-fidélité. Il gère une topologie arbitraire et exporte des actifs prêts pour le PBR. Voir la fiche du modèle et le dépôt pour plus de détails : microsoft/TRELLIS.2‑4B et microsoft/TRELLIS.2.
• Meta DINOv3 ViT‑L/16. Un encodeur visuel de haute qualité utilisé pour des caractéristiques d'image robustes qui améliorent l'alignement entre les images d'entrée et la structure 3D générée. Voir facebook/dinov3‑vitl16‑pretrain‑lvd1689m.
• BRIA RMBG‑2.0 (BiRefNet). Un modèle de matting d'image souvent utilisé pour produire des masques alpha propres à partir de références, ce qui aide TRELLIS.2 à se concentrer sur le sujet et à réduire le débordement de l'arrière-plan. Voir briaai/RMBG‑2.0.

Comment utiliser le workflow ComfyUI Trellis2

À un niveau élevé, chaque chemin charge le pipeline TRELLIS.2, ingère une ou plusieurs images, génère un actif 3D voxelisé, remesh et simplifie éventuellement pour une topologie propre, déplie les UV, cuit les textures PBR et exporte un GLB. Utilisez le groupe qui correspond à votre tâche ; tous les groupes sont indépendants et produisent leur propre aperçu et exportation.

1) Simple

C'est le moyen le plus rapide de passer d'une seule image à un GLB texturé. Chargez le modèle avec Trellis2LoadModel (#39) et déposez votre référence en utilisant Trellis2LoadImageWithTransparency (#6). L'actif est généré par Trellis2MeshWithVoxelGenerator (#41), légèrement simplifié par Trellis2SimplifyMesh (#42), et déplié UV et rasterisé par Trellis2PostProcessAndUnWrapAndRasterizer (#38). Exportez votre résultat avec Trellis2ExportMesh (#19) et vérifiez-le dans Preview3D (#43). Utilisez une image centrée sur le sujet avec un arrière-plan propre ou transparent pour la géométrie et les textures les plus cohérentes.

2) Avancé

Choisissez ceci lorsque vous souhaitez plus de contrôle sur la forme et l'apparence. Après avoir chargé une référence avec Trellis2LoadImageWithTransparency (#47), le générateur avancé Trellis2MeshWithVoxelAdvancedGenerator (#51) expose des contrôles supplémentaires sur la façon dont la forme et la texture des voxels sont déduites. Trellis2PostProcessMesh (#46) nettoie avant l'étape de dépliage, tandis que Trellis2PostProcessAndUnWrapAndRasterizer (#45) effectue les UVs et la cuisson des textures. Utilisez Trellis2ExportMesh (#49) pour écrire le GLB et Preview3D (#44) pour évaluer l'ombrage et le détail.

3) Raffineur de Maillage

Commencez ici si vous avez déjà un maillage et souhaitez améliorer la géométrie ou aligner les matériaux sur une nouvelle image de référence. Chargez votre OBJ avec Trellis2LoadMesh (#57) et une image de guidage avec Trellis2LoadImageWithTransparency (#58). Trellis2MeshRefiner (#59) utilise les caractéristiques de TRELLIS.2 pour affiner la forme tout en restant fidèle à votre maillage d'entrée. Trellis2Remesh (#53) et Trellis2SimplifyMesh (#54) nettoient la topologie ; Trellis2MeshWithVoxelToTrimesh (#55) renvoie un maillage triangulaire standard. Exportez avec Trellis2ExportMesh (#60) et révisez dans Preview3D (#56).

5) Only_Mesh_Advanced

Utilisez ceci lorsque vous ne souhaitez que la géométrie et prévoyez de texturer ailleurs. Trellis2MeshWithVoxelAdvancedGenerator (#74) se concentre sur une forme robuste à partir de votre image, puis Trellis2Remesh (#70) et Trellis2SimplifyMesh (#76) produisent un budget de triangles propre et efficace. Convertissez avec Trellis2MeshWithVoxelToTrimesh (#72), exportez le GLB via Trellis2ExportMesh (#75), et inspectez dans Preview3D (#71). C'est idéal pour les pièces à surface dure comme les casques où la topologie est la plus importante.

6) Only_Mesh_Simple

C'est le chemin rapide uniquement pour la géométrie. Alimentez une image à Trellis2MeshWithVoxelGenerator (#83), puis utilisez Trellis2SimplifyMesh (#85) et Trellis2Remesh (#84) pour produire une surface utilisable, suivie d'une autre légère Trellis2SimplifyMesh (#82) si nécessaire. Convertissez avec Trellis2MeshWithVoxelToTrimesh (#80), exportez en utilisant Trellis2ExportMesh (#81), et prévisualisez dans Preview3D (#77). C'est un moyen rapide de prototyper des formes avant une texturation complète.

7) Texture Mesh

Si vous avez un maillage propre et souhaitez des textures PBR guidées par une image, utilisez cette voie. Chargez une référence avec Trellis2LoadImageWithTransparency (#86) et votre maillage avec Trellis2LoadMesh (#91). Trellis2MeshTexturing (#87) génère des textures de couleur de base et de rugosité métallique alignées à la surface, produisant un maillage texturé que vous pouvez exporter via Trellis2ExportMesh (#93). PreviewImage (#88, #92) montre les cartes cuites, et Preview3D (#89) affiche l'ombrage.

8) Multi-Mesh

Pour une fidélité plus élevée et moins d'ambiguïtés, fournissez plusieurs vues du même sujet. Chargez trois images avec Trellis2LoadImageWithTransparency (#100, #101, #103), combinez-les en utilisant ImageBatchMulti (#98), puis exécutez Trellis2MeshWithVoxelAdvancedGenerator (#102). Un léger Trellis2SimplifyMesh (#95) et Trellis2PostProcessAndUnWrapAndRasterizer (#96) finalisent la topologie, les UVs et les textures PBR. Exportez avec Trellis2ExportMesh (#99) et évaluez dans Preview3D (#94).

Nœuds clés dans le workflow ComfyUI Trellis2

• Trellis2LoadModel (#39) Charge le pipeline TRELLIS.2 et configure le backend d'attention. Utilisez flash_attn si votre GPU le supporte pour la vitesse, passez à un backend alternatif si vous rencontrez des problèmes de compatibilité. Réutilisez le même modèle chargé à travers les groupes pour éviter de recharger.
• Trellis2MeshWithVoxelGenerator (#41) Le générateur image-à-maillage en un clic. Ajustez la seed pour les variations et choisissez si la graine est fixed ou randomize pour contrôler la répétabilité. Si vous prévoyez de texturer à l'extérieur, routez dans un groupe "Only Mesh" pour sauter le dépliage UV et la cuisson de texture.
• Trellis2MeshWithVoxelAdvancedGenerator (#51) Expose des contrôles séparés pour l'inférence de forme et d'apparence. Utilisez le préréglage de résolution pour équilibrer qualité et mémoire ; des réglages plus élevés capturent de petites caractéristiques mais augmentent la VRAM. Lorsque vous utilisez plusieurs vues, gardez le cadrage cohérent et laissez ce nœud les fusionner pour une géométrie plus stable.
• Trellis2MeshRefiner (#59) Améliore un maillage existant guidé par une image de référence. Augmentez la force de raffinement lorsque vous souhaitez des corrections de forme plus importantes ; abaissez-la pour préserver les proportions et la topologie originales. Fonctionne mieux avec des entrées raisonnablement propres et étanches.
• Trellis2Remesh (#53) Reconstruit la topologie pour un meilleur flux de bord et des triangles uniformes avant les UVs. Utilisez-le après la génération ou le raffinement pour stabiliser le dépliage en aval et la cuisson de texture. Si votre maillage se déforme déjà bien, vous pouvez garder le remeshing conservateur.
• Trellis2SimplifyMesh (#42) Réduit le nombre de triangles tout en préservant la forme. Décimez avant le dépliage UV pour raccourcir les temps de cuisson, ou après le dépliage pour maintenir la continuité UV lorsque vous devez respecter des budgets stricts. Prévisualisez à chaque étape pour confirmer que les silhouettes et les bords durs restent intacts.
• Trellis2PostProcessAndUnWrapAndRasterizer (#38) Gère le dépliage UV et la cuisson de texture PBR. Choisissez une texture_size qui correspond à votre plateforme cible ; des textures plus grandes améliorent le détail matériel fin mais coûtent en mémoire. Si votre actif nécessite de la transparence, sélectionnez un mode de matériau approprié et connectez l'alpha dans votre DCC selon les besoins.
• Trellis2MeshTexturing (#87) Génère des textures de couleur de base et de rugosité métallique pour un maillage donné, alignées à votre image de guidage. Augmentez texture_size pour des matériaux fins comme le tissage de tissu ou de petits décalques. Gardez l'éclairage neutre dans l'image guide pour éviter de cuire de forts reflets dans l'albédo.
• Trellis2ExportMesh (#19) Écrit un GLB avec des textures intégrées. Utilisez des noms de fichiers descriptifs pour garder les variantes organisées, et gardez extension comme glb pour une large compatibilité. Vérifiez le résultat dans les nœuds Preview3D fournis avant de passer aux outils en aval.

Extras optionnels

• Utilisez des images de haute qualité et centrées sur le sujet. Pour de meilleurs résultats dans ComfyUI Trellis2, recadrez serré, supprimez les arrière-plans et gardez l'éclairage neutre et cohérent entre les vues.
• Préférez Multi-Mesh lorsque vous pouvez capturer des vues avant, trois-quarts et latérales ; cela améliore la géométrie dans les régions auto-occluses.
• Lorsque la topologie est plus importante que les textures, exécutez d'abord un chemin "Only Mesh", inspectez et ajustez les budgets de triangles, puis réexécutez avec la texturation si nécessaire.
• Si les sorties semblent trop lissées, baissez la simplification ou remeshez plus conservativement avant l'étape de dépliage.
• Pour les références avec des structures fines ou des accessoires, augmentez le préréglage de résolution de génération dans le générateur avancé et utilisez une taille de texture plus grande lors de la cuisson.

Ressources

• Fiche du modèle TRELLIS.2 : microsoft/TRELLIS.2‑4B
• Dépôt TRELLIS.2 : microsoft/TRELLIS.2
• Dépôt original TRELLIS : microsoft/TRELLIS
• Extension ComfyUI utilisée : visualbruno/ComfyUI‑Trellis2
• Backbones de support : facebook/dinov3‑vitl16‑pretrain‑lvd1689m, briaai/RMBG‑2.0

Remerciements

Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement visualbruno pour ComfyUI-Trellis2 pour leurs contributions et leur maintenance. Pour des détails autoritatifs, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.

Ressources

• visualbruno/ComfyUI-Trellis2
  • GitHub: visualbruno/ComfyUI-Trellis2

Remarque : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.