ComfyUI Trellis2 | Bild-zu-3D-Mesh-Generierungs-Workflow

ComfyUI Trellis2: Bild zu 3D, Mesh-Verfeinerung und PBR-Texturierung in einem Workflow

ComfyUI Trellis2 bringt Microsofts TRELLIS.2 Bild‑zu‑3D-Modell in eine praktische, benutzerfreundliche ComfyUI-Pipeline. Ausgehend von einem oder mehreren Referenzbildern erzeugt es saubere Meshes, entpackt UVs, backt PBR-Texturen und exportiert GLB-Assets, die Sie in DCCs und Spiel-Engines einfügen können. Der Workflow deckt auch zwei fortgeschrittene Fälle ab: die Verfeinerung eines bestehenden Meshes mit Bildführung und die direkte Texturierung eines Meshes. Wenn Sie hochpräzise Geometrie, kohärente Texturen und vorhersehbare Exporte benötigen, ist dieser ComfyUI Trellis2-Workflow für Sie konzipiert.

Das Diagramm ist in klare Gruppen organisiert für einfache Ein-Klick-Ergebnisse, tiefere Kontrolle, Mesh-Only-Ausgaben, Mesh-Verfeinerung, nur Texturenerzeugung und Multi-View-Fusion. Unter der Haube nutzt ComfyUI Trellis2 die native Voxel-Darstellung von TRELLIS.2 und ein starkes Verständnis für Komposition, um die Struktur getreu zu bewahren, während feine Details und semantische Hinweise erhalten bleiben. Quellknoten werden von der ComfyUI-Erweiterung visualbruno/ComfyUI-Trellis2 bereitgestellt.

Hinweis: Dieser Workflow kann nur auf Medium, Large, X Large Machine ausgeführt werden. 2X Large oder größere Maschinen werfen einen Fehler.

Schlüsselmodelle im ComfyUI Trellis2-Workflow

• Microsoft TRELLIS.2‑4B. Ein 4B-Parameter Bild‑zu‑3D-Modell, das O‑Voxel strukturierte Latents für schnelle, hochpräzise Mesh- und PBR-Materialgenerierung verwendet. Es handhabt beliebige Topologie und exportiert PBR-bereite Assets. Siehe das Modellblatt und das Repository für Details: microsoft/TRELLIS.2‑4B und microsoft/TRELLIS.2.
• Meta DINOv3 ViT‑L/16. Ein hochwertiger visueller Encoder, der für robuste Bildmerkmale verwendet wird, die die Ausrichtung zwischen Eingabebildern und generierter 3D-Struktur verbessern. Siehe facebook/dinov3‑vitl16‑pretrain‑lvd1689m.
• BRIA RMBG‑2.0 (BiRefNet). Ein Bild-Matting-Modell, das häufig verwendet wird, um saubere Alpha-Matten aus Referenzen zu erzeugen, was TRELLIS.2 hilft, sich auf das Subjekt zu konzentrieren und Hintergrundbluten zu reduzieren. Siehe briaai/RMBG‑2.0.

Wie man den ComfyUI Trellis2-Workflow verwendet

Auf hoher Ebene lädt jeder Pfad die TRELLIS.2-Pipeline, nimmt ein oder mehrere Bilder auf, erzeugt ein voxelisiertes 3D-Asset, remesht und vereinfacht optional für saubere Topologie, entpackt UVs, backt PBR-Texturen und exportiert ein GLB. Verwenden Sie die Gruppe, die zu Ihrer Aufgabe passt; alle Gruppen sind unabhängig und erzeugen ihre eigene Vorschau und Export.

1) Einfach

Dies ist der schnellste Weg, um von einem einzelnen Bild zu einem texturierten GLB zu gelangen. Laden Sie das Modell mit Trellis2LoadModel (#39) und fügen Sie Ihre Referenz mit Trellis2LoadImageWithTransparency (#6) ein. Das Asset wird von Trellis2MeshWithVoxelGenerator (#41) erzeugt, leicht vereinfacht durch Trellis2SimplifyMesh (#42) und von Trellis2PostProcessAndUnWrapAndRasterizer (#38) UV-entpackt und gerastert. Exportieren Sie Ihr Ergebnis mit Trellis2ExportMesh (#19) und überprüfen Sie es in Preview3D (#43). Verwenden Sie ein subjektzentriertes Bild mit einem sauberen oder transparenten Hintergrund für die konsistenteste Geometrie und Texturen.

2) Fortgeschritten

Wählen Sie dies, wenn Sie mehr Kontrolle über Form und Erscheinung wünschen. Nach dem Laden einer Referenz mit Trellis2LoadImageWithTransparency (#47) bietet der fortgeschrittene Generator Trellis2MeshWithVoxelAdvancedGenerator (#51) zusätzliche Steuerungen dafür, wie die Voxel-Form und -Textur abgeleitet werden. Trellis2PostProcessMesh (#46) bereinigt vor der Unwrap-Phase, während Trellis2PostProcessAndUnWrapAndRasterizer (#45) UVs und Texturbacken durchführt. Verwenden Sie Trellis2ExportMesh (#49), um das GLB zu schreiben und Preview3D (#44), um Schattierung und Details zu bewerten.

3) Mesh-Verfeinerer

Beginnen Sie hier, wenn Sie bereits ein Mesh haben und die Geometrie verbessern oder Materialien an ein neues Referenzbild anpassen möchten. Laden Sie Ihr OBJ mit Trellis2LoadMesh (#57) und ein führendes Bild mit Trellis2LoadImageWithTransparency (#58). Trellis2MeshRefiner (#59) verwendet TRELLIS.2-Funktionen, um die Form zu verfeinern, während es Ihrem Eingabemesh treu bleibt. Trellis2Remesh (#53) und Trellis2SimplifyMesh (#54) bereinigen die Topologie; Trellis2MeshWithVoxelToTrimesh (#55) gibt ein Standard-Dreiecksmesh zurück. Exportieren Sie mit Trellis2ExportMesh (#60) und überprüfen Sie in Preview3D (#56).

5) Nur_Mesh_Fortgeschritten

Verwenden Sie dies, wenn Sie nur Geometrie wünschen und planen, woanders zu texturieren. Trellis2MeshWithVoxelAdvancedGenerator (#74) konzentriert sich auf robuste Form aus Ihrem Bild, dann erzeugen Trellis2Remesh (#70) und Trellis2SimplifyMesh (#76) ein sauberes, effizientes Dreiecksbudget. Konvertieren Sie mit Trellis2MeshWithVoxelToTrimesh (#72), exportieren Sie GLB über Trellis2ExportMesh (#75) und inspizieren Sie in Preview3D (#71). Dies ist ideal für harte Oberflächenteile wie Helme, bei denen die Topologie am wichtigsten ist.

6) Nur_Mesh_Einfach

Dies ist der schnelle Geometrie-only-Weg. Füttern Sie ein Bild in Trellis2MeshWithVoxelGenerator (#83), verwenden Sie dann Trellis2SimplifyMesh (#85) und Trellis2Remesh (#84), um eine nutzbare Oberfläche zu erzeugen, gefolgt von einem weiteren leichten Trellis2SimplifyMesh (#82) bei Bedarf. Konvertieren Sie mit Trellis2MeshWithVoxelToTrimesh (#80), exportieren Sie mit Trellis2ExportMesh (#81) und prüfen Sie in Preview3D (#77). Es ist ein schneller Weg, um Formen vor der vollständigen Texturierung zu prototypisieren.

7) Textur-Mesh

Wenn Sie ein sauberes Mesh haben und PBR-Texturen von einem Bild geführt wünschen, verwenden Sie diesen Weg. Laden Sie eine Referenz mit Trellis2LoadImageWithTransparency (#86) und Ihr Mesh mit Trellis2LoadMesh (#91). Trellis2MeshTexturing (#87) erzeugt Basisfarbe und metallisch-raue Texturen, die zur Oberfläche ausgerichtet sind, und gibt ein texturiertes Mesh aus, das Sie über Trellis2ExportMesh (#93) exportieren können. PreviewImage (#88, #92) zeigt die gebackenen Karten, und Preview3D (#89) zeigt die Schattierung.

8) Multi-Mesh

Für höhere Präzision und weniger Mehrdeutigkeiten stellen Sie mehrere Ansichten desselben Subjekts bereit. Laden Sie drei Bilder mit Trellis2LoadImageWithTransparency (#100, #101, #103), kombinieren Sie sie mit ImageBatchMulti (#98), dann führen Sie Trellis2MeshWithVoxelAdvancedGenerator (#102) aus. Ein leichtes Trellis2SimplifyMesh (#95) und Trellis2PostProcessAndUnWrapAndRasterizer (#96) finalisieren Topologie, UVs und PBR-Texturen. Exportieren Sie mit Trellis2ExportMesh (#99) und bewerten Sie in Preview3D (#94).

Schlüssel-Knoten im ComfyUI Trellis2-Workflow

• Trellis2LoadModel (#39) Lädt die TRELLIS.2-Pipeline und setzt das Attention-Backend. Verwenden Sie flash_attn, wenn Ihr GPU es für Geschwindigkeit unterstützt, wechseln Sie zu einem alternativen Backend, wenn Sie auf Kompatibilitätsprobleme stoßen. Verwenden Sie dasselbe geladene Modell über Gruppen hinweg, um das erneute Laden zu vermeiden.
• Trellis2MeshWithVoxelGenerator (#41) Der Ein-Klick-Bild-zu-Mesh-Generator. Passen Sie den seed für Variationen an und wählen Sie, ob der Seed fixed oder randomize ist, um die Wiederholbarkeit zu steuern. Wenn Sie planen, extern zu texturieren, leiten Sie in eine "Nur Mesh"-Gruppe, um UV- und Texturbacken zu überspringen.
• Trellis2MeshWithVoxelAdvancedGenerator (#51) Bietet separate Steuerungen für Form- und Erscheinungsableitung. Verwenden Sie das Auflösungspreset, um Qualität und Speicher auszugleichen; höhere Einstellungen erfassen kleine Merkmale, erhöhen aber den VRAM. Bei Verwendung mehrerer Ansichten halten Sie die Rahmung konsistent und lassen Sie diesen Knoten sie für stabilere Geometrie fusionieren.
• Trellis2MeshRefiner (#59) Verbessert ein bestehendes Mesh, das von einem Referenzbild geleitet wird. Erhöhen Sie die Verfeinerungsstärke, wenn Sie größere Formkorrekturen wünschen; senken Sie sie, um die ursprünglichen Proportionen und Topologie zu bewahren. Funktioniert am besten mit vernünftig sauberen, wasserdichten Eingaben.
• Trellis2Remesh (#53) Baut die Topologie für besseren Kantenfluss und gleichmäßige Dreiecke vor den UVs neu auf. Verwenden Sie es nach der Erzeugung oder Verfeinerung, um das nachgelagerte Unwrap und Texturbacken zu stabilisieren. Wenn Ihr Mesh bereits gut verformt, können Sie das Remeshing konservativ halten.
• Trellis2SimplifyMesh (#42) Reduziert die Anzahl der Dreiecke, während die Form erhalten bleibt. Dekimieren Sie vor dem UV-Unwrap, um die Backzeiten zu verkürzen, oder nach dem Unwrap, um die UV-Kontinuität zu wahren, wenn Sie strenge Budgets einhalten müssen. Vorschau in jedem Schritt, um sicherzustellen, dass Silhouetten und harte Kanten intakt bleiben.
• Trellis2PostProcessAndUnWrapAndRasterizer (#38) Handhabt UV-Unwrapping und PBR-Texturbacken. Wählen Sie eine texture_size, die zu Ihrer Zielplattform passt; größere Texturen verbessern feine Materialdetails, kosten aber Speicher. Wenn Ihr Asset Transparenz benötigt, wählen Sie einen geeigneten Materialmodus und verbinden Sie Alpha in Ihrem DCC nach Bedarf.
• Trellis2MeshTexturing (#87) Erzeugt Basisfarbe und metallisch-raue Texturen für ein gegebenes Mesh, ausgerichtet auf Ihr führendes Bild. Erhöhen Sie texture_size für feine Materialien wie Gewebestruktur oder kleine Abziehbilder. Halten Sie die Beleuchtung im Führungsbild neutral, um zu vermeiden, dass starke Highlights ins Albedo gebacken werden.
• Trellis2ExportMesh (#19) Schreibt GLB mit eingebetteten Texturen. Verwenden Sie beschreibende Dateinamen, um Varianten organisiert zu halten, und halten Sie extension als glb für breite Kompatibilität. Überprüfen Sie das Ergebnis in den bereitgestellten Preview3D-Knoten, bevor Sie zu nachgelagerten Tools wechseln.

Optionale Extras

• Verwenden Sie hochwertige, subjektzentrierte Bilder. Für beste Ergebnisse in ComfyUI Trellis2 eng zuschneiden, Hintergründe entfernen und die Beleuchtung neutral und konsistent halten.
• Bevorzugen Sie Multi-Mesh, wenn Sie Front-, Dreiviertel- und Seitenansichten erfassen können; es verbessert die Geometrie in selbst verdeckten Bereichen.
• Wenn die Topologie wichtiger ist als Texturen, führen Sie zuerst einen "Nur Mesh"-Pfad aus, inspizieren und passen Sie Dreiecksbudgets an, und führen Sie dann bei Bedarf erneut mit Texturierung aus.
• Wenn die Ausgaben übermäßig geglättet aussehen, reduzieren Sie die Vereinfachung oder remeshen Sie konservativer vor der Unwrap-Phase.
• Für Referenzen mit dünnen Strukturen oder Zubehör erhöhen Sie das Erzeugungsauflösungspreset im fortgeschrittenen Generator und verwenden Sie eine größere Texturgröße während des Backens.

Ressourcen

• TRELLIS.2 Modellkarte: microsoft/TRELLIS.2‑4B
• TRELLIS.2 Repository: microsoft/TRELLIS.2
• Original TRELLIS Repository: microsoft/TRELLIS
• Verwendete ComfyUI-Erweiterung: visualbruno/ComfyUI‑Trellis2
• Unterstützende Backbones: facebook/dinov3‑vitl16‑pretrain‑lvd1689m, briaai/RMBG‑2.0

Danksagungen

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken visualbruno für ComfyUI-Trellis2 für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und Repositories, die unten verlinkt sind.

Ressourcen

• visualbruno/ComfyUI-Trellis2
  • GitHub: visualbruno/ComfyUI-Trellis2

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Betreiber.