ComfyUI Trellis2: 画像から3Dへ、メッシュの洗練、PBRテクスチャリングを一つのワークフローで
ComfyUI Trellis2は、MicrosoftのTRELLIS.2画像から3Dモデルを実用的でクリエイターに優しいComfyUIパイプラインに取り入れます。一つまたは複数の参照画像から開始し、クリーンなメッシュを生成し、UVを展開し、PBRテクスチャをベイクし、DCCやゲームエンジンにドロップできるGLBアセットをエクスポートします。このワークフローはまた、画像ガイダンスによる既存メッシュの洗練とメッシュの直接テクスチャリングという2つの高度なケースをカバーします。高忠実度のジオメトリ、一貫したテクスチャ、予測可能なエクスポートが必要な場合、このComfyUI Trellis2ワークフローはあなたのために設計されています。
グラフは、シンプルなワンクリックでの結果、深い制御、メッシュのみの出力、メッシュの洗練、テクスチャのみの生成、マルチビュー融合のために明確なグループに整理されています。内部では、ComfyUI Trellis2はTRELLIS.2のネイティブボクセル表現と強力な構成理解を活用し、構造を忠実に保ちながら細部とプロンプトセマンティクスを保持します。ソースノードはComfyUI拡張visualbruno/ComfyUI-Trellis2によって提供されます。
注意: このワークフローはMedium, Large, X Large Machineでのみ実行できます。2X Large以上のマシンではエラーが発生します。
ComfyUI Trellis2ワークフローの主要モデル
- Microsoft TRELLIS.2‑4B. 4Bパラメータの画像から3Dモデルで、迅速で高忠実度のメッシュとPBRマテリアル生成のためにO‑Voxel構造化ラテントを使用します。任意のトポロジーを処理し、PBR対応のアセットをエクスポートします。詳細はモデルカードとリポジトリをご覧ください: microsoft/TRELLIS.2‑4Bおよびmicrosoft/TRELLIS.2。
- Meta DINOv3 ViT‑L/16. 入力画像と生成された3D構造間のアライメントを改善するための堅牢な画像特徴を提供する高品質ビジュアルエンコーダです。詳細はfacebook/dinov3‑vitl16‑pretrain‑lvd1689m。
- BRIA RMBG‑2.0 (BiRefNet). 参照からクリーンなアルファマットを生成するためによく使用される画像マッティングモデルで、TRELLIS.2が主題に集中し、背景のにじみを減少させます。詳細はbriaai/RMBG‑2.0。
ComfyUI Trellis2ワークフローの使用方法
高レベルでは、すべてのパスがTRELLIS.2パイプラインをロードし、一つまたは複数の画像を取り込み、ボクセル化された3Dアセットを生成し、必要に応じてリメッシュと簡素化を行い、クリーントポロジーを実現します。UVを展開し、PBRテクスチャをベイクし、GLBをエクスポートします。タスクに合ったグループを使用してください。すべてのグループは独立しており、それぞれのプレビューとエクスポートを生成します。
1) シンプル
単一の画像からテクスチャ付きGLBへの最速の方法です。Trellis2LoadModel (#39)でモデルをロードし、Trellis2LoadImageWithTransparency (#6)を使用して参照をドロップします。アセットはTrellis2MeshWithVoxelGenerator (#41)によって生成され、Trellis2SimplifyMesh (#42)で軽く簡素化され、Trellis2PostProcessAndUnWrapAndRasterizer (#38)でUV展開されラスタライズされます。結果をTrellis2ExportMesh (#19)でエクスポートし、Preview3D (#43)で確認します。クリーンまたは透明な背景を持つ主題中心の画像を使用すると、最も一貫したジオメトリとテクスチャが得られます。
2) 高度
形状と外観に関するより多くの制御を望む場合に選択します。Trellis2LoadImageWithTransparency (#47)で参照をロードした後、高度なジェネレーターTrellis2MeshWithVoxelAdvancedGenerator (#51)がボクセル形状とテクスチャの推論方法について追加の制御を提供します。Trellis2PostProcessMesh (#46)は展開ステージ前にクリーンアップを行い、Trellis2PostProcessAndUnWrapAndRasterizer (#45)はUVとテクスチャベーキングを実行します。Trellis2ExportMesh (#49)でGLBを書き込み、Preview3D (#44)でシェーディングとディテールを評価します。
3) メッシュリファイナー
既にメッシュを持っており、ジオメトリを改善したり、新しい参照画像にマテリアルを調整したい場合に開始します。Trellis2LoadMesh (#57)でOBJをロードし、Trellis2LoadImageWithTransparency (#58)でガイド画像をロードします。Trellis2MeshRefiner (#59)はTRELLIS.2の機能を使用して形状を洗練し、入力メッシュに忠実であり続けます。Trellis2Remesh (#53)とTrellis2SimplifyMesh (#54)はトポロジーをクリーンアップし、Trellis2MeshWithVoxelToTrimesh (#55)が標準の三角形メッシュを返します。Trellis2ExportMesh (#60)でエクスポートし、Preview3D (#56)で確認します。
5) Only_Mesh_Advanced
ジオメトリのみが必要で、他の場所でテクスチャリングを計画している場合に使用します。Trellis2MeshWithVoxelAdvancedGenerator (#74)は画像からの堅牢な形状に焦点を当て、Trellis2Remesh (#70)とTrellis2SimplifyMesh (#76)がクリーンで効率的な三角形予算を生成します。Trellis2MeshWithVoxelToTrimesh (#72)で変換し、Trellis2ExportMesh (#75)を介してGLBをエクスポートし、Preview3D (#71)で検査します。トポロジーが最も重要なヘルメットのようなハードサーフェス部品に最適です。
6) Only_Mesh_Simple
これはクイックなジオメトリのみのパスです。Trellis2MeshWithVoxelGenerator (#83)に画像を供給し、その後Trellis2SimplifyMesh (#85)とTrellis2Remesh (#84)を使用して使用可能な表面を生成し、必要に応じて別の軽いTrellis2SimplifyMesh (#82)を行います。Trellis2MeshWithVoxelToTrimesh (#80)で変換し、Trellis2ExportMesh (#81)を使用してエクスポートし、Preview3D (#77)でプレビューします。完全なテクスチャリングの前に形状をプロトタイプするための迅速な方法です。
7) テクスチャメッシュ
クリーンなメッシュを持ち、画像に基づいたPBRテクスチャを望む場合、このルートを使用します。Trellis2LoadImageWithTransparency (#86)で参照をロードし、Trellis2LoadMesh (#91)でメッシュをロードします。Trellis2MeshTexturing (#87)は、表面に合わせたベースカラーとメタリック・ラフネステクスチャを生成し、Trellis2ExportMesh (#93)を介してエクスポートできるテクスチャメッシュを出力します。PreviewImage (#88, #92)はベイクされたマップを表示し、Preview3D (#89)はシェーディングを表示します。
8) マルチメッシュ
より高い忠実度と少ない曖昧さのために、同じ主題の複数のビューを提供します。Trellis2LoadImageWithTransparency (#100, #101, #103)で3つの画像をロードし、ImageBatchMulti (#98)を使用してそれらを組み合わせ、Trellis2MeshWithVoxelAdvancedGenerator (#102)を実行します。軽いTrellis2SimplifyMesh (#95)とTrellis2PostProcessAndUnWrapAndRasterizer (#96)でトポロジー、UV、およびPBRテクスチャを最終化します。Trellis2ExportMesh (#99)でエクスポートし、Preview3D (#94)で評価します。
ComfyUI Trellis2ワークフローの主要ノード
Trellis2LoadModel(#39) TRELLIS.2パイプラインをロードし、アテンションバックエンドを設定します。速度を向上させるためにGPUがサポートする場合はflash_attnを使用し、互換性の問題が発生した場合は代替バックエンドに切り替えます。再読み込みを避けるために、グループ間で同じロード済みモデルを再利用します。Trellis2MeshWithVoxelGenerator(#41) ワンクリックの画像からメッシュへのジェネレーターです。バリエーションのためにseedを調整し、fixedまたはrandomizeを選択して再現性を制御します。外部でテクスチャリングを計画している場合は、UVとテクスチャベーキングをスキップするために「Only Mesh」グループにルートします。Trellis2MeshWithVoxelAdvancedGenerator(#51) 形状と外観の推論に関する個別の制御を提供します。品質とメモリのバランスを取るために解像度プリセットを使用します。高い設定は小さな特徴をキャプチャしますが、VRAMを増加させます。複数のビューを使用する場合は、フレーミングを一貫させ、このノードにより安定したジオメトリを融合させます。Trellis2MeshRefiner(#59) 参照画像に導かれた既存メッシュを改善します。大きな形状修正をしたい場合は洗練強度を増加させ、元のプロポーションとトポロジーを保持したい場合は低くします。合理的にクリーンで水密な入力で最も効果的です。Trellis2Remesh(#53) UV前にエッジフローと均一な三角形のためにトポロジーを再構築します。生成または洗練後に使用して、下流の展開とテクスチャベーキングを安定させます。既に良好に変形するメッシュの場合は、リメッシュを控えめに維持できます。Trellis2SimplifyMesh(#42) 形状を保存しながら三角形数を減少させます。ベイク時間を短縮するためにUV展開前にデシメートするか、厳密な予算を達成する必要がある場合は展開後にUVの連続性を維持します。各ステップでシルエットとハードエッジが無傷であることを確認するためにプレビューします。Trellis2PostProcessAndUnWrapAndRasterizer(#38) UV展開とPBRテクスチャベーキングを担当します。ターゲットプラットフォームに適したtexture_sizeを選択します。大きなテクスチャは細かい素材のディテールを改善しますが、メモリを消費します。アセットに透明性が必要な場合は、適切なマテリアルモードを選択し、必要に応じてDCCでアルファを接続します。Trellis2MeshTexturing(#87) 指導画像に合わせたメッシュのベースカラーとメタリック・ラフネステクスチャを生成します。ファブリックの織りや小さなデカールのような細かい素材のためにtexture_sizeを増加させます。ガイド画像の照明を中立に保ち、アルベドに強いハイライトが焼き付かないようにします。Trellis2ExportMesh(#19) 埋め込まれたテクスチャを持つGLBを書き込みます。バリアントを整理するために説明的なファイル名を使用し、広範な互換性のためにextensionをglbに保ちます。下流のツールに移行する前に、提供されたPreview3Dノードで結果をjson
確認してください。
オプションの追加機能
- 高品質で主題中心の画像を使用してください。ComfyUI Trellis2で最高の結果を得るには、タイトにトリミングし、背景を削除し、ビュー間で照明を中立で一貫性のあるものに保ちます。
- 前面、3/4、側面のビューをキャプチャできる場合は、マルチメッシュを優先してください。自己遮蔽領域でのジオメトリが改善されます。
- トポロジーがテクスチャよりも重要な場合は、最初に「Only Mesh」パスを実行し、三角形予算を検査して調整し、必要に応じてテクスチャリングを再実行してください。
- 出力が過度にスムーズに見える場合は、簡素化を低くするか、展開ステージ前にリメッシュを控えめに行ってください。
- 薄い構造やアクセサリーを持つ参照の場合、高度なジェネレーターで生成解像度プリセットを増加させ、ベーキング中に大きなテクスチャサイズを使用してください。
リソース
- TRELLIS.2モデルカード: microsoft/TRELLIS.2‑4B
- TRELLIS.2リポジトリ: microsoft/TRELLIS.2
- オリジナルTRELLISリポジトリ: microsoft/TRELLIS
- 使用したComfyUI拡張: visualbruno/ComfyUI‑Trellis2
- サポートバックボーン: facebook/dinov3‑vitl16‑pretrain‑lvd1689m, briaai/RMBG‑2.0
謝辞
このワークフローは、以下の作品とリソースを実装および基にしています。我々は、ComfyUI-Trellis2のvisualbrunoに彼らの貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされているオリジナルのドキュメントとリポジトリを参照してください。
リソース
- visualbruno/ComfyUI-Trellis2
- GitHub: visualbruno/ComfyUI-Trellis2
注意: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されたライセンスと条件に従います。