Pixal3D & TRELLIS.2 | 迅速な画像から3Dへ

Pixal3D & TRELLIS.2 ComfyUI ワークフロー: 単一画像からテクスチャ付き3D GLBへ#

このPixal3D & TRELLIS.2 ComfyUI ワークフローは、単一の製品またはオブジェクト写真をクリーンでテクスチャ付きの3Dアセットに変換し、プレビュー可能なGLBを生成します。デフォルトのパスはPixal3Dを実行し、内蔵のスイッチでTRELLIS.2ブランチを公開するので、グラフを再構築することなく結果を比較できます。共有されたDINOv3コンディショニング、MoGeカメラ推定、背景除去、UVアンラッピング、およびPBRテクスチャベイクは、ゲーム対応メッシュおよびテクスチャマップの生成を支援します。これは、アーティスト、ゲームプロトタイパー、および製品チームがComfyUI内で迅速かつ再現可能な画像から3Dへの結果を必要とする場合の実用的な出発点です。

出力には、迅速な頂点カラーのプレビューGLBと、ベースカラー、メタリック、ラフネス、アンビエントオクルージョン、およびノーマルサポートを備えた最終的なPBRテクスチャ付きGLBが含まれます。インラインプレビューにより、UV、テクスチャチャンネル、照明動作をエクスポート前に検証できます。

Comfyui Pixal3D & TRELLIS.2 ComfyUI ワークフローの主要モデル#

• Pixal3D (Comfy‑Org) – 単一画像3D拡散バックボーンで、1つのビューからオブジェクトの形状とテクスチャを予測します。 Model card
• TRELLIS.2 (Comfy‑Org) – 形状とテクスチャの2段階アーキテクチャで、幾何学的一貫性とテクスチャ忠実度を向上させます。 Model card
• DINOv3‑L ビジョンエンコーダー – 入力画像にPixal3DおよびTRELLIS.2を条件付けるために使用される特徴抽出器です。 (Weights hosted within Pixal3D assets.) Repository
• MoGe 2 (Monocular Geometry Estimation, ViT‑L) – 下流の再構築を安定化するために使用される粗いジオメトリとカメラの視野を予測します。 Model card
• BiRefNet – フォアグラウンドオブジェクトを分離し、クロップをタイトにするために使用される背景除去ネットワークです。 Model card
• TRELLIS.2 VAEs (Shape VAE and Texture VAE) – 両方のブランチで使用される形状およびテクスチャの潜在デコーダーです。 Repository

Comfyui Pixal3D & TRELLIS.2 ComfyUI ワークフローの使用方法#

ワークフローは左から右に流れます: 画像の前処理とコンディショニング、スパース構造、形状の洗練、テクスチャ生成、UVとベイク、そしてエクスポート。単一のトグルでモデルとそのコンディショニングをPixal3DとTRELLIS.2の間で切り替え、他のパイプラインは同一のままです。

入力画像をここにアップロード#

クリーンな背景に対して単一のオブジェクトの十分に照らされた写真をロードします。正方形のクロップはうまく機能しますが、背景除去がアクティブな場合、グラフは被写体の周りを自動クロップします。PreviewImageノードは、下流のステージが正確に何を見るかを示し、フレーミングの問題を早期に発見するのに役立ちます。

背景を除去#

フォアグラウンド分離はBiRefNetを使用してモデルがシーンではなくオブジェクトのシルエットに集中するようにします。Switch: Remove background (#248)を使用して、マット処理を有効またはバイパスします。結果のマスクは素早く検証され、クロップを駆動するためにも使用されます。

画像の前処理#

ImageCropToMaskは、マスクに基づいてオブジェクトをセンタリングし、パッドを追加して、被写体がクリッピングなしでフレームを満たすようにします。これにより、コンディショニングのための特徴抽出が改善され、ジオメトリ推定が正しいスケールに収束するのに役立ちます。プレビューは3Dモデルブランチに到達する最終入力を確認します。

カメラFoVを取得#

MoGeは単眼の深度キューを推定し、それらをカメラの視野に変換して再構築を安定化します。MoGeInference (#56)は前処理された画像で実行され、次にMoGeGeometryToFOVがカメラの角度をコンディショニングにフィードバックします。Pixal3Dブランチはこの信号を直接使用し、TRELLIS.2ブランチはDINOv3からの画像特徴に依存します。

コンディショニング#

Pixal3DConditioningおよびTrellis2Conditioningは、DINOv3‑Lの特徴を拡散サンプラーの正および負のコンディショニングに変換します。通常の使用では何も調整する必要はありません。ワークフローは自動的に正しいコンディショニングをアクティブなモデルブランチにルーティングします。

モデルをここで切り替え#

Boolean (Switch to Trellis2) (#316)を設定してアクティブなブランチを選択します。トグルはUNetモデルのComfySwitchNode (#318)および対応する正および負のコンディショニングのためのComfySwitchNode (#314 および #315)を駆動します。速度のためにPixal3Dで始め、より強い幾何学的一貫性またはテクスチャの詳細が必要な場合はTRELLIS.2に切り替えます。

スパース構造生成#

このステージはオブジェクトの粗いボクセル足場を作成します。KSampler (#3)は空の潜在構造で実行され、画像のコンディショニングによってのみガイドされます。VaeDecodeStructureTrellis2 (#119)は潜在を低解像度のボクセルグリッドに変換し、すぐに粗いメッシュに変換して初期の3Dプレビューを行います。このパスを使用して、より深いサンプリングの前に全体的なシルエットを確認します。

形状生成#

Trellis2ShapeStage (#91)は形状認識ガイドを注入し、ターゲットのKSampler (#18)が構造を密化します。Trellis2UpsampleStage (#94)は空間解像度を向上させ、確立された形を失うことなく細かい詳細をキャプチャします。VaeDecodeShapeTrellis (#92)は最初の防水メッシュを生成し、後のテクスチャデコードがジオメトリに整合する形状の細分化を維持します。

テクスチャ生成#

このステージは、形状の最終化に基づいてテクスチャを条件付けし、表面の外側に描画しないようにします。Trellis2TextureStage (#98)は、アップサンプルされた形状とコンディショニングに基づいてテクスチャ潜在を準備します。最終的なKSampler (#12)がテクスチャ潜在を解決し、VaeDecodeTextureTrellis (#93)がそれをデコードされた形状トポロジーに一致するボクセルごとの色に変換します。

メッシュの後処理#

UVの前に、メッシュはベイクとリアルタイム使用のためにクリーンアップされ、サイズが適正化されます。RemeshMeshおよびDecimateMeshはトポロジーを正規化し、特徴を維持しながら面を削減します。MeshSmoothNormalsはシェーディングの連続性を改善します。GetMeshInfoは、正しい高ポリおよび低ポリバージョンをベイクノードにルーティングするのに役立ちます。

テクスチャのベイク#

UnwrapMeshは、選択したマップサイズでUVレイアウトを生成し、Texture Resolution整数ウィジェットで制御されます。BakeTextureFromVoxel (#147)はボクセルカラーをUV空間のベースカラー、メタリック、ラフネステクスチャに変換します。BakeAmbientOcclusion (#233)およびBakeNormalMapFromMesh (#224)は、物理ベースシェーディングのために高ポリから低ポリにオクルージョンとノーマルマップをベイクします。ApplyTextureToMesh (#210)はメッシュ上にPBRセットを組み立て、MeshSmoothNormalsとエクスポートノードが最終的なGLBを書き込みます。UV、ベースカラー、メタリック、ラフネス、AO、およびノーマルの結果を保存する前に検証するために含まれているプレビューを使用します。

頂点カラーのプレビュー#

迅速な反復のために、PaintMesh (#252)はボクセルカラーを直接メッシュに適用し、UVやベイクなしで軽量プレビューGLBを生成します。このパスは、ビューのカバレッジ、素材の分離、および全体的な外観を迅速に評価するのに理想的であり、完全なPBRベイクをコミットする前に問題を早期に発見するのに役立ちます。それを使用して早期に問題を発見し、次にベイクブランチに戻って最終的なテクスチャを作成します。

Comfyui Pixal3D & TRELLIS.2 ComfyUI ワークフローの主要ノード#

• Boolean (Switch to Trellis2) (#316) グラフがPixal3DまたはTRELLIS.2を実行するかどうかを制御します。クイックドラフトにはPixal3Dを使用し、モデルカードに記載された形状とテクスチャの2段階パイプラインが必要な場合はTRELLIS.2に切り替えます。 TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) 選択されたUNetをすべての下流サンプラーにルーティングし、ブランチ変更がグローバルで一貫していることを確認します。条件スイッチ（ComfySwitchNode (#314)およびComfySwitchNode (#315)）とペアリングして、プロンプトが選択されたバックボーンに整合するようにします。
• Trellis2ShapeStage (#91) 密なサンプリングの前にジオメトリ固有のガイドを追加し、プロポーションとシルエットを安定させます。入力が複雑なアウトラインや細かい構造的詳細を持つ場合に便利です。 TRELLIS.2
• Trellis2UpsampleStage (#94) ノイズを再導入することなく形状の潜在空間解像度を向上させます。目に見えて細かいメッシュの詳細が必要な場合や速度と忠実度のバランスを取りたい場合にのみ調整します。 TRELLIS.2
• Trellis2TextureStage (#98) PBRマップが表面に密着するように形状の最終化に基づいてテクスチャを条件付けします。ここでの調整は、テクスチャがジオメトリにどれだけ強く従うかに影響します。 TRELLIS.2
• UnwrapMesh (#196) すべての後続のベイクで使用されるUVアトラスを生成します。その解像度をTexture Resolutionコントロールと調整して、ベースカラー、メタリック、ラフネス、AO、およびノーマルのターゲットマップサイズを設定します。
• BakeTextureFromVoxel (#147) ボクセルカラーをUVテクスチャに変換し、形状デコーダからの参照メッシュと整合して詳細を保持します。色のにじみや小さなマーキングの損失が見られる場合はテクスチャサイズを増やします。
• ApplyTextureToMesh (#210) ベースカラー、メタリック、ラフネス、オクルージョン、およびノーマルを最終的なPBR対応メッシュに組み合わせます。エクスポート前に各チャンネルを検証するために含まれているプレビューを使用します。
• MoGeInference (#56) 幾何学およびカメラのFoVを推定し、特に狭いまたは広いレンズでの再構築の安定性を向上させます。スケールドリフトを避けるためにほとんどの入力でこれをオンにしておきます。 MoGe
• RemoveBackground (#192) および Switch: Remove background (#248) BiRefNetによるオプションのフォアグラウンドマット処理。多忙なシーンや影が再構築を混乱させる場合に有効にします。 BiRefNet
• Save3DAdvanced (#322) 最終的なGLBを書き込み、ファイル名のプレフィックスとプレビューカメラを設定できます。すべてのテクスチャチェックが正しいように見えるPBRブランチの最後で使用します。

##json Optional extras

• 単一で中心に配置されたオブジェクトを目指し、Pixal3D & TRELLIS.2 ComfyUI ワークフローの最良の結果を得るために、遮蔽が最小限であり、エッジのコントラストが良好であることを確認します。
• 背景が混雑している場合は、背景除去スイッチを有効にして、シルエットの品質とUVパッキング効率を向上させます。
• 頂点カラーのプレビューGLBで迅速に反復し、形状と素材の分離が適切に見える場合は、完全なベイクブランチを実行します。
• ヒーローアセットやマクロショットをエクスポートする際にはTexture Resolutionを増やします。迅速な小道具やモバイルターゲットには控えめにしておきます。
• UVアトラスプレビューを使用して、ベイク前にストレッチやオーバーラップを確認します。
• より完全な再構築のために、極端な視点よりも3/4または正面の角度を好みます。

謝辞#

このワークフローは、以下の作品とリソースを実装および構築しています。Comfy.orgのSourceワークフローテンプレート、Comfy-OrgのPixal3DおよびTRELLIS.2モデルウェイト、Comfy-OrgのMoGeおよびBiRefNetモデルウェイトの貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントおよびリポジトリを参照してください。

リソース#

• Comfy.org/Source ワークフローテンプレート
  • ドキュメント / リリースノート: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件に従います。