TripoSplat 3D Gaussian Splats ワークフロー | 画像を3Dに

ComfyUI 用 TripoSplat 画像を 3D Gaussian Splats ワークフロー#

単一の参照画像を共有可能な 3D Gaussian Splats アセットに変換し、軌道プレビュービデオを作成します。この TripoSplat 画像を 3D Gaussian Splats ワークフローは、背景除去、視覚コンディショニング、TripoSplat サンプリング、スプラットデコード、リアルタイムレンダリング、SPZ へのエクスポートを効率化する公式の ComfyUI 3D テンプレートです。オープンな TripoSplat プロジェクトと論文に基づいて構築されており、単一画像の 3D Gaussian 再構築のためのトリプレーン機能を導入しています GitHub と arXiv、Hugging Face で使用可能な重みが用意されています。

アーティスト、ゲーム開発者、XR クリエイターは、単一の画像からプロップやスタイライズされたオブジェクトを迅速にプロトタイプ化し、回転するターンテーブルとしてプレビューし、RunComfy 対応のアセットをエクスポートできます。この README で説明するテンプレートは、GitHub で利用可能な TripoSplat の ComfyUI ワークフロー例と一致します。

ComfyUI TripoSplat 画像を 3D Gaussian Splats ワークフローでの主要モデル#

• TripoSplat diffusion model checkpoint (UNet)。単一画像の特徴から 3D Gaussian フィールドを予測するコアジェネレーターです。ソース: GitHub と Hugging Face。
• TripoSplat VAE Decoder。サンプルされた潜在変数をレンダリングおよびエクスポート用の明示的な 3D Gaussian Splats パラメーターにデコードします。重みは Hugging Face の TripoSplat モデルカードにパッケージされています。
• FLUX.2 VAE。コンディショニングおよび TripoSplat パイプラインとの整合に使用される画像エンコーディングスペースを提供します。TripoSplat の重みと一緒に配布されています Hugging Face。
• DINO v3 ViT-H ビジョンバックボーン。単一視点の 3D 再構築のための高レベルで堅牢な画像特徴を提供します。このワークフローのアセットと共に出荷されています Hugging Face。
• BiRefNet for background removal。前景の被写体をセグメント化してコンディショニングを改善し、3D 生成の前に混雑を減らします。モデルの重み: Hugging Face。

ComfyUI TripoSplat 画像を 3D Gaussian Splats ワークフローの使用方法#

このワークフローは、画像とマスクの準備から TripoSplat サンプリングとデコードに移行し、その後、ライブ軌道プレビュービデオと SPZ 3D Gaussian Splats ファイルの 2 つのエクスポートブランチに展開します。第三のオプションのブランチは、スプラットをメッシュに変換して GLB エクスポートを行います。

• 画像をロードして準備します
  • LoadImage (#99) で参照画像をインポートします。画像にすでに透明性やキュレートされたマスクがある場合は、直接使用できます。それ以外の場合は、埋め込まれた "Remove Background (BiRefNet)" サブグラフが被写体を分離し、クリーンなマスクを転送します。Switch: Mask Source (#35) は、auto_remove_background トグルに基づいて、マスクと BiRefNet マスクの間を自動で選択します。プリプロセッサ TripoSplatPreprocessImage (#2) はサイズを標準化し、選択されたマスクと画像を組み合わせて被写体を中心に配置し、クリーンにします。
• Image to Gaussian Splat (TripoSplat) サブグラフ
  • コアサブグラフ Image to Gaussian Splat (TripoSplat) (#88) は、DINO v3 ViT-H と FLUX.2 VAE を使用して TripoSplatConditioning (#24) でコンディショニングを計算します。KSampler (#6) はそれらのコンディショニングを使用して TripoSplat UNet を実行し、潜在変数を生成します。次に VAEDecodeTripoSplat (#55) が潜在変数を実際の 3D Gaussian Splats 構造にデコードします。完全なデコードの前にクイックルックを希望する場合は、組み込みのプレビューパスを有効にし、モデルを TripoSplatSamplingPreview (#97) 経由でルーティングします。
• 3D モデルを作成
  • デコードされたスプラットは SplatToFile3D (#92) で SPZ ファイルにエクスポートされ、3D Gaussian フィールドを保持します。これは、RunComfy に再ロードするためや下流で使用するために推奨されるフォーマットです。SaveGLB (#51) ラベルが付けられたノードがファイルを受け取り、SPZ パッケージとしてディスクに書き込み、携帯性と共有を可能にします。
• ビデオを作成
  • ターンテーブルプレビュー用に、CreateCameraInfo (#79) が軌道カメラを定義し、RenderSplat (#75) がスプラットをフレームにラスタライズします。CreateVideo (#41) がそれらのフレームをビデオにステッチし、SaveVideo (#42) が結果をディスクに書き込みます。このブランチは、エクスポートを最終化する前にカバレッジ、密度、シルエットの即時視覚フィードバックを提供します。
• 3D モデルを作成 (実験的)
  • メッシュが必要な場合、実験的ブランチは SplatToMesh (#76) を使用してスプラットを変換し、SaveGLB (#67) を介して GLB を書き込みます。メッシュ変換は、クイックビジュアライゼーションや基本的な DCC インポートに最適です。忠実度と照明に優しいプレビューには、ネイティブのスプラットと軌道ビデオが通常、初期メッシュよりも良く見えます。

ComfyUI TripoSplat 画像を 3D Gaussian Splats ワークフローでの主要ノード#

• VAEDecodeTripoSplat (#55)
  • ディフュージョン潜在変数を完全な 3D Gaussian Splats 表現にデコードします。num_gaussians コントロールは密度とメモリ使用量を管理します。値が高いほど、密度が高く滑らかなシルエットが生成されますが、時間がかかり、より多くの VRAM を必要とします。適度に開始し、カバレッジとディテールがニーズを満たすまでスケールします。
• KSampler (#6)
  • コンディショニングと初期潜在変数を使用して TripoSplat 推論を駆動します。seed を調整して、同じ画像からの新しい構造変化を生み出します。前景抽出と被写体構成の変更を評価する間、他のサンプラーの選択は安定させておいてください。
• TripoSplatConditioning (#24)
  • DINO 機能と VAE 潜在変数を組み合わせて、単一画像の 3D を可能にする視覚的ガイダンスを構築します。良好な結果は、クリーンで中心に配置された被写体と、忙しい背景を除外するマスクに依存します。
• RenderSplat (#75)
  • プレビューターンテーブル用の画像にスプラットをレンダリングします。鮮明さと速度のバランスを取るために出力サイズを調整し、軌道スタイルを制御するために CreateCameraInfo (#79) からのカメラ情報入力を使用します。
• SplatToMesh (#76)
  • Gaussian 表現をポリゴンメッシュに変換して GLB エクスポートを行います。ネイティブスプラットよりも細部が少ないことを予想し、ターゲットのツールチェーンがメッシュを要求する場合の便利なパスとして扱ってください。

オプションの追加機能#

• 明確で中心に配置された被写体を持つ画像を使用し、背景からの良好な分離を確保します。遮蔽が最小限のオブジェクトビューが最適です。
• ソースにすでに透明性がある場合、手作りのマスクを保持するために自動背景除去を無効にします。
• num_gaussians を徐々に増やして、GPU とオブジェクトの複雑さに最適なポイントを見つけます。
• TripoSplat プレビューパスを有効にして、被写体の分離とシルエットを検証し、完全なデコードとエクスポートを実行する前に確認します。
• 品質と編集可能性のために SPZ を優先し、GLB が厳密に必要な場合のみメッシュブランチを使用します。

謝辞#

このワークフローは、以下の作品とリソースを実装し、構築しています。Comfy-Org に感謝し、ComfyUI のネイティブ 3D Gaussian Splatting サポートと 3D TripoSplat 画像からガウススプラットへのワークフローテンプレート、VAST AI Research および VAST AI に TripoSplat モデルとリポジトリ、TripoSplat 論文の著者に研究論文の貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。

リソース#

• Comfy-Org/Bringing native support for 3D Gaussian Splatting
  • Docs / Release Notes: Bringing native support for 3D Gaussian Splatting
• Comfy-Org/3d_triposplat_image_to_gaussian_splat.json
  • GitHub: Comfy-Org/workflow_templates
• VAST-AI/TripoSplat (model card)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• VAST-AI-Research/TripoSplat (repository)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• TripoSplat/arXiv:2605.16355
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355

Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.