Idol ComfyUI 画像から3Dへ: 単一画像から3D Gaussian splatをSPZ、GLB、軌道動画で#
Idol ComfyUI 画像から3Dへは、単一の被写体写真をナビゲート可能な3Dビューに変換します。このワークフローは、1枚の画像からGaussian splatを再構築し、ライブプレビューで結果を軌道させ、SPZスプラットとオプションのGLBメッシュの両方をエクスポートします。これは、TripoSplatのIdolファインチューンにより強化され、スタイライズされたキャラクター、フィギュア、プロップを強力な事前知識で読み取ります。
Idol ComfyUI 画像から3Dへは、クリーンな製品写真やコンセプトシートから高速な3D探索をしたいときに使用します。見えない側は見えるビューから推測されるため、背面の詳細は概算であり、GLB変換は生産使用前にクリーンアップが必要な場合があるクイックブロックアウト用です。
Comfyui Idol ComfyUI 画像から3Dへのワークフローの主なモデル#
- Comfy-Org Idol拡散モデル。TripoSplatメソッドに基づいた単一ビュー3D生成を駆動するUNet重み。ベースモデルに比べてスタイライズされた被写体での性能が強化されています。 Hugging Face: Comfy-Org/Idol およびオリジナルの speridlabs/idol。
- DINOv3 ViT-Hビジョンエンコーダー。入力画像からTripoSplatのサンプラーを条件付けするための堅牢な視覚的特徴を提供します。Idolリポジトリと共に配布。 Hugging Face: Comfy-Org/Idol
- Idol Decoder VAE。潜在サンプルをGaussian splat表現にデコードし、レンダリングおよびエクスポート可能にします。 Hugging Face: Comfy-Org/Idol
- Flux2 VAE。TripoSplatの潜在空間の特徴を整列させるための条件付けパスで使用されるセカンダリVAE。 Hugging Face: Comfy-Org/Idol
- BiRefNet背景除去モデル。髪や小道具などの薄い境界周辺のジオメトリと色を改善するクリーンな被写体マスクを生成します。 Hugging Face: Comfy-Org/BiRefNet
基礎となるアプローチの背景については、GitHubのTripoSplatとその論文を参照してください。 GitHub: VAST-AI-Research/TripoSplat および arXiv:2605.16355
Comfyui Idol ComfyUI 画像から3Dへのワークフローの使用方法#
このワークフローには1つのコア生成ステージと、並行して実行される3つの出力ブランチがあります: 軌道動画、SPZスプラット、実験的GLBメッシュ。単一の中心に配置された被写体をシンプルな背景にロードし、グラフをキューイングしてすべての出力を一度に取得します。
Image to Gaussian Splat (core generation)#
LoadImage (#99) ノードは、ソース画像とオプションのアルファを取り込みます。サブグラフ Image to Gaussian Splat (TripoSplat) (#88) は前処理、オプションのBiRefNetセグメンテーション、TripoSplat条件付けを処理します。内部では、CLIPVisionLoaderとVAEが特徴を抽出し、KSampler (#6) が潜在を生成し、VAEDecodeTripoSplat (#55) がそれを3D Gaussian splatに変換します。サブグラフのコントロールを使用して、auto_remove_backgroundを切り替え、num_gaussiansを設定し、Idolチェックポイントを選択し、seedを設定します。enable_previewをオンにして、TripoSplatSamplingPreview (#97) を通じてモデルをルートし、完全なデコード前にクイックサニティチェックを行います。
Create Video#
RenderSplat (#75) は再構築されたスプラットの軌道をレンダリングします。カメラの動きは、軌道モードのCreateCameraInfo (#79) によって定義され、距離とフレーミングを調整できます。CreateVideo (#41) はフレームを組み立て、SaveVideo (#42) が結果のクリップを書き込みます。このブランチは、シルエットを確認し、ComfyUIを離れることなくフローティングや遮蔽アーティファクトをチェックするのに最適です。
Create 3D Model (SPZ splat)#
SplatToFile3D (#92) は、高品質のスプラットレンダリングに使用されるポイント属性を保持する.spzファイルにGaussian splatを書き込みます。SaveGLB (#51) は3Dビューアを提供し、向きとスケールを確認し、ファイルをディスクにコミットします。このパスは、Idol ComfyUI 画像から3Dへの出力の最も忠実なリアルタイムビジュアライゼーションが必要な場合に選択します。
Create 3D Model (experimental mesh)#
SplatToMesh (#76) は、スプラットを交換用の三角メッシュに変換し、解像度、スムージング、コンポーネントのクリーンアップを制御します。SaveGLB (#67) は結果を.glbとしてエクスポートします。このパスは実験的であり、主にクイックブロックアウト用です。生産用にはDCCツールでリトポロジー、デシメーション、またはシェーディングの修正が必要です。
Comfyui Idol ComfyUI 画像から3Dへのワークフローの主要ノード#
UNETLoader (#16)#
TripoSplatをスタイライズされたキャラクターやプロップに特化させるIdol UNet重みをロードします。ベースライン比較が必要な場合は、リポジトリからストックTripoSplat UNetに交換できます。安定した動作を保つために、同じリリースファミリーからUNet、CLIPビジョンモデル、VAEを維持してください。参照重み: Hugging Face: Comfy-Org/Idol および GitHub: VAST-AI-Research/TripoSplat。
KSampler (#6)#
潜在3D表現を生成するノイズ除去スケジュールを駆動します。最も影響力のあるコントロールはsteps、sampler_name、scheduler、cfg、およびseedです。忠実度を高めるためにステップを増やし、CFGを調整して条件付けと滑らかさのバランスを取り、再現性を確保するためにシードを使用します。非常に低いステップで極端なCFGを避けてください。不安定なジオメトリを導入する可能性があります。
VAEDecodeTripoSplat (#55)#
最終的な潜在をGaussian splatに変換します。決定的なパラメータはnum_gaussiansで、ポイント数を設定し、詳細とメモリ使用量の両方に影響を与えます。プレビューには中程度のカウントを使用し、最終的なSPZエクスポートには高いカウントを使用します。非常に大きなカウントはレンダリングコストを増加させ、モデルが推測した以上の新しい詳細を発明しません。
ComfySwitchNode (#35) スイッチ: マスクソース#
BiRefNetマスクとLoadImageで提供される任意のアルファまたはマスクを選択します。入力に忙しい背景がある場合はモデル由来のマスクを使用します。クリーンなアルファを提供する場合は、薄い構造を保持するためにマスクに切り替えます。
TripoSplatSamplingPreview (#97)#
サンプリングの向きと粗いジオメトリのクイックで低コストのプレビューを提供します。被写体を初めてテストする際やチェックポイントを変更する際に有効にします。フレーミングとスケールを確認し、完全なデコードにコミットする前に検証を行います。
RenderSplat (#75)#
プレビュー動画に使用される軌道フレームをレンダリングします。主なコントロールは画像のwidthとheight、frames、splat_scale、headlight_shading、およびopacity_thresholdです。スプラットスケールと不透明度しきい値を一緒に監視し、ポイントブレンドがどれだけ柔らかくまたは厳しいかを制御します。
SplatToMesh (#76)#
スプラットを.glbエクスポート用の三角メッシュに変換します。resolution、min_component、min_opacity、およびsmoothは、詳細と清潔さのバランスを調整します。表面忠実度を高めるために解像度を上げ、浮遊している小さなシェルを削除するために最小コンポーネントを増やします。最良の結果を得るためにDCCでメッシュクリーンアップを実行することを期待してください。
CreateCameraInfo (#79)#
ビデオブランチのための軌道カメラパスを定義します。被写体を中心に配置し、クリッピングを避けるために距離、ヨー、およびピッチを調整します。カメラの調整をRenderSplatの解像度変更と組み合わせて、出力全体で被写体を一貫してフレーミングします。
オプションのエクストラ#
- 被写体を中心に配置し、フレーム内に完全に収まり、背景が最小の画像を優先します。
- すでに高品質のアルファがある場合はそれを使用し、そうでない場合は自動背景除去を有効にしてエッジを改善します。
- 繰り返しのために中程度の
num_gaussiansから始め、形状に満足したら最終的なSPZエクスポートのためにそれを上げます。 - ポーズとスケールを完全デコード前に確認するためにプレビュートグルを使用します。
- SPZは、スプラット対応ビューアでの忠実度と高速な繰り返しに最適です。GLBは交換用で、通常はクリーンアップが必要です。
- メッシュに変換する際は、DCCでデシメートして法線やシェーディングを修正することを期待してください。
- 軌道動画の場合、カメラの距離とフレーム数を調整して滑らかさとレンダリング時間のバランスを取ります。
- このメソッドは、見えるビューから見えない側を推測するため、対称性とシンプルな形状が最も確実に再構築されます。
謝辞#
このワークフローは、以下の作品とリソースを実装し、基にしています。Comfy-OrgにComfyUI Idolモデルファイル、Sperid LabsにオリジナルのIDOLモデル、Comfy-OrgにComfyUIワークフローテンプレート（3d_idol_image_to_gaussian_splat.json）の提供とメンテナンスを心より感謝いたします。詳細については、以下のリンクされたオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されたライセンスと条件に従うものとします。