ComfyUI>工作流>Idol ComfyUI 图像到3D | 高斯点云

Idol ComfyUI 图像到3D | 高斯点云

Workflow Name: RunComfy/Idol-Image-to-3D
Workflow ID: 0000...1557
使用Idol将您的物体图像转变为3D高斯点云。在轨道预览视频中检查它。导出SPZ点云或转换的GLB网格。从多个角度探索3D概念。期望未见面的细节在未见面的侧面上推断出来。在生产使用前清理网格。

Idol ComfyUI Image to 3D Workflow

Idol ComfyUI Image to 3D | Gaussian Splats, SPZ + GLB
Want to run this workflow?
  • Fully operational workflows
  • No missing nodes or models
  • No manual setups required
  • Features stunning visuals

Idol ComfyUI Image to 3D Examples

Idol ComfyUI 图像到3D:单张图像到3D高斯点云,带有SPZ、GLB和轨道视频#

Idol ComfyUI 图像到3D将单张主体照片转变为可导航的3D视图。该工作流程从一张图像重建高斯点云,让您在实时预览中环绕结果,并导出SPZ点云和可选的GLB网格,用于下游DCC、游戏或XR管道。它由Idol微调的TripoSplat提供支持,该模型读取风格化人物、形象和道具,具有强大的先验知识。

当您希望从干净的产品拍摄或概念图中快速进行3D探索时,请使用Idol ComfyUI 图像到3D。未见面的侧面从可见视图推断出来,因此背面细节可能是近似的,GLB转换旨在用于快速块体化,可能需要在生产使用前进行清理。

Comfyui Idol ComfyUI 图像到3D工作流程中的关键模型#

  • Comfy-Org Idol扩散模型。基于TripoSplat方法驱动单视图3D生成的UNet权重。在风格化主题上提供比基础模型更强的性能。 Hugging Face: Comfy-Org/Idol 和原始的 speridlabs/idol。
  • DINOv3 ViT-H视觉编码器。提供来自输入图像的强大视觉特征,以调节TripoSplat的采样器以获得更好的3D一致性。与Idol存储库一起分发。 Hugging Face: Comfy-Org/Idol
  • Idol Decoder VAE。解码潜在样本为可渲染和导出的高斯点云表示。 Hugging Face: Comfy-Org/Idol
  • Flux2 VAE。用于调节路径中的次要VAE,以对齐TripoSplat的潜在空间特征。 Hugging Face: Comfy-Org/Idol
  • BiRefNet背景移除模型。生成干净的主体遮罩,改善诸如头发或道具等细边缘周围的几何和颜色。 Hugging Face: Comfy-Org/BiRefNet

有关基础方法的背景,请参见GitHub上的TripoSplat及其论文。 GitHub: VAST-AI-Research/TripoSplat 和 arXiv:2605.16355

如何使用Comfyui Idol ComfyUI 图像到3D工作流程#

该工作流程有一个核心生成阶段和三个并行运行的输出分支:一个轨道视频,一个SPZ点云,以及一个实验性的GLB网格。在简单背景下加载一个单一、居中的主体,然后排队图表以一次性获取所有输出。

图像到高斯点云(核心生成)#

LoadImage (#99)节点引入您的源图像和可选的alpha。子图Image to Gaussian Splat (TripoSplat) (#88)处理预处理、可选的BiRefNet分割和TripoSplat调节。在内部,CLIPVisionLoader和VAEs提取特征,KSampler (#6)生成潜在变量,VAEDecodeTripoSplat (#55)将它们转换为3D高斯点云。使用子图的控件切换auto_remove_background,设置num_gaussians,选择Idol检查点,并设置seed。打开enable_preview,将模型通过TripoSplatSamplingPreview (#97)进行快速完整解码前的理智检查。

创建视频#

RenderSplat (#75)渲染重建点云的轨道。相机运动由CreateCameraInfo (#79)在轨道模式下定义,您可以调整距离和取景。CreateVideo (#41)组装帧,SaveVideo (#42)写入结果剪辑。此分支非常适合在不离开ComfyUI的情况下查看轮廓和检查漂浮物或遮挡工件。

创建3D模型(SPZ点云)#

SplatToFile3D (#92)将高斯点云写入.spz文件,该文件保留用于高质量点云渲染的点属性。SaveGLB (#51)提供3D查看器,以便您检查方向和缩放,然后将文件提交到磁盘。当您需要Idol ComfyUI 图像到3D输出的最忠实实时可视化时,选择此路径。

创建3D模型(实验网格)#

SplatToMesh (#76)将点云转换为三角网格以进行交换,具有分辨率、平滑和组件清理控制。SaveGLB (#67)将结果导出为.glb。此路径为实验性,主要用于快速块体化。期望在DCC工具中进行拓扑简化、降采样或修复阴影以用于生产。

Comfyui Idol ComfyUI 图像到3D工作流程中的关键节点#

UNETLoader (#16)#

加载Idol UNet权重,专门用于TripoSplat的风格化角色和道具。如果您需要基线比较,可以从其存储库中交换到库存TripoSplat UNet。保持UNet、CLIP视觉模型和VAEs来自同一发布系列,以确保稳定行为。参考权重:Hugging Face: Comfy-Org/Idol 和 GitHub: VAST-AI-Research/TripoSplat。

KSampler (#6)#

驱动生成潜在3D表示的去噪计划。最有影响力的控制是steps、sampler_name、scheduler、cfg和seed。增加步数以提高保真度,调整CFG以在调节与平滑之间平衡,并使用种子在多次运行中保持可重复性。避免在非常低的步数下使用极端CFG,这可能会引入不稳定的几何形状。

VAEDecodeTripoSplat (#55)#

将最终潜在变量转变为高斯点云。决定性参数是num_gaussians,它设置点数并影响细节和内存使用。使用中等数量进行预览,较高数量用于最终SPZ导出。非常大的数量增加渲染成本,并不会发明模型推断之外的新细节。

ComfySwitchNode (#35) 切换:遮罩源#

在BiRefNet遮罩和您提供的任何alpha或遮罩之间选择LoadImage。当输入有繁忙背景时,使用模型派生的遮罩。如果您提供干净的alpha,请切换到您的遮罩以保留细小结构。

TripoSplatSamplingPreview (#97)#

提供采样方向和粗略几何的快速低成本预览。在首次测试主体或更改检查点时启用此功能。它帮助您在进行完整解码之前验证取景和缩放。

RenderSplat (#75)#

渲染用于预览视频的轨道帧。关键控制是图像的width和height、frames、splat_scale、headlight_shading和opacity_threshold。注意点云缩放和不透明度阈值,这决定了点混合的软硬程度。

SplatToMesh (#76)#

将点云转换为可导出.glb的三角网格。resolution、min_component、min_opacity和smooth调节细节与清洁度之间的平衡。提高分辨率以获得更多表面保真度,并增加最小组件以消除微小漂浮壳。期望在DCC中运行网格清理以获得最佳结果。

CreateCameraInfo (#79)#

定义视频分支的轨道相机路径。调整距离、偏航和俯仰以将主体居中并避免剪切。将相机调整与RenderSplat分辨率变化配对,以确保您的主体在各个输出中一致地被框定。

可选附加功能#

  • 偏好居中、全框和背景最少的图像。
  • 如果您已经有高质量的alpha,请使用它;否则启用自动背景去除以获得更好的边缘。
  • 从中等num_gaussians开始迭代,然后在您对形状满意时将其提高以进行最终SPZ导出。
  • 使用预览切换以在完整解码前验证姿势和比例。
  • SPZ在点云兼容查看器中最佳保真度和快速迭代;GLB用于交换,通常需要清理。
  • 转换为网格时,期望在DCC中进行降采样和修复法线或阴影。
  • 对于轨道视频,调整相机距离和帧数以平衡平滑度和渲染时间。
  • 该方法从可见视图推断未见面的侧面,因此对称性和简单形式重建最可靠。

致谢#

此工作流程实现并基于以下作品和资源。我们感谢Comfy-Org提供的ComfyUI Idol模型文件,Sperid Labs提供的原始IDOL模型,以及Comfy-Org提供的ComfyUI工作流程模板(3d_idol_image_to_gaussian_splat.json)的贡献和维护。有关权威详情,请参阅以下链接的原始文档和存储库。

资源#

注意:使用所引用的模型、数据集和代码须遵循其作者和维护者提供的各自许可和条款。

RunComfy
版权 2026 RunComfy. 保留所有权利。

RunComfy 是首选的 ComfyUI 平台,提供 ComfyUI 在线 环境和服务,以及 ComfyUI 工作流 具有惊艳的视觉效果。 RunComfy还提供 AI Models, 帮助艺术家利用最新的AI工具创作出令人惊叹的艺术作品。