Idol ComfyUI 图像到3D:单张图像到3D高斯点云,带有SPZ、GLB和轨道视频#
Idol ComfyUI 图像到3D将单张主体照片转变为可导航的3D视图。该工作流程从一张图像重建高斯点云,让您在实时预览中环绕结果,并导出SPZ点云和可选的GLB网格,用于下游DCC、游戏或XR管道。它由Idol微调的TripoSplat提供支持,该模型读取风格化人物、形象和道具,具有强大的先验知识。
当您希望从干净的产品拍摄或概念图中快速进行3D探索时,请使用Idol ComfyUI 图像到3D。未见面的侧面从可见视图推断出来,因此背面细节可能是近似的,GLB转换旨在用于快速块体化,可能需要在生产使用前进行清理。
Comfyui Idol ComfyUI 图像到3D工作流程中的关键模型#
- Comfy-Org Idol扩散模型。基于TripoSplat方法驱动单视图3D生成的UNet权重。在风格化主题上提供比基础模型更强的性能。 Hugging Face: Comfy-Org/Idol 和原始的 speridlabs/idol。
- DINOv3 ViT-H视觉编码器。提供来自输入图像的强大视觉特征,以调节TripoSplat的采样器以获得更好的3D一致性。与Idol存储库一起分发。 Hugging Face: Comfy-Org/Idol
- Idol Decoder VAE。解码潜在样本为可渲染和导出的高斯点云表示。 Hugging Face: Comfy-Org/Idol
- Flux2 VAE。用于调节路径中的次要VAE,以对齐TripoSplat的潜在空间特征。 Hugging Face: Comfy-Org/Idol
- BiRefNet背景移除模型。生成干净的主体遮罩,改善诸如头发或道具等细边缘周围的几何和颜色。 Hugging Face: Comfy-Org/BiRefNet
有关基础方法的背景,请参见GitHub上的TripoSplat及其论文。 GitHub: VAST-AI-Research/TripoSplat 和 arXiv:2605.16355
如何使用Comfyui Idol ComfyUI 图像到3D工作流程#
该工作流程有一个核心生成阶段和三个并行运行的输出分支:一个轨道视频,一个SPZ点云,以及一个实验性的GLB网格。在简单背景下加载一个单一、居中的主体,然后排队图表以一次性获取所有输出。
图像到高斯点云(核心生成)#
LoadImage (#99)节点引入您的源图像和可选的alpha。子图Image to Gaussian Splat (TripoSplat) (#88)处理预处理、可选的BiRefNet分割和TripoSplat调节。在内部,CLIPVisionLoader和VAEs提取特征,KSampler (#6)生成潜在变量,VAEDecodeTripoSplat (#55)将它们转换为3D高斯点云。使用子图的控件切换auto_remove_background,设置num_gaussians,选择Idol检查点,并设置seed。打开enable_preview,将模型通过TripoSplatSamplingPreview (#97)进行快速完整解码前的理智检查。
创建视频#
RenderSplat (#75)渲染重建点云的轨道。相机运动由CreateCameraInfo (#79)在轨道模式下定义,您可以调整距离和取景。CreateVideo (#41)组装帧,SaveVideo (#42)写入结果剪辑。此分支非常适合在不离开ComfyUI的情况下查看轮廓和检查漂浮物或遮挡工件。
创建3D模型(SPZ点云)#
SplatToFile3D (#92)将高斯点云写入.spz文件,该文件保留用于高质量点云渲染的点属性。SaveGLB (#51)提供3D查看器,以便您检查方向和缩放,然后将文件提交到磁盘。当您需要Idol ComfyUI 图像到3D输出的最忠实实时可视化时,选择此路径。
创建3D模型(实验网格)#
SplatToMesh (#76)将点云转换为三角网格以进行交换,具有分辨率、平滑和组件清理控制。SaveGLB (#67)将结果导出为.glb。此路径为实验性,主要用于快速块体化。期望在DCC工具中进行拓扑简化、降采样或修复阴影以用于生产。
Comfyui Idol ComfyUI 图像到3D工作流程中的关键节点#
UNETLoader (#16)#
加载Idol UNet权重,专门用于TripoSplat的风格化角色和道具。如果您需要基线比较,可以从其存储库中交换到库存TripoSplat UNet。保持UNet、CLIP视觉模型和VAEs来自同一发布系列,以确保稳定行为。参考权重:Hugging Face: Comfy-Org/Idol 和 GitHub: VAST-AI-Research/TripoSplat。
KSampler (#6)#
驱动生成潜在3D表示的去噪计划。最有影响力的控制是steps、sampler_name、scheduler、cfg和seed。增加步数以提高保真度,调整CFG以在调节与平滑之间平衡,并使用种子在多次运行中保持可重复性。避免在非常低的步数下使用极端CFG,这可能会引入不稳定的几何形状。
VAEDecodeTripoSplat (#55)#
将最终潜在变量转变为高斯点云。决定性参数是num_gaussians,它设置点数并影响细节和内存使用。使用中等数量进行预览,较高数量用于最终SPZ导出。非常大的数量增加渲染成本,并不会发明模型推断之外的新细节。
ComfySwitchNode (#35) 切换:遮罩源#
在BiRefNet遮罩和您提供的任何alpha或遮罩之间选择LoadImage。当输入有繁忙背景时,使用模型派生的遮罩。如果您提供干净的alpha,请切换到您的遮罩以保留细小结构。
TripoSplatSamplingPreview (#97)#
提供采样方向和粗略几何的快速低成本预览。在首次测试主体或更改检查点时启用此功能。它帮助您在进行完整解码之前验证取景和缩放。
RenderSplat (#75)#
渲染用于预览视频的轨道帧。关键控制是图像的width和height、frames、splat_scale、headlight_shading和opacity_threshold。注意点云缩放和不透明度阈值,这决定了点混合的软硬程度。
SplatToMesh (#76)#
将点云转换为可导出.glb的三角网格。resolution、min_component、min_opacity和smooth调节细节与清洁度之间的平衡。提高分辨率以获得更多表面保真度,并增加最小组件以消除微小漂浮壳。期望在DCC中运行网格清理以获得最佳结果。
CreateCameraInfo (#79)#
定义视频分支的轨道相机路径。调整距离、偏航和俯仰以将主体居中并避免剪切。将相机调整与RenderSplat分辨率变化配对,以确保您的主体在各个输出中一致地被框定。
可选附加功能#
- 偏好居中、全框和背景最少的图像。
- 如果您已经有高质量的alpha,请使用它;否则启用自动背景去除以获得更好的边缘。
- 从中等
num_gaussians开始迭代,然后在您对形状满意时将其提高以进行最终SPZ导出。 - 使用预览切换以在完整解码前验证姿势和比例。
- SPZ在点云兼容查看器中最佳保真度和快速迭代;GLB用于交换,通常需要清理。
- 转换为网格时,期望在DCC中进行降采样和修复法线或阴影。
- 对于轨道视频,调整相机距离和帧数以平衡平滑度和渲染时间。
- 该方法从可见视图推断未见面的侧面,因此对称性和简单形式重建最可靠。
致谢#
此工作流程实现并基于以下作品和资源。我们感谢Comfy-Org提供的ComfyUI Idol模型文件,Sperid Labs提供的原始IDOL模型,以及Comfy-Org提供的ComfyUI工作流程模板(3d_idol_image_to_gaussian_splat.json)的贡献和维护。有关权威详情,请参阅以下链接的原始文档和存储库。
资源#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
注意:使用所引用的模型、数据集和代码须遵循其作者和维护者提供的各自许可和条款。

