Idol ComfyUI 이미지에서 3D로: 단일 이미지에서 3D Gaussian splat로 SPZ, GLB 및 궤도 비디오#
Idol ComfyUI 이미지에서 3D로는 하나의 주제 사진을 탐색 가능한 3D 보기로 변환합니다. 이 워크플로우는 하나의 이미지에서 Gaussian splat를 재구성하고, 결과를 라이브 미리보기에서 궤도할 수 있게 하며, SPZ splat와 선택적인 GLB 메쉬를 하위 DCC, 게임 또는 XR 파이프라인을 위해 내보냅니다. 이는 TripoSplat의 Idol 맞춤화에 의해 구동되며, 스타일화된 캐릭터, 피규어, 소품을 강력한 사전 지식으로 읽습니다.
Idol ComfyUI 이미지에서 3D로를 사용하여 빠른 3D 탐색을 원할 때 깨끗한 제품 사진이나 개념 시트에서 사용하세요. 보이지 않는 면은 보이는 뷰에서 추론되므로, 세부적인 뒷면 세부 사항은 대략적일 수 있으며, GLB 변환은 생산 사용 전에 정리가 필요할 수 있는 빠른 블록아웃을 위해 의도되었습니다.
Comfyui Idol ComfyUI 이미지에서 3D로 워크플로우의 주요 모델#
- Comfy-Org Idol 확산 모델. TripoSplat 방법을 기반으로 단일 뷰 3D 생성을 구동하는 UNet 가중치. 기본 모델에 비해 스타일화된 주제에 대한 성능이 더 강력합니다. Hugging Face: Comfy-Org/Idol 및 원본 speridlabs/idol.
- DINOv3 ViT-H 비전 인코더. TripoSplat의 샘플러를 위한 더 나은 3D 일관성을 위해 입력 이미지에서 강력한 시각적 기능을 제공합니다. Idol 저장소와 함께 배포됩니다. Hugging Face: Comfy-Org/Idol
- Idol Decoder VAE. 잠재 샘플을 렌더링 및 내보낼 수 있는 Gaussian splat 표현으로 디코딩합니다. Hugging Face: Comfy-Org/Idol
- Flux2 VAE. TripoSplat의 잠재 공간에 대한 기능을 정렬하는 조건 경로에서 사용되는 보조 VAE입니다. Hugging Face: Comfy-Org/Idol
- BiRefNet 배경 제거 모델. 머리카락이나 소품과 같은 얇은 경계 주변의 기하학 및 색상을 개선하는 깨끗한 주제 마스크를 생성합니다. Hugging Face: Comfy-Org/BiRefNet
기본 접근 방식에 대한 배경은 GitHub의 TripoSplat 및 해당 논문을 참조하세요. GitHub: VAST-AI-Research/TripoSplat 및 arXiv:2605.16355
Comfyui Idol ComfyUI 이미지에서 3D로 워크플로우 사용 방법#
이 워크플로우는 하나의 핵심 생성 단계와 병렬로 실행되는 세 가지 출력 브랜치를 가지고 있습니다: 궤도 비디오, SPZ splat 및 실험적인 GLB 메쉬. 단순한 배경에 단일, 중앙 주제를 로드하고 모든 출력을 한 번에 얻기 위해 그래프를 큐에 넣습니다.
이미지에서 Gaussian Splat (핵심 생성)#
LoadImage (#99) 노드는 소스 이미지와 선택적 알파를 가져옵니다. 서브그래프 이미지에서 Gaussian Splat (TripoSplat) (#88)은 전처리, 선택적 BiRefNet 세분화 및 TripoSplat 조건 처리를 다룹니다. 내부적으로 CLIPVisionLoader 및 VAE는 기능을 추출하고, KSampler (#6)는 잠재를 생성하며, VAEDecodeTripoSplat (#55)는 이를 3D Gaussian splat로 변환합니다. 서브그래프의 컨트롤을 사용하여 auto_remove_background를 전환하고, num_gaussians를 설정하고, Idol 체크포인트를 선택하고, seed를 설정합니다. enable_preview를 켜서 TripoSplatSamplingPreview (#97)를 통해 모델을 경로로 하여 전체 디코딩 전에 빠른 검사를 수행합니다.
비디오 생성#
RenderSplat (#75)은 재구성된 splat의 궤도를 렌더링합니다. 카메라 움직임은 궤도 모드의 CreateCameraInfo (#79)에 의해 정의되며, 거리 및 프레이밍을 조정할 수 있습니다. CreateVideo (#41)는 프레임을 조립하고 SaveVideo (#42)는 결과 클립을 작성합니다. 이 브랜치는 실루엣을 검토하고 ComfyUI를 떠나지 않고도 플로터 또는 폐색 아티팩트를 확인하기에 이상적입니다.
3D 모델 생성 (SPZ splat)#
SplatToFile3D (#92)는 Gaussian splat를 고품질 splat 렌더링에 사용되는 포인트 속성을 보존하는 .spz 파일로 작성합니다. SaveGLB (#51)는 3D 뷰어를 제공하여 방향 및 스케일을 검사한 다음 파일을 디스크에 커밋합니다. Idol ComfyUI 이미지에서 3D 출력의 가장 충실한 실시간 시각화가 필요할 때 이 경로를 선택하세요.
3D 모델 생성 (실험적 메쉬)#
SplatToMesh (#76)는 교환을 위해 splat를 삼각형 메쉬로 변환하며, 해상도, 스무딩, 구성 요소 정리를 위한 컨트롤을 제공합니다. SaveGLB (#67)는 결과를 .glb로 내보냅니다. 이 경로는 실험적이며 주로 빠른 블록아웃을 위해 설계되었습니다. DCC 도구에서 생산을 위해 리토폴로지, 디시메이트 또는 셰이딩을 수정해야 할 것으로 예상됩니다.
Comfyui Idol ComfyUI 이미지에서 3D로 워크플로우의 주요 노드#
UNETLoader (#16)#
스타일화된 캐릭터 및 소품을 위해 TripoSplat를 전문화하는 Idol UNet 가중치를 로드합니다. 기본 비교가 필요하면 저장소에서 주식 TripoSplat UNet로 교환할 수 있습니다. 안정적인 동작을 위해 동일한 릴리스 패밀리에서 UNet, CLIP 비전 모델 및 VAE를 유지하세요. 참조 가중치: Hugging Face: Comfy-Org/Idol 및 GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
잠재 3D 표현을 생성하는 노이즈 제거 일정을 구동합니다. 가장 영향력 있는 컨트롤은 steps, sampler_name, scheduler, cfg, 및 seed입니다. 충실도를 위해 단계를 늘리고, 조건 부합성과 부드러움 간의 균형을 맞추기 위해 CFG를 조정하고, 실행 간 재현성을 위해 시드를 사용하세요. 매우 낮은 단계의 극단적인 CFG는 불안정한 기하학을 도입할 수 있으므로 피하세요.
VAEDecodeTripoSplat (#55)#
최종 잠재를 Gaussian splat로 변환합니다. 결정적인 매개변수는 num_gaussians이며, 이는 포인트 수를 설정하고 세부 사항 및 메모리 사용에 영향을 미칩니다. 미리보기를 위해 중간 값을 사용하고 최종 SPZ 내보내기를 위해 더 높은 값을 사용하세요. 매우 큰 값은 렌더 비용을 증가시키며, 모델이 추론한 것 이상으로 새로운 세부 사항을 발명하지 않습니다.
ComfySwitchNode (#35) 스위치: 마스크 소스#
BiRefNet 마스크와 LoadImage로 제공하는 알파 또는 마스크 중에서 선택합니다. 입력이 번잡한 배경을 가질 때 모델 파생 마스크를 사용하세요. 깨끗한 알파를 제공하는 경우, 얇은 구조를 보존하기 위해 귀하의 마스크로 전환하세요.
TripoSplatSamplingPreview (#97)#
샘플링 방향 및 대략적인 기하학의 빠르고 저비용의 미리보기를 제공합니다. 주제를 처음 테스트하거나 체크포인트를 변경할 때 이를 활성화하세요. 전체 디코딩을 커밋하기 전에 프레이밍 및 스케일을 확인하는 데 도움이 됩니다.
RenderSplat (#75)#
미리보기 비디오에 사용되는 궤도 프레임을 렌더링합니다. 주요 컨트롤은 이미지 width 및 height, frames, splat_scale, headlight_shading, 및 opacity_threshold입니다. splat 스케일 및 불투명도 임계값을 함께 주시하여 포인트 블렌딩이 얼마나 부드럽거나 단단하게 나타나는지 결정합니다.
SplatToMesh (#76)#
.glb 내보내기를 위해 splat를 삼각형 메쉬로 변환합니다. resolution, min_component, min_opacity, 및 smooth는 세부 사항과 청결함 간의 균형을 조절합니다. 표면 충실도를 위해 해상도를 높이고, 작은 부유 쉘을 제거하기 위해 최소 구성 요소를 증가시키세요. 최상의 결과를 위해 DCC에서 메쉬 정리를 실행할 것으로 예상됩니다.
CreateCameraInfo (#79)#
비디오 브랜치를 위한 궤도 카메라 경로를 정의합니다. 클리핑을 피하고 주제를 중심으로 하기 위해 거리, 요, 및 피치를 조정하세요. 카메라 조정을 RenderSplat 해상도 변경과 짝지어 모든 출력에서 주제를 일관되게 프레이밍하세요.
선택적 추가 기능#
- 주제가 중심에 있고 프레임에 완전히 들어가며 배경이 최소화된 이미지를 선호하세요.
- 고품질 알파가 이미 있는 경우 사용하세요; 그렇지 않으면 더 나은 가장자리를 위해 자동 배경 제거를 활성화하세요.
- 반복을 위해 중간
num_gaussians로 시작한 후, 모양에 만족할 때 최종 SPZ 내보내기를 위해 이를 높이세요. - 전체 디코딩 전에 포즈 및 스케일을 검증하기 위해 미리보기 토글을 사용하세요.
- SPZ는 splat 호환 뷰어에서 충실도와 빠른 반복에 가장 적합합니다; GLB는 교환을 위해 사용되며 일반적으로 정리가 필요합니다.
- 메쉬로 변환할 때, DCC에서 디시메이트 및 노멀 또는 셰이딩 수정을 기대하세요.
- 궤도 비디오의 경우, 부드러움과 렌더 시간을 균형있게 하기 위해 카메라 거리 및 프레임 수를 조정하세요.
- 방법은 보이는 뷰에서 보이지 않는 면을 추론하므로 대칭 및 간단한 형식이 가장 잘 재구성됩니다.
감사의 말#
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. Comfy-Org에 ComfyUI Idol 모델 파일을 제공해 주신 것에 감사드리며, Sperid Labs에 원본 IDOL 모델을 제공해 주신 것에 감사드리며, Comfy-Org에 ComfyUI 워크플로우 템플릿(3d_idol_image_to_gaussian_splat.json)을 제공해 주신 것에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
참고: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.