Pixal3D & TRELLIS.2 | 빠른 이미지-3D

Pixal3D & TRELLIS.2 ComfyUI 워크플로우: 단일 이미지에서 텍스처가 있는 3D GLB로#

이 Pixal3D & TRELLIS.2 ComfyUI 워크플로우는 단일 제품 또는 객체 사진을 깨끗하고 텍스처가 있는 3D 자산으로 변환하며, 미리 볼 수 있는 GLB를 제공합니다. 기본 경로는 Pixal3D를 실행하고 내장된 스위치는 TRELLIS.2 브랜치를 노출하여 그래프를 다시 빌드하지 않고 결과를 비교할 수 있습니다. 공유된 DINOv3 조건, MoGe 카메라 추정, 배경 제거, UV 언래핑, PBR 텍스처 베이킹은 게임 준비가 된 메시와 텍스처 맵을 제작하는 데 도움이 됩니다. 이는 빠르고 반복 가능한 이미지-3D 결과가 필요한 아티스트, 게임 프로토타이퍼 및 제품 팀을 위한 실용적인 시작점입니다.

출력에는 빠른 버텍스-컬러 미리보기 GLB가 포함되어 있으며, 빠른 확인을 위한 최종 PBR-텍스처 GLB는 기본 색상, 금속성, 거칠기, 앰비언트 오클루전 및 노멀 지원을 제공합니다. 인라인 미리보기를 통해 UV, 텍스처 채널 및 조명 동작을 내보내기 전에 확인할 수 있습니다.

Comfyui Pixal3D & TRELLIS.2 ComfyUI 워크플로우의 주요 모델#

• Pixal3D (Comfy‑Org) – 단일 이미지 3D 확산 백본으로 하나의 뷰에서 객체 모양과 텍스처를 예측합니다. Model card
• TRELLIS.2 (Comfy‑Org) – 두 단계의 모양 및 텍스처 아키텍처로 기하학적 일관성과 텍스처 충실도를 개선합니다. Model card
• DINOv3‑L 비전 인코더 – 입력 이미지에 대해 Pixal3D와 TRELLIS.2를 조건화하는 데 사용되는 기능 추출기입니다. (Pixal3D 자산 내에 호스팅된 가중치.) Repository
• MoGe 2 (Monocular Geometry Estimation, ViT‑L) – 하위 재구성을 안정화하는 데 사용되는 거친 기하학 및 카메라 시야각을 예측합니다. Model card
• BiRefNet – 전경 객체를 분리하고 크롭을 조정하는 데 사용되는 배경 제거 네트워크입니다. Model card
• TRELLIS.2 VAEs (Shape VAE and Texture VAE) – 두 브랜치에서 사용되는 모양 및 텍스처 잠재 디코더입니다. Repository

Comfyui Pixal3D & TRELLIS.2 ComfyUI 워크플로우 사용 방법#

워크플로우는 왼쪽에서 오른쪽으로 흐릅니다: 이미지 전처리 및 조건화, 희소 구조, 형태 정제, 텍스처 생성, UV 및 베이킹, 그런 다음 내보내기. 단일 토글로 Pixal3D와 TRELLIS.2 사이의 모델 및 조건화를 전환하여 나머지 파이프라인을 동일하게 유지합니다.

여기에서 입력 이미지 업로드#

깨끗한 배경에 단일 객체의 잘 조명된 사진을 로드하세요. 정사각형 크롭이 잘 작동하지만, 배경 제거가 활성화된 경우 그래프가 피사체 주위에 자동으로 크롭됩니다. PreviewImage 노드는 후속 단계가 볼 것과 동일하게 보여주어 초기 단계에서 프레임 문제를 포착하는 데 도움이 됩니다.

배경 제거#

전경 분리는 BiRefNet을 사용하여 모델이 장면이 아닌 객체 실루엣에 집중하도록 합니다. 이미지에 따라 매팅을 활성화하거나 건너뛰려면 Switch: Remove background (#248)을 사용하세요. 결과 마스크는 빠른 검증을 위해 미리 보이며 크롭을 유도하는 데도 사용됩니다.

이미지 전처리#

ImageCropToMask는 마스크에 따라 객체를 중심에 놓고 패딩하여 피사체가 클립 없이 프레임을 채우도록 합니다. 이는 조건화에 대한 기능 추출을 개선하고 기하학적 추정이 올바른 규모로 수렴하도록 돕습니다. 미리보기를 통해 3D 모델 브랜치에 도달하는 최종 입력을 확인합니다.

카메라 FoV 가져오기#

MoGe는 단안 깊이 단서를 추정하고 이를 하위 재구성의 안정성을 높이는 카메라 시야각으로 변환합니다. MoGeInference (#56)은 전처리된 이미지에서 실행되며, 그런 다음 MoGeGeometryToFOV는 카메라 각도를 조건화로 다시 피드백합니다. Pixal3D 브랜치는 이 신호를 직접 사용하고, TRELLIS.2 브랜치는 DINOv3의 이미지 기능에 의존합니다.

조건화#

Pixal3DConditioning과 Trellis2Conditioning은 DINOv3‑L 기능을 확산 샘플러에 대한 긍정적 및 부정적 조건으로 변환합니다. 일반적인 사용에서는 여기서 조정할 필요가 없습니다. 워크플로우는 자동으로 활성 모델 브랜치에 올바른 조건을 라우팅합니다.

여기에서 모델 전환#

활성 브랜치를 선택하려면 Boolean (Switch to Trellis2) (#316)을 설정하세요. 토글은 ComfySwitchNode (#318)를 사용하여 UNet 모델 및 해당 긍정적 및 부정적 조건에 대한 ComfySwitchNode (#314 및 #315)를 구동합니다. 속도를 위해 Pixal3D로 시작하고, 더 강한 기하학적 일관성이나 텍스처 세부 사항이 필요할 때 TRELLIS.2로 전환하세요.

희소 구조 생성#

이 단계에서는 객체의 거친 복셀 골격을 생성합니다. KSampler (#3)는 이미지 조건에 의해서만 안내되는 빈 잠재 구조에서 실행됩니다. VaeDecodeStructureTrellis2 (#119)는 잠재를 저해상도 복셀 그리드로 변환하여 즉시 조잡한 메시로 변환하여 초기 3D 미리보기를 제공합니다. 깊은 샘플링 전에 전체 실루엣을 확인하기 위해 이 패스를 사용하세요.

모양 생성#

Trellis2ShapeStage (#91)는 모양 인식 지침을 주입한 다음 대상 KSampler (#18)는 구조를 밀집화합니다. Trellis2UpsampleStage (#94)는 공간 해상도를 향상시켜 세부 사항을 더 잘 포착하면서 설정된 형태를 유지합니다. VaeDecodeShapeTrellis (#92)는 첫 번째 방수 메시와 나중에 텍스처 디코딩이 기하학에 맞게 정렬되도록 유지하는 모양 세분화를 생성합니다.

텍스처 생성#

이 단계에서는 최종 모양에 텍스처를 조건화하여 표면 외부에 페인팅하지 않도록 합니다. Trellis2TextureStage (#98)는 업샘플된 모양과 조건에 따라 텍스처 잠재를 준비합니다. 최종 KSampler (#12)는 텍스처 잠재를 해결하고, VaeDecodeTextureTrellis (#93)는 디코딩된 모양 토폴로지에 맞는 복셀당 색상으로 변환합니다.

메시 후처리#

UV 전에는 메시가 정리되고 베이킹 및 실시간 사용을 위해 적절한 크기로 조정됩니다. RemeshMesh와 DecimateMesh는 토폴로지를 정규화하고 특징을 유지하면서 면을 줄입니다. MeshSmoothNormals는 음영 연속성을 향상시킵니다. GetMeshInfo는 베이킹 노드에 올바른 하이 폴리 및 로우 폴리 버전을 라우팅하는 데 도움이 됩니다.

텍스처 베이킹#

UnwrapMesh는 선택한 맵 크기에 따라 UV 레이아웃을 생성하며, Texture Resolution 정수 위젯으로 제어됩니다. BakeTextureFromVoxel (#147)은 복셀 색상을 UV 공간에서 기본 색상, 금속성 및 거칠기 텍스처로 변환합니다. BakeAmbientOcclusion (#233)과 BakeNormalMapFromMesh (#224)은 고폴리에서 로우폴리로 오클루전 및 노멀 맵을 베이킹하여 물리 기반 음영을 제공합니다. ApplyTextureToMesh (#210)은 PBR 세트를 메시에 조립하고, MeshSmoothNormals와 내보내기 노드는 최종 GLB를 기록합니다. 포함된 미리보기를 사용하여 UV, 기본 색상, 금속성, 거칠기, AO 및 노멀을 검증한 후 저장하세요.

버텍스 컬러 미리보기#

빠른 반복을 위해 PaintMesh (#252)는 UV 및 베이킹 없이 복셀 색상을 메시에 직접 적용하여 경량 미리보기 GLB를 생성합니다. 이 경로는 보기 각도 범위, 재료 분리 및 전체 모양을 빠르게 평가하기에 이상적입니다. 초기 단계에서 문제를 발견한 후 최종 텍스처를 위해 베이킹 브랜치로 돌아가세요.

Comfyui Pixal3D & TRELLIS.2 ComfyUI 워크플로우의 주요 노드#

• Boolean (Switch to Trellis2) (#316) 그래프가 Pixal3D 또는 TRELLIS.2를 실행할지 제어합니다. 빠른 초안을 위해 Pixal3D를 사용한 다음 모델 카드에 설명된 두 단계 모양 및 텍스처 파이프라인이 필요할 때 TRELLIS.2로 전환하세요. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) 선택한 UNet을 모든 하위 샘플러로 라우팅하여 브랜치 변경이 글로벌하고 일관되게 합니다. 선택한 백본과 프롬프트를 정렬하기 위해 조건 스위치 (ComfySwitchNode (#314) 및 ComfySwitchNode (#315))와 페어링하세요.
• Trellis2ShapeStage (#91) 밀도 높은 샘플링 전에 기하학적 특정 지침을 추가하여 비율과 실루엣을 안정화하는 데 도움이 됩니다. 입력에 복잡한 윤곽선이나 세밀한 구조적 세부 사항이 있는 경우 유용합니다. TRELLIS.2
• Trellis2UpsampleStage (#94) 노이즈를 재도입하지 않고 모양의 잠재 공간 해상도를 증가시킵니다. 메쉬 세부 사항이 눈에 띄게 더 세밀하거나 속도와 충실도를 균형 있게 조절해야 하는 경우에만 조정하세요. TRELLIS.2
• Trellis2TextureStage (#98) 최종 모양에 텍스처를 조건화하여 PBR 맵이 표면에 부착되도록 합니다. 여기서 조정하면 텍스처가 기하학 대 외관 단서에 얼마나 강하게 따르는지를 영향을 미칩니다. TRELLIS.2
• UnwrapMesh (#196) 모든 후속 베이크에 사용되는 UV 아틀라스를 생성합니다. 기본 색상, 금속성, 거칠기, AO 및 노멀에 대한 목표 맵 크기를 설정하기 위해 Texture Resolution 제어와 해상도를 조정합니다.
• BakeTextureFromVoxel (#147) 복셀 색상을 UV 텍스처로 변환하고 세부 사항을 보존하기 위해 모양 디코더의 참조 메시와 정렬합니다. 색상이 번지거나 작은 마킹이 손실되는 경우 텍스처 크기를 늘리세요.
• ApplyTextureToMesh (#210) 기본 색상, 금속성, 거칠기, 오클루전 및 노멀을 최종 PBR 준비 메시로 결합합니다. 내보내기 전에 각 채널을 확인하기 위해 포함된 미리보기를 사용하세요.
• MoGeInference (#56) 좁거나 넓은 렌즈에 대해 특히 재구성 안정성을 개선하는 기하학 및 카메라 FoV를 추정합니다. 스케일 드리프트를 방지하려면 대부분의 입력에 대해 이를 활성화하세요. MoGe
• RemoveBackground (#192) 및 Switch: Remove background (#248) BiRefNet에 의해 구동되는 선택적 전경 매팅입니다. 복잡한 장면이나 그림자가 재구성을 혼란스럽게 할 때 활성화하세요. BiRefNet
• Save3DAdvanced (#322) 최종 GLB를 작성하며 파일 이름 접두사 및 미리보기 카메라를 설정할 수 있습니다. 모든 텍스처 확인이 올바르게 보일 때 PBR 브랜치 끝에서 사용하세요.

선택적 추가 기능#

• 최고의 Pixal3D & TRELLIS.2 ComfyUI 워크플로우 결과를 위해 최소한의 차폐와 좋은 가장자리 대비로 단일 중심 객체를 목표로 하세요.
• 배경이 혼잡한 경우 실루엣 품질과 UV 패킹 효율성을 개선하기 위해 배경 제거 스위치를 활성화하세요.
• 버텍스 컬러 미리보기 GLB로 빠르게 반복한 다음 모양과 재료 분리가 올바르게 보일 때 전체 베이킹 브랜치를 실행하세요.
• 히어로 자산 또는 매크로 샷을 내보낼 때 Texture Resolution을 늘리세요. 빠른 소품이나 모바일 타겟을 위해서는 적당히 유지하세요.
• 베이킹 노멀과 오클루전을 시작하기 전에 UV 아틀라스 미리보기를 사용하여 스트레칭이나 중첩을 확인하세요.
• 더 완전한 재구성을 위해 극단적인 시점보다는 3/4 또는 전면 각도 뷰를 선호하세요.

감사#

이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. 우리는 Comfy.org의 소스 워크플로우 템플릿, Pixal3D 및 TRELLIS.2 모델 가중치에 대한 Comfy-Org, MoGe 및 BiRefNet 모델 가중치에 대한 Comfy-Org의 기여 및 유지 관리에 대해 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.

리소스#

• Comfy.org/Source 워크플로우 템플릿
  • 문서 / 릴리스 노트: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• **Comfy-Org/Mojson