ComfyUI Trellis2: 이미지에서 3D로, 메쉬 정제 및 PBR 텍스처링을 하나의 워크플로우로
ComfyUI Trellis2는 Microsoft의 TRELLIS.2 이미지-3D 모델을 실용적이고 창의적인 ComfyUI 파이프라인으로 가져옵니다. 하나 이상의 참조 이미지에서 시작하여 깨끗한 메쉬를 생성하고, UV를 펼치며, PBR 텍스처를 베이킹하고, DCC 및 게임 엔진에 떨어뜨릴 수 있는 GLB 자산을 내보냅니다. 이 워크플로우는 또한 기존 메쉬를 이미지 가이드와 함께 정제하고 메쉬에 직접 텍스처링하는 두 가지 고급 사례를 다룹니다. 고충실도의 기하학, 일관된 텍스처 및 예측 가능한 내보내기가 필요하다면 이 ComfyUI Trellis2 워크플로우가 여러분을 위해 설계되었습니다.
그래프는 간단한 원클릭 결과, 더 깊은 제어, 메쉬 전용 출력, 메쉬 정제, 텍스처 전용 생성 및 다중 뷰 융합을 위한 명확한 그룹으로 구성되어 있습니다. 내부적으로 ComfyUI Trellis2는 TRELLIS.2의 네이티브 복셀 표현과 강력한 구성 이해를 활용하여 구조를 충실하게 유지하면서도 세부 사항과 프롬프트 의미를 보존합니다. 소스 노드는 ComfyUI 확장 visualbruno/ComfyUI-Trellis2에서 제공합니다.
참고: 이 워크플로우는 Medium, Large, X Large Machine에서만 실행할 수 있습니다. 2X Large 이상의 머신에서는 오류가 발생합니다.
ComfyUI Trellis2 워크플로우의 주요 모델
- Microsoft TRELLIS.2-4B. O-Voxel 구조화된 잠재를 사용하여 빠르고 고충실도의 메쉬 및 PBR 소재 생성을 위한 4B-매개변수 이미지-3D 모델입니다. 임의의 토폴로지를 처리하고 PBR-준비 자산을 내보냅니다. 자세한 내용은 모델 카드 및 저장소를 참조하세요: microsoft/TRELLIS.2-4B 및 microsoft/TRELLIS.2.
- Meta DINOv3 ViT-L/16. 입력 이미지와 생성된 3D 구조 간의 정렬을 개선하는 강력한 이미지 기능을 위한 고품질 비주얼 인코더입니다. facebook/dinov3-vitl16-pretrain-lvd1689m를 참조하세요.
- BRIA RMBG-2.0 (BiRefNet). 참조에서 깨끗한 알파 매트를 생성하는 데 자주 사용되는 이미지 매팅 모델로, TRELLIS.2가 주제에 집중하고 배경 블리드를 줄이는 데 도움을 줍니다. briaai/RMBG-2.0를 참조하세요.
ComfyUI Trellis2 워크플로우 사용법
높은 수준에서, 모든 경로는 TRELLIS.2 파이프라인을 로드하고, 하나 이상의 이미지를 입력하며, 복셀화된 3D 자산을 생성하고, 선택적으로 리메싱하고 간소화하여 깨끗한 토폴로지를 만들고, UV를 펼치고, PBR 텍스처를 베이킹하며, GLB를 내보냅니다. 작업에 맞는 그룹을 사용하세요; 모든 그룹은 독립적이며 자체 프리뷰 및 내보내기를 생성합니다.
1) 간단한
단일 이미지에서 텍스처가 적용된 GLB로 가장 빠르게 이동하는 방법입니다. Trellis2LoadModel (#39)로 모델을 로드하고 Trellis2LoadImageWithTransparency (#6)를 사용하여 참조를 드롭합니다. 자산은 Trellis2MeshWithVoxelGenerator (#41)에 의해 생성되고 Trellis2SimplifyMesh (#42)에 의해 가볍게 간소화되며, Trellis2PostProcessAndUnWrapAndRasterizer (#38)에 의해 UV가 펼쳐지고 래스터화됩니다. 결과를 Trellis2ExportMesh (#19)로 내보내고 Preview3D (#43)에서 확인합니다. 일관된 기하학 및 텍스처를 위해 깨끗하거나 투명한 배경의 주제 중심 이미지를 사용하세요.
2) 고급
형태 및 외관에 대한 더 많은 제어가 필요할 때 선택하세요. Trellis2LoadImageWithTransparency (#47)로 참조를 로드한 후, 고급 생성기 Trellis2MeshWithVoxelAdvancedGenerator (#51)는 복셀 형태와 텍스처가 추론되는 방법에 대한 추가 제어를 노출합니다. Trellis2PostProcessMesh (#46)는 펼치기 단계 전에 정리하며, Trellis2PostProcessAndUnWrapAndRasterizer (#45)는 UV 및 텍스처 베이킹을 수행합니다. Trellis2ExportMesh (#49)를 사용하여 GLB를 작성하고 Preview3D (#44)에서 음영 및 세부 사항을 평가합니다.
3) 메쉬 정제
이미 메쉬가 있고 기하학을 개선하거나 새로운 참조 이미지에 재료를 맞추고 싶다면 여기서 시작하세요. Trellis2LoadMesh (#57)로 OBJ를 로드하고 Trellis2LoadImageWithTransparency (#58)로 가이드 이미지를 로드합니다. Trellis2MeshRefiner (#59)는 TRELLIS.2 기능을 사용하여 입력 메쉬에 충실하면서 형태를 정제합니다. Trellis2Remesh (#53) 및 Trellis2SimplifyMesh (#54)는 토폴로지를 정리하고; Trellis2MeshWithVoxelToTrimesh (#55)는 표준 삼각형 메쉬를 반환합니다. Trellis2ExportMesh (#60)로 내보내고 Preview3D (#56)에서 검토합니다.
5) Only_Mesh_Advanced
기하학만 필요하고 다른 곳에서 텍스처링할 계획이라면 이 옵션을 사용하세요. Trellis2MeshWithVoxelAdvancedGenerator (#74)는 이미지에서 강력한 형태에 중점을 두고, Trellis2Remesh (#70) 및 Trellis2SimplifyMesh (#76)는 깨끗하고 효율적인 삼각형 예산을 생성합니다. Trellis2MeshWithVoxelToTrimesh (#72)로 변환하고, Trellis2ExportMesh (#75)를 통해 GLB를 내보내며, Preview3D (#71)에서 검사합니다. 토폴로지가 가장 중요한 헬멧과 같은 하드 서피스 부품에 이상적입니다.
6) Only_Mesh_Simple
이것은 빠른 기하학 전용 경로입니다. 이미지를 Trellis2MeshWithVoxelGenerator (#83)에 공급한 다음, Trellis2SimplifyMesh (#85) 및 Trellis2Remesh (#84)를 사용하여 사용 가능한 표면을 생성하고, 필요에 따라 또 다른 가벼운 Trellis2SimplifyMesh (#82)를 수행합니다. Trellis2MeshWithVoxelToTrimesh (#80)로 변환하고, Trellis2ExportMesh (#81)를 사용하여 내보내며, Preview3D (#77)에서 미리 봅니다. 전체 텍스처링 전에 형태를 프로토타입하는 빠른 방법입니다.
7) 텍스처 메쉬
깨끗한 메쉬가 있고 이미지로 안내된 PBR 텍스처가 필요한 경우 이 경로를 사용하세요. Trellis2LoadImageWithTransparency (#86)로 참조를 로드하고 Trellis2LoadMesh (#91)로 메쉬를 로드합니다. Trellis2MeshTexturing (#87)은 표면에 정렬된 기본 색상 및 금속-거칠기 텍스처를 생성하여 내보낼 수 있는 텍스처 메쉬를 출력합니다. Trellis2ExportMesh (#93)로 내보내고 PreviewImage (#88, #92)에서 베이킹된 맵을 확인하며, Preview3D (#89)에서 음영을 표시합니다.
8) 다중 메쉬
더 높은 충실도와 모호성을 줄이려면 동일한 주제의 여러 뷰를 제공합니다. Trellis2LoadImageWithTransparency (#100, #101, #103)로 세 개의 이미지를 로드하고 ImageBatchMulti (#98)를 사용하여 결합한 다음, Trellis2MeshWithVoxelAdvancedGenerator (#102)를 실행합니다. 가벼운 Trellis2SimplifyMesh (#95) 및 Trellis2PostProcessAndUnWrapAndRasterizer (#96)로 토폴로지, UV 및 PBR 텍스처를 마무리합니다. Trellis2ExportMesh (#99)로 내보내고 Preview3D (#94)에서 평가합니다.
ComfyUI Trellis2 워크플로우의 주요 노드
Trellis2LoadModel(#39) TRELLIS.2 파이프라인을 로드하고 주의 백엔드를 설정합니다. 속도를 위해 GPU가 지원하는 경우flash_attn을 사용하고, 호환성 문제가 발생하는 경우 대체 백엔드로 전환하세요. 그룹 간의 재로드를 피하기 위해 동일한 로드된 모델을 재사용하세요.Trellis2MeshWithVoxelGenerator(#41) 원클릭 이미지-메쉬 생성기입니다. 변형을 위한seed를 조정하고, 반복 가능성을 제어하기 위해fixed또는randomize로 시드를 선택합니다. 외부에서 텍스처링할 계획이라면 UV 및 텍스처 베이킹을 건너뛰기 위해 "Only Mesh" 그룹으로 라우팅하세요.Trellis2MeshWithVoxelAdvancedGenerator(#51) 형태 및 외관 추론에 대한 개별 제어를 노출합니다. 품질과 메모리를 균형 있게 하기 위해 해상도 프리셋을 사용하세요; 더 높은 설정은 작은 특징을 포착하지만 VRAM을 증가시킵니다. 여러 뷰를 사용할 때, 프레이밍을 일관되게 유지하고 이 노드가 안정적인 기하학을 위해 이를 융합하게 하세요.Trellis2MeshRefiner(#59) 참조 이미지에 의해 안내된 기존 메쉬를 개선합니다. 더 큰 형태 수정을 원할 때 정제 강도를 높이고, 원래 비율 및 토폴로지를 보존하려면 낮춥니다. 합리적으로 깨끗하고 방수성이 있는 입력에 가장 잘 작동합니다.Trellis2Remesh(#53) UV 전에 더 나은 에지 흐름과 균일한 삼각형을 위해 토폴로지를 재구성합니다. 생성 또는 정제 후에 사용하여 다운스트림 펼침과 텍스처 베이킹을 안정화합니다. 이미 잘 변형되는 메쉬의 경우, 보수적으로 리메싱을 유지할 수 있습니다.Trellis2SimplifyMesh(#42) 삼각형 수를 줄이면서 형태를 보존합니다. 베이크 시간을 단축하기 위해 UV 펼치기 전에 감소시키거나, 엄격한 예산을 충족해야 할 때 UV 연속성을 유지하기 위해 펼친 후에 감소시킵니다. 각 단계에서 프리뷰하여 실루엣과 단단한 에지가 그대로 유지되는지 확인하세요.Trellis2PostProcessAndUnWrapAndRasterizer(#38) UV 펼치기 및 PBR 텍스처 베이킹을 처리합니다. 대상 플랫폼에 맞는texture_size를 선택하세요; 더 큰 텍스처는 세밀한 소재 세부 사항을 개선하지만 메모리를 소모합니다. 자산에 투명성이 필요하다면 적절한 소재 모드를 선택하고 DCC에서 필요한 경우 알파를 연결하세요.Trellis2MeshTexturing(#87) 주어진 메쉬에 대한 기본 색상 및 금속-거칠기 텍스처를 생성하여 가이드 이미지에 정렬합니다. 직물 직조나 작은 데칼과 같은 세밀한 소재를 위해texture_size를 증가시키세요. 알베도에 강한 하이라이트를 베이킹하지 않도록 가이드 이미지에서 조명을 중립적으로 유지하세요.Trellis2ExportMesh(#19) 내장 텍스처가 있는 GLB를 작성합니다. 변형을 정리하기 위해 설명적인 파일 이름을 사용하고, 광범위한 호환성을 위해extension을glb로 유지하세요. 다운스트림 도구로 이동하기 전에 제공된Preview3D노드에서 결과를 확인하세요.
선택적 추가 기능
- 고품질의 주제 중심 이미지를 사용하세요. ComfyUI Trellis2에서 최상의 결과를 얻으려면 타이트하게 잘라내고, 배경을 제거하고, 조명을 중립적이고 일관되게 유지하세요.
- 전면, 3/4 및 측면 뷰를 캡처할 수 있을 때 Multi-Mesh를 선호하세요; 이는 자체 폐쇄된 영역에서 기하학을 개선합니다.
- 텍스처보다 토폴로지가 더 중요한 경우, 먼저 "Only Mesh" 경로를 실행하고, 삼각형 예산을 검사하고 조정한 다음, 필요한 경우 텍스처링을 다시 실행하세요.
- 출력이 과도하게 부드럽게 보이면, 간소화를 낮추거나 펼치기 단계 전에 보수적으로 리메싱하세요.
- 얇은 구조나 액세서리가 있는 참조의 경우, 고급 생성기에서 생성 해상도 프리셋을 증가시키고 베이킹 중에 더 큰 텍스처 크기를 사용하세요.
리소스
- TRELLIS.2 모델 카드: microsoft/TRELLIS.2-4B
- TRELLIS.2 저장소: microsoft/TRELLIS.2
- 오리지널 TRELLIS 저장소: microsoft/TRELLIS
- 사용된 ComfyUI 확장: visualbruno/ComfyUI-Trellis2
- 지원하는 백본: [facebook/dinov3-vitl16-pretrain-lvd1689m](https://huggingface.co/facebook/djson
dinov3-vitl16-pretrain-lvd1689m), briaai/RMBG-2.0
감사의 말
이 워크플로우는 다음 작업 및 리소스를 구현하고 이에 기반하여 구축되었습니다. 우리는 ComfyUI-Trellis2를 위한 visualbruno의 기여와 유지 관리에 대해 진심으로 감사드립니다. 권위 있는 세부 사항에 대해서는 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스
- visualbruno/ComfyUI-Trellis2
- GitHub: visualbruno/ComfyUI-Trellis2
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 작성자 및 유지 관리자가 제공한 라이선스 및 조건에 따릅니다.
