Trellis | 圖像轉3D

TRELLIS通過引入一種突破性的方法，將稀疏3D結構與豐富的視覺特徵無縫整合，徹底改變了3D資產創建。在TRELLIS的核心是創新的Structured LATent (SLAT) 表示，這使您可以輕鬆生成具有複雜幾何形狀和生動紋理的驚人3D對象，超越現有方法的能力。TRELLIS的獨特之處在於其無與倫比的多樣性，因為它動態支持多種輸出格式，包括Radiance Fields、3D Gaussians和meshes。通過利用修正流變換器的力量，TRELLIS實現了卓越的精度，並為3D內容生成提供了無與倫比的創作自由。

1 如何使用TRELLIS工作流程？

這是TRELLIS工作流程，左側節點是上傳圖像的輸入，中間是處理TRELLIS節點，右側是輸出節點。

• 在輸入節點上傳您的圖像。
• 點擊渲染！！！

所有輸出（GLB、紋理和預覽）將存儲在ComfyUI的"Output_3D_Trellis"文件夾內的輸出文件夾中。

---

1.1 圖像輸入

• 點擊並上傳您的參考圖像以生成3D模型。

---

1.2 Trellis 圖像轉3D節點

輸入選項

• Model: 指定用於3D資產生成的模型文件。
• Images: 用於處理的輸入圖像。
• Video Path: 用於3D生成的視頻路徑選項。
• Masks: 用於紋理遮罩的輸入，標記為texture_image。

配置設置

• Mode: 在不同模式之間選擇（例如，單一）。
• Seed: 用於確定性輸出的隨機化種子（設置為7777）。
• Control After Generate: 確定控制動作發生的時間（固定、增量或隨機）。

指導和採樣

• SS Guidance Strength: 控制穩定結構指導的強度（設置為7.5）。
• SS Sampling Steps: 穩定結構的採樣步數（設置為12）。
• SLAT Guidance Strength: 控制SLAT表示指導強度（3.0）。
• SLAT Sampling Steps: SLAT的採樣步數（12）。

網格和紋理選項

• Mesh Simplify: 網格簡化級別（設置為0.95）。
• Texture Size: 紋理分辨率大小（1024）。
• Texture Mode: 紋理處理模式（快速）。
• FPS: 渲染的幀率（15）。

輸出選項

• Multimode: 輸出生成模式（隨機）。
• Project Name: 生成項目的名稱（Output_3D_Trellis）。

保存選項

• Save GLB: 啟用（true）以保存為GLB格式。
• Render Video: 啟用（true）以進行視頻輸出渲染。
• Save Gaussian: 啟用（true）以保存為Gaussian格式。
• Save Texture: 啟用（true）以保存紋理。
• Save Wireframe: 啟用（true）以保存線框視圖。

1.3 Trellis 3D模型

模型將在Runcomfy上自動下載，首次下載時等待2-3分鐘。

模型下載位置：

ComfyUI/
└── models/
└── checkpoints/
└── TRELLIS-image-large/
├── .gitattributes
├── pipeline.json
├── README.md
└── ckpts/
├── slat_dec_gs_swin8_B_64l8gs32_fp16.json
├── slat_dec_gs_swin8_B_64l8gs32_fp16.safetensors
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.json
├── slat_dec_mesh_swin8_B_64l8m256c_fp16.safetensors
├── slat_dec_rf_swin8_B_64l8r16_fp16.json
├── slat_dec_rf_swin8_B_64l8r16_fp16.safetensors
├── slat_enc_swin8_B_64l8_fp16.json
├── slat_enc_swin8_B_64l8_fp16.safetensors
├── slat_flow_img_dit_L_64l8p2_fp16.json
├── slat_flow_img_dit_L_64l8p2_fp16.safetensors
├── ss_dec_conv3d_16l8_fp16.json
├── ss_dec_conv3d_16l8_fp16.safetensors
├── ss_enc_conv3d_16l8_fp16.json
├── ss_enc_conv3d_16l8_fp16.safetensors
└── ss_flow_img_dit_L_16l8_fp16.json
└── ss_flow_img_dit_L_16l8_fp16.safetensors


ComfyUI\models\classifiers/
└── dinov2_vitl14_reg.pth

模型下載鏈接 -

• Trellis - https://huggingface.co/JeffreyXiang/TRELLIS-image-large/tree/main
• DinoV2 - https://dl.fbaipublicfiles.com/dinov2/dinov2_vitl14/dinov2_vitl14_reg4_pretrain.pth

---

Trellis通過其創新方法和靈活的輸出能力推動3D資產生成的界限。通過將結構化潛在表示與修正流變換器相結合，它賦予創作者輕鬆生成高質量、多樣化的3D內容的能力。與Trellis一起解鎖新的創意可能性。