ComfyUI  >  工作流程  >  Hunyuan3D-1 | ComfyUI 3D Pack

Hunyuan3D-1 | ComfyUI 3D Pack

ComfyUI 3D Pack 提供了一套強大的工具來處理3D模型,並與 Hunyuan3D 框架無縫整合。Hunyuan3D 的一個突出特點是其兩階段流程:首先,多視角擴散模型從多個視點生成詳細的 RGB 圖像。然後,重建模型快速將這些多視角圖像轉換為一個完整的3D資產。這種組合,加上其他模型如 NeRF 和 3DGS,通過 ComfyUI 的直觀界面使快速和寫實的3D內容生成成為可能。

ComfyUI Hunyuan3D 工作流程

Hunyuan3D | ComfyUI 3D Pack
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI Hunyuan3D 範例

ComfyUI Hunyuan3D 說明

更新:

最新的 模型已發布!點擊鏈接試試看。

以下是 Hunyuan3D-1.0 模型的介紹。


本指南提供了使用 "ComfyUI 3D Pack" 節點來創建3D內容的全面介紹,利用其先進功能來簡化工作流程並提高輸出質量。

第一部分:ComfyUI 3D Pack

1.1. ComfyUI 3D Pack 介紹

ComfyUI 3D Pack 是一個廣泛的節點套件,使 ComfyUI 能夠使用最先進的算法和模型處理3D輸入,如網格和 UV 紋理。它整合了先進的3D處理算法,如 3DGS(Gaussian Splatting)和 NeRF(Neural Radiance Fields),以及最先進的模型,包括 Hunyuan3D、StableFast3D、InstantMesh、CRM、TripoSR 等。

使用 ComfyUI 3D Pack,用戶可以在直觀的 ComfyUI 界面中導入、操作和生成高品質的3D內容。它支持多種3D文件格式,如 OBJ、PLY、GLB,方便現有3D模型的集成。該套件還包括強大的網格處理工具,用於編輯、清理和優化3D幾何。

一個重要亮點是 NeRF 技術的整合,允許從2D圖像進行寫實的3D重建。3DGS 節點可以進行點雲渲染和風格化。InstantMesh 和 TripoSR 模型允許3D網格的高分辨率放大和超分辨率。CRM(卷積重建模型)可以從多視角圖像中恢復3D形狀,CCM(顏色校正圖)。

ComfyUI 3D Pack 由 開發,所有貢獻歸於 MrForExample。詳細信息請參見

1.2. ComfyUI 3D Pack:在 RunComfy 上準備就緒

現在 ComfyUI 3D Pack 已完全設置並可以在 RunComfy 網站上使用。用戶無需安裝任何額外的軟體或依賴項。所有所需的模型、算法和工具都已預配置並優化以在基於網絡的 ComfyUI 環境中高效運行。

第二部分:在 ComfyUI 3D Pack 節點中使用 Hunyuan3D 模型

2.1. 什麼是 Hunyuan3D?

Hunyuan3D 是由騰訊開發的一個創新的3D生成框架,結合了多視角擴散模型和稀疏視圖重建模型的力量,從單個圖像或文本描述中創建高品質的3D資產。Hunyuan3D 1.0 框架提供兩個版本:精簡版和標準版,兩者均支持文本和圖像條件生成。詳細信息請參見

2.2. Hunyuan3D 背後的技術

Hunyuan3D 引入了幾項技術創新,以提高3D生成的速度和質量:

a. 兩階段流程:

在第一階段,多視角擴散模型高效生成多視角 RGB 圖像。這些圖像從各種視點捕捉到3D資產的豐富細節。

第二階段使用前饋重建模型,快速從生成的多視角圖像重建3D資產。

b. 0-elevation 姿勢分佈

Hunyuan3D 的多視角生成使用0-elevation相機軌道,最大化生成視圖之間的可見區域並提高重建質量。

c. 自適應無分類器指導

此技術在多視角擴散中平衡可控性和多樣性,確保一致且高質量的結果。

d. 混合輸入

稀疏視圖重建模型將未校準的條件圖像作為輔助視圖納入,以補償生成圖像中未見部分,增強重建準確性。

2.3. Hunyuan3D 的優勢和潛在限制

優勢:

  • 快速3D生成:Hunyuan3D 只需10秒即可創建高品質的3D資產,與基於優化的方法相比大大縮短了生成時間。
  • 改進的泛化能力:通過將單視圖生成任務分解為多視圖圖像生成和稀疏視圖重建,Hunyuan3D 對未見物體的泛化能力更好。
  • 統一框架:Hunyuan3D 支持文本和圖像條件的3D生成,使其成為各種應用的多功能工具。

潛在限制:

  • 記憶體要求:Hunyuan3D 的標準版比精簡版多3倍的參數,可能需要更多記憶體才能達到最佳性能。
  • 薄結構生成:像其他前饋方法一樣,Hunyuan3D 可能在生成薄如紙的結構方面有困難。

2.4. 如何在 ComfyUI 中使用 Hunyuan3D-1.0 工作流程

以下是使用 Hunyuan3D 工作流程從單個圖像生成高品質3D網格的逐步指南

使用 "[Comfy3D] 加載擴散器管道" 節點加載 Hunyuan3D 多視角擴散模型。根據您的 GPU 記憶體選擇精簡版或標準版。

ComfyUI Hunyuan3D Workflow

使用 "[Comfy3D] 加載 Hunyuan3D V1 重建模型" 節點加載 Hunyuan3D 重建模型。

ComfyUI Hunyuan3D Workflow

使用 "LoadImage" 和 "InvertMask" 節點準備輸入圖像和遮罩。

ComfyUI Hunyuan3D Workflow

將加載的擴散管道、輸入圖像和遮罩輸入到 "[Comfy3D] Hunyuan3D V1 MVDiffusion Model" 節點中以生成多視角圖像和條件圖像。

ComfyUI Hunyuan3D Workflow

使用 "PreviewImage" 節點預覽生成的多視角圖像。

ComfyUI Hunyuan3D Workflow

將加載的重建模型、生成的多視角圖像和條件圖像輸入到 "[Comfy3D] Hunyuan3D V1 重建模型" 節點中以創建3D網格。此外,您可以使用 "[Comfy3D] 切換網格軸" 節點調整網格的軸和比例(如有需要)。

ComfyUI Hunyuan3D Workflow

(可選)使用 "[Comfy3D] 將頂點顏色轉換為紋理" 節點將頂點顏色轉換為紋理以提高紋理質量。

ComfyUI Hunyuan3D Workflow

現在,您可以發揮 Hunyuan3D 的全部潛力,從單個圖像創建令人驚嘆的3D資產。Hunyuan3D 模型使先進的3D生成比以往任何時候都更容易獲得!

想要更多 ComfyUI 工作流程嗎?