Era3D | ComfyUI 3D Pack
ComfyUI 3D Pack 是一個全面的節點套件,增強了 ComfyUI 處理3D輸入的能力,使用先進的算法如3DGS和NeRF,以及模型如Era3D、InstantMesh和TripoSR。Era3D 模型因其能從單一輸入生成高質量且一致的多視角圖像而突出,利用基於擴散的相機預測、行式注意力和高解析度輸出。透過 ComfyUI Era3D 工作流程,用戶可以無縫地生成和操作3D內容,從創建多視角圖像到執行詳細的網格重建。ComfyUI Era3D 工作流程
ComfyUI Era3D 範例


ComfyUI Era3D 說明
本指南提供了使用 "Era3D" 模型創建3D內容的全面介紹,利用 "ComfyUI 3D Pack" 節點的先進功能來簡化工作流程並提高輸出質量。
第1部分:ComfyUI 3D Pack
1.1. ComfyUI 3D Pack 介紹
ComfyUI 3D Pack 是一個廣泛的節點套件,使 ComfyUI 能夠使用尖端算法和模型處理3D輸入,如網格和UV紋理。它集成了先進的3D處理算法,如3DGS(高斯散射)和NeRF(神經輻射場),以及最先進的模型,包括Hunyuan3D、StableFast3D、InstantMesh、CRM、TripoSR等。
使用 ComfyUI 3D Pack,用戶可以在直觀的 ComfyUI 界面中導入、操作和生成高質量的3D內容。它支持多種3D文件格式,如OBJ、PLY、GLB,使現有3D模型的集成變得容易。此套件還包括強大的網格處理工具,用於編輯、清理和優化3D幾何。
其中一個亮點是NeRF技術的集成,允許從2D圖像進行寫實的3D重建。3DGS節點支持點雲渲染和風格化。InstantMesh和TripoSR模型允許3D網格的高解析度升級和超解析度。CRM(卷積重建模型)可以從多視角圖像中恢復3D形狀,CCM(顏色校正圖)也在其中。
ComfyUI 3D Pack 是由 開發,所有功勞歸於 MrForExample。欲獲取詳細信息,請參閱 。
1.2. ComfyUI 3D Pack: 準備在 RunComfy 上運行
現在 ComfyUI 3D Pack 已完全設置並可在 RunComfy 網站上使用。用戶不需要安裝任何額外的軟件或依賴項。所有必需的模型、算法和工具都已預配置和優化,以在基於網絡的 ComfyUI 環境中高效運行。
第2部分:使用 ComfyUI 3D Pack 節點的 Era3D 模型
2.1. 什麼是 Era3D?
Era3D 是一種最先進的多視角擴散方法,能夠從單一輸入圖像生成高質量、高解析度的多視角圖像。它解決了現有多視角生成方法的多個限制,如不一致的相機先驗、低效的多視角注意力和低輸出解析度。與基線方法相比,Era3D 實現了卓越的3D重建質量。
Era3D 是由來自香港科技大學、香港大學、DreamTech、北京大學和LightIllusion的研究團隊開發。所有功勞歸於他們在多視角擴散和3D重建領域的貢獻和進步。欲獲取詳細信息,請參閱
2.2. Era3D 背後的技術
- 基於擴散的相機預測模塊:Era3D 估算輸入圖像的焦距和仰角,即使輸入圖像是由具有不同內部參數的相機拍攝,也能生成無形狀失真的圖像。
- 行式多視角注意力:Era3D 引入了一個高效的注意力層,在多視角擴散過程中施加極線先驗。通過將極線與標準相機設置中的圖像行對齊,Era3D 相比於密集多視角注意力顯著降低了計算複雜度和內存消耗。
- 高解析度輸出:Era3D 能夠生成解析度高達512×512的多視角圖像,使得可以重建更詳細的3D網格。
2.3. Era3D 的優勢和潛在限制
優勢:
- 處理具有任意相機內部參數和視點的輸入圖像
- 高效的行式多視角注意力,加快訓練和推理速度
- 生成高解析度(512×512)的多視角圖像,以進行詳細的3D重建
- 在單視角3D重建中實現最先進的性能
潛在限制:
- 由於生成視角數量有限,難以生成複雜幾何形狀如細小結構
- 由於使用神經SDF進行重建,無法重建開放表面的網格
2.4. 如何在 ComfyUI 中使用 Era3D 工作流程
ComfyUI 3D Pack 提供了 Era3D 模型的無縫集成,使用戶能夠從單一輸入圖像生成高質量的3D網格。工作流程包括以下步驟:
使用 "[Comfy3D] Load Diffusers Pipeline" 節點加載預訓練的 Era3D 擴散管道。

使用 "LoadImage" 節點加載輸入圖像及其對應的遮罩。使用 "InvertMask" 節點反轉遮罩,以確保正確的背景處理。

使用 "[Comfy3D] Era3D MVDiffusion Model" 節點從輸入圖像和遮罩生成多視角圖像、法線圖和軌道相機姿勢。此節點利用預訓練的 Era3D 模型生成高解析度、一致的多視角輸出。

使用 "[Comfy3D] InstantMesh Reconstruction Model" 節點從生成的多視角圖像和軌道相機姿勢中重建3D網格。此節點利用 InstantMesh 的強大功能創建高質量的3D網格。如有需要,使用 "[Comfy3D] Switch Mesh Axis" 節點調整網格方向,以確保3D模型的正確對齊。

通過利用 Era3D 模型和 ComfyUI 3D Pack 節點,用戶可以輕鬆地從單一輸入圖像生成高質量的3D網格。Era3D 的集成使 ComfyUI 能夠提供強大且高效的單視角3D重建工作流程。