Era3D | ComfyUI 3D Pack

本指南提供了使用 "Era3D" 模型創建3D內容的全面介紹，利用 "ComfyUI 3D Pack" 節點的先進功能來簡化工作流程並提高輸出質量。

第1部分：ComfyUI 3D Pack

1.1. ComfyUI 3D Pack 介紹

ComfyUI 3D Pack 是一個廣泛的節點套件，使 ComfyUI 能夠使用尖端算法和模型處理3D輸入，如網格和UV紋理。它集成了先進的3D處理算法，如3DGS（高斯散射）和NeRF（神經輻射場），以及最先進的模型，包括Hunyuan3D、StableFast3D、InstantMesh、CRM、TripoSR等。

使用 ComfyUI 3D Pack，用戶可以在直觀的 ComfyUI 界面中導入、操作和生成高質量的3D內容。它支持多種3D文件格式，如OBJ、PLY、GLB，使現有3D模型的集成變得容易。此套件還包括強大的網格處理工具，用於編輯、清理和優化3D幾何。

其中一個亮點是NeRF技術的集成，允許從2D圖像進行寫實的3D重建。3DGS節點支持點雲渲染和風格化。InstantMesh和TripoSR模型允許3D網格的高解析度升級和超解析度。CRM（卷積重建模型）可以從多視角圖像中恢復3D形狀，CCM（顏色校正圖）也在其中。

ComfyUI 3D Pack 是由 開發，所有功勞歸於 MrForExample。欲獲取詳細信息，請參閱 。

1.2. ComfyUI 3D Pack: 準備在 RunComfy 上運行

現在 ComfyUI 3D Pack 已完全設置並可在 RunComfy 網站上使用。用戶不需要安裝任何額外的軟件或依賴項。所有必需的模型、算法和工具都已預配置和優化，以在基於網絡的 ComfyUI 環境中高效運行。

第2部分：使用 ComfyUI 3D Pack 節點的 Era3D 模型

2.1. 什麼是 Era3D？

Era3D 是一種最先進的多視角擴散方法，能夠從單一輸入圖像生成高質量、高解析度的多視角圖像。它解決了現有多視角生成方法的多個限制，如不一致的相機先驗、低效的多視角注意力和低輸出解析度。與基線方法相比，Era3D 實現了卓越的3D重建質量。

Era3D 是由來自香港科技大學、香港大學、DreamTech、北京大學和LightIllusion的研究團隊開發。所有功勞歸於他們在多視角擴散和3D重建領域的貢獻和進步。欲獲取詳細信息，請參閱

2.2. Era3D 背後的技術

1. 基於擴散的相機預測模塊：Era3D 估算輸入圖像的焦距和仰角，即使輸入圖像是由具有不同內部參數的相機拍攝，也能生成無形狀失真的圖像。
2. 行式多視角注意力：Era3D 引入了一個高效的注意力層，在多視角擴散過程中施加極線先驗。通過將極線與標準相機設置中的圖像行對齊，Era3D 相比於密集多視角注意力顯著降低了計算複雜度和內存消耗。
3. 高解析度輸出：Era3D 能夠生成解析度高達512×512的多視角圖像，使得可以重建更詳細的3D網格。

2.3. Era3D 的優勢和潛在限制

優勢：

• 處理具有任意相機內部參數和視點的輸入圖像
• 高效的行式多視角注意力，加快訓練和推理速度
• 生成高解析度（512×512）的多視角圖像，以進行詳細的3D重建
• 在單視角3D重建中實現最先進的性能

潛在限制：

• 由於生成視角數量有限，難以生成複雜幾何形狀如細小結構
• 由於使用神經SDF進行重建，無法重建開放表面的網格

2.4. 如何在 ComfyUI 中使用 Era3D 工作流程

ComfyUI 3D Pack 提供了 Era3D 模型的無縫集成，使用戶能夠從單一輸入圖像生成高質量的3D網格。工作流程包括以下步驟：

使用 "[Comfy3D] Load Diffusers Pipeline" 節點加載預訓練的 Era3D 擴散管道。

使用 "LoadImage" 節點加載輸入圖像及其對應的遮罩。使用 "InvertMask" 節點反轉遮罩，以確保正確的背景處理。

使用 "[Comfy3D] Era3D MVDiffusion Model" 節點從輸入圖像和遮罩生成多視角圖像、法線圖和軌道相機姿勢。此節點利用預訓練的 Era3D 模型生成高解析度、一致的多視角輸出。

使用 "[Comfy3D] InstantMesh Reconstruction Model" 節點從生成的多視角圖像和軌道相機姿勢中重建3D網格。此節點利用 InstantMesh 的強大功能創建高質量的3D網格。如有需要，使用 "[Comfy3D] Switch Mesh Axis" 節點調整網格方向，以確保3D模型的正確對齊。

通過利用 Era3D 模型和 ComfyUI 3D Pack 節點，用戶可以輕鬆地從單一輸入圖像生成高質量的3D網格。Era3D 的集成使 ComfyUI 能夠提供強大且高效的單視角3D重建工作流程。