Era3D | ComfyUI 3D Pack
ComfyUI 3D Pack 是一個全面的節點套件，增強了 ComfyUI 處理3D輸入的能力，使用先進的算法如3DGS和NeRF，以及模型如Era3D、InstantMesh和TripoSR。Era3D 模型因其能從單一輸入生成高質量且一致的多視角圖像而突出，利用基於擴散的相機預測、行式注意力和高解析度輸出。透過 ComfyUI Era3D 工作流程，用戶可以無縫地生成和操作3D內容，從創建多視角圖像到執行詳細的網格重建。ComfyUI Era3D 工作流程
- 完全可操作的工作流程
- 沒有缺失的節點或模型
- 無需手動設置
- 具有驚豔的視覺效果
ComfyUI Era3D 範例
ComfyUI Era3D 說明
本指南提供了使用 "Era3D" 模型創建3D內容的全面介紹，利用 "ComfyUI 3D Pack" 節點的先進功能來簡化工作流程並提高輸出質量。
第1部分：ComfyUI 3D Pack
1.1. ComfyUI 3D Pack 介紹
ComfyUI 3D Pack 是一個廣泛的節點套件，使 ComfyUI 能夠使用尖端算法和模型處理3D輸入，如網格和UV紋理。它集成了先進的3D處理算法，如3DGS（高斯散射）和NeRF（神經輻射場），以及最先進的模型，包括Hunyuan3D、StableFast3D、InstantMesh、CRM、TripoSR等。
使用 ComfyUI 3D Pack，用戶可以在直觀的 ComfyUI 界面中導入、操作和生成高質量的3D內容。它支持多種3D文件格式，如OBJ、PLY、GLB，使現有3D模型的集成變得容易。此套件還包括強大的網格處理工具，用於編輯、清理和優化3D幾何。
其中一個亮點是NeRF技術的集成，允許從2D圖像進行寫實的3D重建。3DGS節點支持點雲渲染和風格化。InstantMesh和TripoSR模型允許3D網格的高解析度升級和超解析度。CRM（卷積重建模型）可以從多視角圖像中恢復3D形狀，CCM（顏色校正圖）也在其中。
ComfyUI 3D Pack 是由 開發，所有功勞歸於 MrForExample。欲獲取詳細信息，請參閱 。
1.2. ComfyUI 3D Pack: 準備在 RunComfy 上運行
現在 ComfyUI 3D Pack 已完全設置並可在 RunComfy 網站上使用。用戶不需要安裝任何額外的軟件或依賴項。所有必需的模型、算法和工具都已預配置和優化，以在基於網絡的 ComfyUI 環境中高效運行。
第2部分：使用 ComfyUI 3D Pack 節點的 Era3D 模型
2.1. 什麼是 Era3D？
Era3D 是一種最先進的多視角擴散方法，能夠從單一輸入圖像生成高質量、高解析度的多視角圖像。它解決了現有多視角生成方法的多個限制，如不一致的相機先驗、低效的多視角注意力和低輸出解析度。與基線方法相比，Era3D 實現了卓越的3D重建質量。
Era3D 是由來自香港科技大學、香港大學、DreamTech、北京大學和LightIllusion的研究團隊開發。所有功勞歸於他們在多視角擴散和3D重建領域的貢獻和進步。欲獲取詳細信息，請參閱
2.2. Era3D 背後的技術
- 基於擴散的相機預測模塊：Era3D 估算輸入圖像的焦距和仰角，即使輸入圖像是由具有不同內部參數的相機拍攝，也能生成無形狀失真的圖像。
- 行式多視角注意力：Era3D 引入了一個高效的注意力層，在多視角擴散過程中施加極線先驗。通過將極線與標準相機設置中的圖像行對齊，Era3D 相比於密集多視角注意力顯著降低了計算複雜度和內存消耗。
- 高解析度輸出：Era3D 能夠生成解析度高達512×512的多視角圖像，使得可以重建更詳細的3D網格。
2.3. Era3D 的優勢和潛在限制
優勢：
- 處理具有任意相機內部參數和視點的輸入圖像
- 高效的行式多視角注意力，加快訓練和推理速度
- 生成高解析度（512×512）的多視角圖像，以進行詳細的3D重建
- 在單視角3D重建中實現最先進的性能
潛在限制：
- 由於生成視角數量有限，難以生成複雜幾何形狀如細小結構
- 由於使用神經SDF進行重建，無法重建開放表面的網格
2.4. 如何在 ComfyUI 中使用 Era3D 工作流程
ComfyUI 3D Pack 提供了 Era3D 模型的無縫集成，使用戶能夠從單一輸入圖像生成高質量的3D網格。工作流程包括以下步驟：
使用 "[Comfy3D] Load Diffusers Pipeline" 節點加載預訓練的 Era3D 擴散管道。
使用 "LoadImage" 節點加載輸入圖像及其對應的遮罩。使用 "InvertMask" 節點反轉遮罩，以確保正確的背景處理。
使用 "[Comfy3D] Era3D MVDiffusion Model" 節點從輸入圖像和遮罩生成多視角圖像、法線圖和軌道相機姿勢。此節點利用預訓練的 Era3D 模型生成高解析度、一致的多視角輸出。
使用 "[Comfy3D] InstantMesh Reconstruction Model" 節點從生成的多視角圖像和軌道相機姿勢中重建3D網格。此節點利用 InstantMesh 的強大功能創建高質量的3D網格。如有需要，使用 "[Comfy3D] Switch Mesh Axis" 節點調整網格方向，以確保3D模型的正確對齊。
通過利用 Era3D 模型和 ComfyUI 3D Pack 節點，用戶可以輕鬆地從單一輸入圖像生成高質量的3D網格。Era3D 的集成使 ComfyUI 能夠提供強大且高效的單視角3D重建工作流程。
