Blender + ComfyUI | AI 渲染 3D 動畫

3D 動畫的 AI 渲染：Blender + ComfyUI

這個由才華橫溢的 開發的創新工作流程，結合了 Blender 和 ComfyUI 來生成以 AI 渲染的驚人 3D 動畫。我們強烈建議您查看他的 YouTube 頻道以獲取更多靈感。

接下來，我們使用不同的材料來重現他的方法。以下是步驟：

🌟

第一部分：使用 Blender 創建 3D 動畫和渲染通道

1. 在 Blender 中設置 3D 場景

• 首先導入或建模所需的 3D 資產，如角色、環境和道具。將這些資產排列在場景中，定位攝像機，並設置任何所需的動畫。刪除現有的材料、紋理和燈光，因為 ComfyUI 將在渲染過程中生成這些。

2. 渲染深度通道

• 深度通道提供必要的距離信息以增強深度感知，這將在 ComfyUI 中使用。
• 在 Blender 中，轉到 View Layer Properties，激活 Z 通道，並渲染圖像。在 Compositing 標籤中，連接觀察節點到深度輸出。使用 Map Range 節點標準化深度值，以創建代表場景深度的黑白漸變。

3. 渲染輪廓通道

• 輪廓通道生成線條藝術邊緣，定義物體的形狀和輪廓以供 ComfyUI 使用。
• 在 Blender 中，使用 Freestyle 工具基於 3D 幾何體創建輪廓。將顏色設置為白色並調整線條厚度。渲染圖像並在 Compositing 標籤中處理。

4. 渲染遮罩通道

• 遮罩通道為不同的物體分配唯一的顏色。請記下這些顏色的 Hex Codes，因為它們將用於 ComfyUI 中的特定 AI 提示。
• 在 Blender 中，為每個物體分配簡單的發射著色器和不同的顏色。渲染圖像並保存。

對於這些步驟的詳細說明，請參考 的 YouTube 教程，如果您不熟悉 Blender。

完成第一部分後，您將創建三種類型的圖像序列：遮罩圖像、深度圖像和輪廓圖像。這些將在下一步與 ComfyUI 一起使用。

第二部分：使用 ComfyUI 渲染 AI 動畫

Mickmumpitz 的 ComfyUI 工作流程包括幾個關鍵組件：

1. 加載圖像序列

• 加載遮罩序列：加載遮罩序列，然後使用 "regional conditioning by color mask" 節點分離遮罩圖像中的物體。將從步驟 1 獲得的 Hex Code 輸入到 "mask_color" 欄位。然後，該節點將根據分配的顏色自動分割物體。 🌟 注意：我們在此工作流程中使用特定的 Hex Codes 作為材料。如果您使用不同的遮罩圖像，請務必在 "mask_color" 欄位中輸入相應的 Hex Code。這樣可以確保 "regional conditioning by color mask" 節點正確分割物體。
• 加載深度序列：加載深度序列以提供場景中物體距離的信息。
• 加載輪廓序列：加載輪廓序列以定義場景中物體的形狀和邊緣。

🌟 如何按路徑加載圖像序列

組織您的序列

• 將您的遮罩序列放在一個文件夾中，例如，{mask}。
• 將您的深度序列放在另一個文件夾中，例如，{depth}。
• 將您的輪廓序列放在另一個文件夾中，例如，{outline}。

上傳文件夾

• 使用我們的文件瀏覽器將這些文件夾上傳到 ComfyUI/input 目錄。

目錄路徑

• 完整的目錄路徑應為：/home/user/ComfyUI/input/{folder_name}。
• 例如：/home/user/ComfyUI/input/{mask}。

2. 使用文本提示定義視覺效果

對於 遮罩序列，使用文本提示指定場景中每個物體的期望視覺效果。

• 主提示：此提示設置整個場景的整體風格和照明。它決定最終渲染應達到的整體氛圍、氛圍和視覺基調。
• 區域提示：這些提示為場景中的特定物體或區域提供詳細描述。每個提示應對應於一個獨特的物體或區域，確保每個元素都能準確呈現。
• 負面提示：此提示列出應從渲染中排除的元素。它有助於防止某些特徵或物體出現在最終輸出中，確保場景保持集中且無不必要的細節。

3. ControlNet 模組

• 將深度序列輸入 ControlNet Depth 模型。
• 將輪廓序列輸入 ControlNet Canny 模型。

4. AnimateDiff 模組

• 使用此模組從處理過的序列中渲染流暢的動畫。

5. 可選的 IPAdapter 使用

• 使用 IPAdapter 進行額外的調節輔助，以提高生成圖像的一致性和質量。

通過將 Blender 精確的 3D 數據與 ComfyUI 中穩定擴散的強大圖像合成能力相結合，您可以生成令人難以置信的寫實或風格化的 3D 動畫，並完全掌控創意。