3D 動畫的 AI 渲染：Blender + ComfyUI
這個由才華橫溢的 Mickmumpitz 開發的創新工作流程，結合了 Blender 和 ComfyUI 來生成以 AI 渲染的驚人 3D 動畫。我們強烈建議您查看他的 YouTube 頻道以獲取更多靈感。
接下來，我們使用不同的材料來重現他的方法。以下是步驟：
🌟 從此鏈接下載我們所有的 Blender 材料以進行實驗。
第一部分：使用 Blender 創建 3D 動畫和渲染通道
1. 在 Blender 中設置 3D 場景
- 首先導入或建模所需的 3D 資產，如角色、環境和道具。將這些資產排列在場景中，定位攝像機，並設置任何所需的動畫。刪除現有的材料、紋理和燈光，因為 ComfyUI 將在渲染過程中生成這些。
2. 渲染深度通道
- 深度通道提供必要的距離信息以增強深度感知，這將在 ComfyUI 中使用。
- 在 Blender 中，轉到
View Layer Properties，激活Z通道，並渲染圖像。在Compositing標籤中，連接觀察節點到深度輸出。使用Map Range節點標準化深度值，以創建代表場景深度的黑白漸變。
3. 渲染輪廓通道
- 輪廓通道生成線條藝術邊緣，定義物體的形狀和輪廓以供 ComfyUI 使用。
- 在 Blender 中，使用 Freestyle 工具基於 3D 幾何體創建輪廓。將顏色設置為白色並調整線條厚度。渲染圖像並在
Compositing標籤中處理。
4. 渲染遮罩通道
- 遮罩通道為不同的物體分配唯一的顏色。請記下這些顏色的 Hex Codes，因為它們將用於 ComfyUI 中的特定 AI 提示。
- 在 Blender 中，為每個物體分配簡單的發射著色器和不同的顏色。渲染圖像並保存。
對於這些步驟的詳細說明，請參考 Mickmumpitz 的 YouTube 教程，如果您不熟悉 Blender。
完成第一部分後，您將創建三種類型的圖像序列：遮罩圖像、深度圖像和輪廓圖像。這些將在下一步與 ComfyUI 一起使用。
第二部分：使用 ComfyUI 渲染 AI 動畫
Mickmumpitz 的 ComfyUI 工作流程包括幾個關鍵組件：
1. 加載圖像序列
- 加載遮罩序列：加載遮罩序列，然後使用 "regional conditioning by color mask" 節點分離遮罩圖像中的物體。將從步驟 1 獲得的 Hex Code 輸入到 "mask_color" 欄位。然後，該節點將根據分配的顏色自動分割物體。 🌟 注意：我們在此工作流程中使用特定的 Hex Codes 作為材料。如果您使用不同的遮罩圖像，請務必在 "mask_color" 欄位中輸入相應的 Hex Code。這樣可以確保 "regional conditioning by color mask" 節點正確分割物體。
- 加載深度序列：加載深度序列以提供場景中物體距離的信息。
- 加載輪廓序列：加載輪廓序列以定義場景中物體的形狀和邊緣。
🌟 如何按路徑加載圖像序列
組織您的序列
- 將您的遮罩序列放在一個文件夾中，例如，
{mask}。 - 將您的深度序列放在另一個文件夾中，例如，
{depth}。 - 將您的輪廓序列放在另一個文件夾中，例如，
{outline}。
上傳文件夾
- 使用我們的文件瀏覽器將這些文件夾上傳到
ComfyUI/input目錄。
目錄路徑
- 完整的目錄路徑應為：
/home/user/ComfyUI/input/{folder_name}。 - 例如：
/home/user/ComfyUI/input/{mask}。
2. 使用文本提示定義視覺效果
對於 遮罩序列，使用文本提示指定場景中每個物體的期望視覺效果。
- 主提示：此提示設置整個場景的整體風格和照明。它決定最終渲染應達到的整體氛圍、氛圍和視覺基調。
- 區域提示：這些提示為場景中的特定物體或區域提供詳細描述。每個提示應對應於一個獨特的物體或區域，確保每個元素都能準確呈現。
- 負面提示：此提示列出應從渲染中排除的元素。它有助於防止某些特徵或物體出現在最終輸出中，確保場景保持集中且無不必要的細節。
3. ControlNet 模組
- 將深度序列輸入 ControlNet Depth 模型。
- 將輪廓序列輸入 ControlNet Canny 模型。
4. AnimateDiff 模組
- 使用此模組從處理過的序列中渲染流暢的動畫。
5. 可選的 IPAdapter 使用
- 使用 IPAdapter 進行額外的調節輔助，以提高生成圖像的一致性和質量。
通過將 Blender 精確的 3D 數據與 ComfyUI 中穩定擴散的強大圖像合成能力相結合，您可以生成令人難以置信的寫實或風格化的 3D 動畫，並完全掌控創意。
