此工作流程受到 的啟發，並進行了一些修改。如需詳細教程，請訪問他的 YouTube 頻道。
此工作流程讓您可以使用 AnimateDiff、ControlNet 和 IPAdapter 將標準影片轉換為迷人的日本動漫創作。請隨意嘗試各種檢查點、LoRA 設置和 IPAdapter 的參考圖像，以打造您獨特的風格。這是一種有趣且富有創意的方式，讓您的影片在動漫世界中煥發活力！
請查看 的詳細信息。
ControlNet 革新了我們生成圖像的方式，為文本到圖像擴散模型帶來了新的空間控制層次。這種尖端的神經網絡架構與 Stable Diffusion 等巨頭完美搭配，利用其龐大的圖像庫——由數十億張圖像鍛造而成——將空間細微差別直接編織到圖像創建的結構中。從勾勒出邊緣到映射人體姿勢、深度感知或分割視覺內容，ControlNet 賦予您塑造圖像的能力，遠遠超出僅僅依賴文本提示的範疇。
在其核心，ControlNet 的設計巧妙而直接。它首先保護原始模型參數的完整性，保持基礎訓練不變。然後，ControlNet 引入了一組鏡像的模型編碼層，但帶有一個轉折點：它們使用 "零卷積" 進行訓練。這些零作為起點意味著這些層溫和地融入新的空間條件而不引起騷動，確保模型的原始才能在開啟新的學習路徑時仍然得以保留。
ControlNets 和 T2I-Adapters 都在圖像生成的條件設定中發揮著關鍵作用，各自提供了獨特的優勢。T2I-Adapters 因其效率而著稱，特別是在加速圖像生成過程方面。儘管如此，ControlNets 在複雜地引導生成過程方面無可匹敵，使其成為創作者的強大工具。
考慮到許多 T2I-Adapter 和 ControlNet 模型功能的重疊，我們的討論將主要聚焦於 ControlNets。然而，值得注意的是，RunComfy 平台已預裝了多個 T2I-Adapter 模型以供方便使用。對於那些有興趣嘗試 T2I-Adapters 的人，您可以無縫地加載這些模型並將其整合到您的項目中。
在 ComfyUI 中選擇 ControlNet 和 T2I-Adapter 模型不會影響 ControlNet 節點的使用或工作流程的一致性。 這種一致性確保了流程的流暢性，允許您根據項目需求充分利用每種模型類型的獨特優勢。
3.4.1. 加載 "Apply ControlNet" 節點
首先，您需要將 "Apply ControlNet" 節點加載到您的 ComfyUI 中。這是您邁向雙條件圖像創作之旅的第一步，將視覺元素與文本提示融合在一起。
3.4.2. 理解 "Apply ControlNet" 節點的輸入
正向和負向條件設定：這些是您塑造最終圖像的工具——應該擁抱什麼，應該避免什麼。將這些連接到 "Positive prompt" 和 "Negative prompt" 插槽，以便與創作方向的文本部分同步。
選擇 ControlNet 模型：您需要將此輸入鏈接到 "Load ControlNet Model" 節點的輸出。這是您根據目標特徵或風格決定使用 ControlNet 或 T2IAdaptor 模型的地方。雖然我們專注於 ControlNet 模型，但提及一些受歡迎的 T2IAdaptors 也值得一提，以便全面了解。
預處理您的圖像：將您的圖像連接到 "ControlNet Preprocessor" 節點，這對於確保您的圖像能夠適應 ControlNet 至關重要。必須使預處理器與您的 ControlNet 模型匹配。這一步調整您的原始圖像以完美適應模型的需求——調整大小、重新上色或應用必要的濾鏡——為 ControlNet 的使用做好準備。
3.4.3. 理解 "Apply ControlNet" 節點的輸出
處理後，"Apply ControlNet" 節點為您提供兩個輸出，反映了 ControlNet 與您的創作輸入之間的精妙互動：正向和負向條件設定。這些輸出引導 ComfyUI 中的擴散模型，接下來您要做出選擇：使用 KSampler 精煉圖像，或深入堆疊更多 ControlNets 以追求無與倫比的細節和定制化。
3.4.4. 調整 "Apply ControlNet" 以獲得最佳結果
確定強度：此設置控制 ControlNet 在最終圖像中影響力的大小。完全的 1.0 意味著 ControlNet 的輸入掌握了主導權，而將其調低到 0.0 則讓模型在沒有 ControlNet 影響的情況下運行。
調整開始百分比：這告訴您 ControlNet 在擴散過程中何時開始發揮作用。例如，設置為 20% 表示從五分之一的過程開始，ControlNet 開始發揮作用。
設置結束百分比：這是開始百分比的對應面，標誌著 ControlNet 退出時的點。如果您將其設置為 80%，ControlNet 的影響會在圖像接近最終階段時逐漸消失，最後一段不受 ControlNet 的影響。
3.5.1. ControlNet 模型：Openpose
預處理器選項包括：Openpose 或 DWpose
3.5.2. ControlNet 模型：Depth
深度模型使用 2D 圖像推斷深度，並將其表示為灰度圖。每個模型在細節或背景專注方面都有其優勢：
考慮的預處理器：Depth_Midas、Depth_Leres、Depth_Zoe、Depth_Anything、MeshGraphormer_Hand_Refiner。此模型在穩健性和與渲染引擎實際深度圖的兼容性方面表現出色。
3.5.3. ControlNet 模型：SoftEdge
ControlNet Soft Edge 被設計用來生成邊緣更柔和的圖像，在保持自然外觀的同時增強細節。它利用尖端的神經網絡進行精細的圖像操控，提供廣泛的創意控制和完美的整合。
在穩健性方面：SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
為了獲得最高質量的結果：SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
作為一般建議，SoftEdge_PIDI 是首選選項，因為它通常能夠提供出色的結果。
預處理器包括：SoftEdge_PIDI、SoftEdge_PIDI_safe、SoftEdge_HED、SoftEdge_HED_safe。
3.5.4. ControlNet 模型：Canny
Canny 模型實施了 Canny 邊緣檢測，以突出圖像中的廣泛邊緣範圍。此模型非常適合在簡化圖像整體外觀的同時保持結構元素的完整性，有助於創造風格化藝術或為進一步操作準備圖像。
可用的預處理器：Canny
3.5.5. ControlNet 模型：Lineart
Lineart 模型是將圖像轉化為風格化線條畫的工具，適合各種藝術應用：
可用的預處理器可以產生詳細或更顯著的線條畫（Lineart 和 Lineart_Coarse）。
3.5.6. ControlNet 模型：Tile
Tile Resample 模型擅長突出圖像中的細節。它特別有效，當與升級器搭配使用時，可以增強圖像的分辨率和細節，通常用於銳化和豐富圖像的紋理和元素。
推薦的預處理器：Tile
合併多個 ControlNets 或 T2I-Adapters 可以在圖像生成過程中順序應用不同的條件類型。例如，您可以結合 Lineart 和 OpenPose ControlNets 以增強細節。
Lineart 用於物體形狀：首先整合 Lineart ControlNet 以為圖像中的物體或元素增添深度和細節。此過程涉及為您希望包含的物體準備線條畫或 canny 圖。
OpenPose 用於姿勢控制：在線條畫細節之後，利用 OpenPose ControlNet 來決定圖像中人物的姿勢。您需要生成或獲得捕捉所需姿勢的 OpenPose 圖。
順序應用：為了有效地結合這些效果，將 Lineart ControlNet 的輸出鏈接到 OpenPose ControlNet。此方法確保在生成過程中，同時引導圖像中主體的姿勢和物體的形狀，創造出與所有輸入規範和諧一致的結果。
請查看 的詳細信息。
RunComfy 是首選的 ComfyUI 平台，提供 ComfyUI 在線 環境和服務，以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。
