掌握 ComfyUI IPAdapter Plus (IPAdapter V2) 的詳細指南
Updated: 4/9/2024
歡迎！在本指南中，讓我們一起探索 ComfyUI IPAdapter Plus 的令人興奮的新功能，也被稱為 ComfyUI IPAdapter V2。
IPAdapter 模型非常適合圖像到圖像的條件生成，能輕鬆地將參考圖像中的主體或風格遷移至新的創作中。你可以將它想像成單圖的 LoRA。
ComfyUI IPAdapter Plus (IPAdapter V2) 推出的同時帶來了大量新功能，目的是簡化模型整合流程、提升使用體驗，並擴展創作的可能性。
⚠️ 請注意：升級至 ComfyUI IPAdapter Plus (IPAdapter V2) 會導致依賴 IPAdapter V1 節點的舊工作流無法使用。因此，你需要改用新版節點重新建立工作流。
本指南涵蓋內容包括：
1. ComfyUI IPAdapter Plus - IPAdapter Basic 節點
- 1.1. 最簡單的 ComfyUI IPAdapter 工作流
- 1.2. ComfyUI「IPAdapter」節點的輸入說明
- 1.3. ComfyUI「IPAdapter」節點中的參數設定
- 1.4. 在 SD1.5 與 SDXL 檢查點模型中使用 IPAdapter Plus 的差異
2. ComfyUI IPAdapter Plus - IPAdapter Advanced 節點
- 2.1. ComfyUI IPAdapter Advanced 工作流
- 2.2. ComfyUI「IPAdapter Advanced」節點的進階參數說明
3. ComfyUI IPAdapter Plus - FaceID 模式
- 3.1. ComfyUI IPAdapter FaceID 工作流
4. ComfyUI IPAdapter Plus - 圖像合併功能
- 4.1. 方法一：使用 ComfyUI「Batch Image」節點進行合併
- 4.2. 方法二：使用「IPAdapter Encoder」節點精準控制參考權重
5. ComfyUI IPAdapter Plus - 高解析圖像適用的 IPAdapter Tile
- 5.1. ComfyUI IPAdapter Tile 工作流
6. ComfyUI IPAdapter Plus - 風格與構圖遷移
- 6.1. 用於風格遷移的 IPAdapter Plus
- 6.2. 用於保持構圖的 IPAdapter Plus
- 6.3. 同時遷移風格與構圖的 IPAdapter Plus
🌟🌟🌟 ComfyUI 線上體驗 — 立即試用 IPAdapter Plus 工作流 🌟🌟🌟
如果你想體驗 ComfyUI IPAdapter Plus (IPAdapter V2) 工作流，可以使用以下的 ComfyUI 線上平台。我們已預先安裝所有必要的自訂節點與模型，無需手動設置，即可立即開始創作與練習。你也可以繼續閱讀本教學，了解如何有效應用 IPAdapter Plus。
更多進階與精選 ComfyUI 工作流，請造訪我們的 🌟ComfyUI 工作流列表🌟
1. ComfyUI IPAdapter Plus - IPAdapter Basic 節點
1.1. 最簡單的 ComfyUI IPAdapter 工作流
1.2. ComfyUI「IPAdapter」節點的輸入
1.2.1.「IPAdapter」節點的輸入：模型與 IPAdapter
「IPAdapter」節點的「Model」與「IPAdapter」輸入端連接至「IPAdapter Unified Loader」節點的輸出。在這裡，你可以從各種 IPAdapter 模型中選擇，每種模型皆針對不同的需求進行了優化：
- Light - 僅限 SD1.5（低強度）：此模型適合進行最小幅度的調整，僅與 SD1.5 模型相容。
- Standard（中等強度）：提供中度修改，適用於各類應用，兼具細緻與明顯變化。
- VIT-G（中等強度）：與 Standard 類似，但針對複雜或多樣的圖像資料進行優化，特定情況下表現更佳。
- PLUS（高強度）：適用於需要大量變更的情境，具備強大創造能力。
- PLUS FACE（人像）：針對臉部細節優化，非常適合人像攝影與藝術創作。
- Full FACE - 僅限 SD1.5（更強人像）：比 PLUS FACE 更強化，專注於人像轉換，僅支援 SD1.5。
1.2.2.「IPAdapter」節點的輸入：圖像
「Image」輸入為用於圖像到圖像生成的參考圖像。此圖像將作為變換的依據，根據參數設定與模型能力轉換為新圖像，結合參考屬性與模型創造力。
1.2.3.「IPAdapter」節點的輸入：Attn Mask（注意力遮罩）
使用「Attn Mask」可讓你標示圖像中希望重點處理的區域，引導模型將注意力集中於此，強化或保留特定圖像特徵。
1.3. ComfyUI「IPAdapter」節點中的參數
1.3.1. 節點參數：權重（Weight）
「Weight」參數決定應用的變化強度；數值越高，影響越明顯；數值越低，則變化較為細微。
1.3.2. 節點參數：起始與結束步驟
「Start At」與「End At」控制 IPAdapter 效果在生成流程中啟用與結束的時間點，掌握變化的範圍與位置。
1.3.3. 節點參數：權重類型（Weight Type）
透過不同的「Weight Type」可控制變化如何套用於生成流程中，不同類型將對最終輸出產生不同影響：
- Standard
- Prompt is more important
- Style Transfer（僅 SDXL 支援）
1.4. 在 SD1.5 與 SDXL 檢查點模型中使用的差異
使用 SDXL 模型 時，IPAdapter Plus 可無縫整合並自動適應模型架構，但必須調整潛在空間尺寸以符合 SDXL 的需求。
2. ComfyUI IPAdapter Plus - IPAdapter Advanced 節點
2.1. ComfyUI IPAdapter Advanced 工作流
藉由新增「Image Negative」、「CLIP Vision」、「Combine Embeds」等輸入與更多「Weight Type」選項，IPAdapter Advanced 節點大幅提升了生成過程的控制靈活性，更容易實現你理想中的視覺結果。
2.2. ComfyUI「IPAdapter Advanced」節點中的進階參數
2.2. ComfyUI "IPAdapter Advanced" 節點中的擴展參數
2.2.1. "IPAdapter Advanced" 節點中的擴展參數：Image Negative
"Image Negative" 參數使您能夠定義不希望出現在最終圖像中的內容。透過指定反面例子，引導模型遠離不需要的元素，朝向更理想的結果。此功能對於避免生成的圖像中出現特定主題、物件或模式至關重要，確保輸出符合您的偏好。
2.2.2. "IPAdapter Advanced" 節點中的擴展參數：CLIP Vision
在 "IPAdapter Advanced" 節點中，您會找到 "CLIP Vision" 輸入。它連接到 "Load CLIP Vision" 節點的輸出，在那裡您可以從不同的 CLIP-ViT 模型中進行選擇。
-
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors：這個模型變體屬於 CLIP（對比語言-圖像預訓練）系列，專門用於理解和解釋與文字資訊相關的視覺內容。它在大型資料集（laion2B）上進行了訓練，模型大小為 320 億個參數（s32B），並經過優化以在內容生成中平衡效能與安全性（b79K 表示特定的基準或版本）。該模型擅長處理廣泛的視覺辨識任務，適用於生成高品質、上下文精準的圖像。
-
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors：與其對應的模型類似，這個模型也在 laion2B 資料集上進行了訓練，但擁有更大的 390 億個參數，使其能夠理解文字與圖像之間更細緻的關聯。"bigG" 可能表示 CLIP-ViT 系列中更大或更先進的版本，"b160k" 表示其基準或版本。該模型擅長創建與文字描述緊密對齊的細節豐富、複雜的圖像，適用於需要高保真度和深入語意理解的應用。
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors 的主要區別在於它們的大小與潛在的複雜性處理能力，後者擁有 390 億個參數，比前者的 320 億參數更大，表示它可以詮釋比前者更細緻的文字-圖像關聯。
2.2.3. "IPAdapter Advanced" 節點中的擴展參數：Weight Type
與 "IPAdapter" 節點相比，"IPAdapter Advanced" 節點提供了更多 "weight type" 選項，每種類型都以獨特的方式影響輸出：
- Linear：從開始到處理管線的結尾均勻應用權重，確保在整個過程中保持一致的影響，而不會調整強度。
- Ease In：從開始處逐漸增加權重，在處理管線中平滑引入效果。
- Ease Out：從強影響開始，逐漸減弱，有效地在處理結束時逐步淡出效果。
- Ease In-Out：結合了 "Ease In" 和 "Ease Out" 效果；開始與結束時影響較小，在中間達到最大影響。
- Weak Input：專門減弱處理鏈開始時效果的影響，使初始元素不那麼明顯。
- Weak Output：減弱處理鏈結束時的影響，柔化圖像的結尾部分。
- Weak Middle：最小化處理鏈中間效果的影響，通常是為了保持開始與結束部分的清晰度或重點。
- Strong Middle：放大處理鏈中心部分的效果，強化對圖像核心元素的影響。
- Style Transfer (SDXL)：專為 SDXL 模型設計，此選項專注於將參考圖像的風格適配到目標圖像，利用 SDXL 的能力進行細膩的風格轉換。
- Composition (SDXL)：為 SDXL 模型量身打造，旨在合併參考圖像與目標圖像的構圖元素，強調元素在空間中的排列與互動。
2.2.4. "IPAdapter Advanced" 節點中的擴展參數：Combine Embeds
對於那些希望將來自多個來源的輸入合併為單一連貫視覺輸出的人來說，"Combine Embeds" 功能至關重要。透過利用 "Combine Embeds"，您可以靈活地製作融合廣泛藝術影響與靈感的圖像，從而創作出真正個性化且創新的作品。提供的合併嵌入方法，如 Concat、Add、Subtract、Average 和 Norm Average，為合併這些影響提供了不同的方法。這些將在第 4 節 "ComfyUI IPAdapter 圖像合併功能" 中詳細探討。
3. ComfyUI IPAdapter Plus - FaceID
在上面提到的配置中，您可能已經注意到缺少 FaceID 模型。要將 Face ID 模型整合到您的工作流程中，需要兩個特定的節點："IPAdapter Unified Loader FaceID" 節點和 "IPAdapter FaceID" 節點。
3.1. ComfyUI IPAdapter FaceID 工作流程
在 "IPAdapter Unified Loader FaceID" 節點中工作時，您可以從可用模型的下拉選單中選擇最新的 "Face ID Plus V2"。此操作指示載入器自動收集並準備 Face ID Plus V2 模型所需的所有特定依賴項。
選擇 CPU 作為提供者。儘管可能有高效能 GPU 可用，但建議將 Face ID 模型配置為使用 CPU 作為其提供者。這項建議來自於保留寶貴顯示記憶體（VRAM）的益處，這一策略已被證明有利，有助於優化專案資源分配的整體效率與效能。
4. ComfyUI IPAdapter Plus - 圖像合併功能
如何使用多個參考圖像生成新圖像？以下是使用 ComfyUI 的 IPAdapter Plus 實現此目標的兩種方法，為您提供創意圖像生成所需的靈活性與控制力。
4.1. 方法 1：利用 ComfyUI "Batch Image" 節點
要開始使用 "Batch Image" 節點，您必須首先選擇要合併的圖像。然後將這些圖像輸入節點，建立統一的批次。隨後將此批次導入 IPAdapter 管線，依序將每個圖像應用於生成過程。
"IPAdapter Advanced" 節點引入了 "Combine Embeds" 選項，為您提供複雜的控制，可控制多個圖像如何影響生成。這些選項—Concat、Add、Subtract、Average 和 Norm Average—決定了如何合併來自不同圖像的嵌入，每種選項都會產生獨特的結果：
- Concat：此選項將每個圖像的嵌入連接起來，有效地將所有輸入圖像的資訊保留並組合到一個擴展格式中。這種方法有利於合併每個圖像的廣泛特徵，但由於需處理的資訊量較大，可能會導致複雜度增加。
- Add：透過對圖像的嵌入進行相加，"Add" 方法協同它們的影響，加強圖像之間共同的特徵。這對於強調共享特徵或主題特別有用，可能產生更統一且連貫的輸出。
- Subtract：與相加相反，"Subtract" 方法透過相減來區分嵌入，突顯每個圖像的獨特面向。這種方法可創造性地探索對比，可用於減弱參考圖像中存在的某些元素，為藝術表現提供新的途徑。
- Average：透過對嵌入取平均值，此方法實現了圖像特徵的平衡融合，確保任何單一圖像的影響都不會過度主導。此技術非常適合實現多個圖像的和諧整合，提供均勻表達輸入圖像的凝聚輸出。
- Norm Average（歸一化平均）：此選項根據每個圖像在批次中的相對權重調整其影響，實現對最終合成的精準控制。它允許微調生成圖像的外觀，確保最終結果與使用者的願景緊密對齊。
在下圖中，透過使用不同的 "Combine Embeds"，您將獲得不同的結果。
4.2. 方法 2：使用 ComfyUI "IPAdapter Encoder" 節點精確控制參考權重
對於那些希望更細緻地控制參考圖像在最終圖像中的權重的人，IPAdapter 透過使用 "IPAdapter Encoder" 節點與 "IPAdapter Combine Embeds" 節點提供了解決方案。
4.2.1. 利用 "IPAdapter Encoder" 節點
合併過程中的每張圖像都透過 IPAdapter 編碼器節點進行處理，該節點將圖像編碼為與 IPAdapter 相容的格式。在 "IPAdapter Encoder" 節點中，使用者可以為每張圖像分配特定的權重，決定它們對合併輸出的影響。調整這些權重可以細緻地控制每張圖像在合成中的主導程度或細微程度。
4.2.2. 使用 "IPAdapter Combine Embeds" 節點合併
在對圖像進行編碼並設置權重後，"IPAdapter Combine Embeds" 節點將合併它們的編碼表示。它結合了編碼器節點的正嵌入，反映每張圖像對合併輸出的預期影響。這種平衡的嵌入隨後會準備好進行合成。
4.2.3. 連接到 "IPAdapter" 節點
合成的嵌入最終由 IPAdapter 處理以生成新圖像。儘管連接負嵌入是可選的，但建議這樣做以節省運算資源。透過從編碼器節點中選擇任意兩個負嵌入並將其鏈接至 IPAdapter 節點，可以優化此過程，最大限度地減少不必要的運算並簡化合併流程。
透過遵循這些方法，您可以有效地合併多個圖像以生成新的創意合成，充分發揮 ComfyUI IPAdapter Plus 的功能！
5. ComfyUI IPAdapter Plus - 用於高圖像的 IPAdapter Tile
在處理高圖像時，您可能會遇到一個獨特的挑戰：IPAdapter 框架的核心組件 CLIP Vision 編碼器天生更偏好正方形圖像。當直接將高圖像連接到 IPAdapter 節點時，這種偏好可能會導致裁切問題，通常只有圖像的中心部分會影響輸出。因此，圖像的頂部與底部部分可能會被忽略，進而影響生成內容的整體品質。
為了解決這個問題，"IPAdapter Tiled" 節點提供了量身打造的解決方案。它允許直接連接高圖像，透過將圖片分割為較小且可管理的圖塊來進行處理。這種方法確保在生成過程中考慮到參考圖像的每個部分，避免部分圖像被忽略的情況。
5.1 ComfyUI IPAdapter Tile 工作流程
"IPAdapter Tiled" 節點的另一個特點是圖塊與遮罩輸出，它提供了圖像處理方式的視覺化呈現。此功能顯示使用的特定圖塊及其對應的遮罩，讓您深入了解生成過程的內部運作。理解圖像如何被分割與處理可以協助您做出明智調整，以實現預期效果。
此外，"IPAdapter Tiled" 節點允許自定義遮罩調整，為突出或集中高圖像的特定區域提供了靈活性。透過自定義這些遮罩，您可以將更多注意力引導至高圖像的特定元素上，進一步增強對結果的控制力。當您希望強調或淡化圖像中的某些方面時，這個功能非常寶貴，能確保生成內容與您的願景完全一致。
因此，將 "IPAdapter Tiled" 節點整合至 ComfyUI IPAdapter Plus 中，將顯著提升您處理涉及高圖像之圖像到圖像條件生成專案的能力。
6. ComfyUI IPAdapter Plus - 風格與構圖
如何使用 ComfyUI IPAdapter Plus 操縱與結合參考圖像的風格與構圖，來創造全新且吸引人的視覺效果。ComfyUI IPAdapter Plus 為藝術家與設計師提供了一整套強大工具以供實驗，包括遷移某張圖像的風格、保留另一張圖像的構圖，甚至將不同參考圖像的風格與構圖融合於同一張圖像中的能力。
6.1. 用於風格遷移的 ComfyUI IPAdapter Plus
要使用 ComfyUI IPAdapter Advanced 節點將參考圖像的風格（如單圖 LoRA）遷移到目標內容上，請依照以下步驟操作：
設置 "IPAdapter Advanced" 節點：首先將 "IPAdapter Advanced" 節點納入您的工作流程。
配置節點：在 ComfyUI IPAdapter Advanced 節點的設置中，找到 "Weight Type" 選項。使用下拉選單選擇 "Style Transfer (SDXL)"。此配置指示適配器將參考圖像的視覺風格優先遷移到目標圖像。
調整風格遷移 "Weight"："weight" 設定決定風格遷移的強度。提高此值會放大參考風格對目標圖像的影響，使其效果更加明顯。
6.2. 用於保留構圖的 ComfyUI IPAdapter Plus
要在生成新圖像的同時保留參考圖像的構圖，您仍將使用 ComfyUI IPAdapter Advanced 節點，但需採用不同的設置：
設置 "IPAdapter Advanced" 節點：如前所述，將 IPAdapter Advanced 節點加入您的工作流程中。
配置節點：從 "Weight Type" 下拉選單中選擇 "Composition (SDXL)"。這會指示適配器在新生成中保留參考圖像的構圖元素。
調整構圖 "Weight"：修改 "weight" 設定來控制新圖像對參考構圖的遵循程度。權重越高，新圖像越會嚴格執行參考圖像的構圖結構。
6.3. 同時保留構圖與進行風格遷移的 ComfyUI IPAdapter Plus
對於同時需要遷移一張圖像風格並保留另一張圖像構圖的專案，"IPAdapter Style & Composition SDXL" 節點提供了一個簡化的解決方案：
選擇 "IPAdapter Style & Composition SDXL" 節點：將此專門設計的節點加入您的專案中，以同時處理風格與構圖遷移。
載入風格與構圖參考："IPAdapter Style & Composition SDXL" 節點允許兩個輸入，一個用於要遷移風格的圖像，另一個用於要保留構圖的圖像。分別載入這兩個參考圖像。
為風格與構圖配置 "Weights"："IPAdapter Style & Composition SDXL" 節點提供風格與構圖的獨立權重設定。調整這些權重以平衡每個參考圖像對最終輸出的影響。為風格或構圖設定較高的權重將使其在生成圖像中被優先考量。
透過遵循這些步驟並嘗試不同的設置，您可以充分運用 ComfyUI IPAdapter Plus 創作出視覺上令人驚豔的圖像，融合一張藝術品的獨特風格與另一張作品的精妙構圖。
🌟🌟🌟 ComfyUI 線上 - 立即體驗 IPAdapter Plus 工作流程 🌟🌟🌟
如果您有興趣探索 ComfyUI IPAdapter Plus（IPAdapter V2）工作流程，請使用以下 ComfyUI 網頁。它已預載所有必要的自訂節點與模型，無需手動設置，即可無縫創作。立即開始實戰體驗！