ICEdit | 使用 Nunchaku 的快速 AI 圖像編輯

1. ComfyUI ICEdit 工作流程是什麼？

ComfyUI ICEdit-Nunchaku 工作流程將創新的 In-Context Edit (ICEdit) 框架與 Nunchaku 優化相結合，以實現超快速的圖像編輯。由浙江大學和哈佛大學的研究人員開發，ICEdit 使高質量的指令性圖像編輯具備卓越的效率。基於 FLUX 擴散變壓器並利用 ICEdit 的上下文學習原則，此工作流程在允許基於自然語言指令進行靈活修改的同時保留了身份特徵。ICEdit 工作流程代表了 AI 圖像編輯的最佳解決方案，提供了精確的結果，同時需要最少的 GPU 資源。

2. ComfyUI ICEdit 的優勢：

• 卓越的效率： ICEdit 僅使用 0.5% 的訓練數據和 1% 的參數即可實現高質量的編輯效果，這是以前方法所需的參數。
• 超快速性能： ICEdit-Nunchaku 集成即使在僅有 4GB VRAM 的系統上也能實現高速編輯。
• 身份保留： 即使經過重大風格或屬性修改，ICEdit 仍能保持主體身份。
• 自然語言指令： 使用簡單的文本提示進行圖像編輯，得益於 ICEdit 的直觀指令系統。
• 多輪編輯： ICEdit 支持在同一圖像上進行連續編輯操作，以實現複雜的轉換。
• 高分辨率輸出： ICEdit 工作流程包括三種不同的升級方法，以獲得高質量的結果。

3. 使用 ICEdit 進行圖像編輯

開始使用：

1. 圖像輸入：
   • 使用 ICEdit 工作流程左下角的主要 Load Image 節點上傳您的原始圖像
   • 這是您希望用 ICEdit 編輯的圖像的主要輸入
   • ICEdit 工作流程將自動將您的圖像處理為所需尺寸（寬度 512px）
   • 為獲得最佳的 ICEdit 結果，請盡量使用正方形圖像，因為非正方形圖像在處理過程中可能會被居中裁剪
   • 專業提示：為提高 ICEdit 的成功率，右鍵單擊 Load Image 節點並選擇 "Open in MaskEditor" 以手動創建圍繞您想編輯的區域的蒙版
   
2. 使用 ICEdit 的蒙版編輯器（可選但推薦）：
   • 在 MaskEditor 中，使用畫筆工具在您想用 ICEdit 修改的特定區域周圍繪製蒙版
   • 這有助於將 ICEdit 的注意力引導到圖像的相關部分
   • 使用不同的畫筆設置（厚度、不透明度、硬度）進行精確控制
   • 完成後單擊 "Save" 以將自定義蒙版應用於 ICEdit 工作流程
   • 此步驟顯著提高了 ICEdit 在細節或特定更改中的成功率
3. 輸入您的 ICEdit 指令：
   • 在 ICEdit 工作流程中心找到紅色突出的 String 輸入節點
   • 在此字段中鍵入您所需的 ICEdit 指令
   • 對於風格轉換，只需鍵入類似 "Convert the image into Ghibli style" 的指令或 "Convert to anime illustration and maintain shirt be pink, hair be brown"
   • 保持另一個帶有固定前綴的 String 節點不變 - 這包含使 ICEdit 正常工作的必要上下文
   • 工作流程將自動將您的指令與所需的前綴結合，以獲得最佳的 ICEdit 處理效果
   
4. 運行 ICEdit 工作流程：
   • 上傳圖像並輸入編輯指令後，點擊 run 開始 ICEdit 處理
   • ICEdit 工作流程將通過多個處理階段生成編輯後的圖像

4. ICEdit 參數參考

ICEdit 參數設置：

1. Nunchaku FLUX.1 LoRA Loader for ICEdit：
   • lora_strength: 1.00-1.18（可調整以達到 ICEdit 效果強度，1.18 提供最佳整體效果）
2. ICEdit KSamplerAdvanced 設置：
   • 第一個 KSampler：默認 30 步，euler sampler，CFG 7
     • 調整 CFG：更高的值（8-15）更嚴格地遵循指令，較低的值（3-5）增加創意
     • 調整步驟：更多步驟提高細節但增加處理時間
   • 第二個 KSampler：默認 25 步，用於升級的 beta scheduler
   • 第三個 KSampler：默認 30 步，kl_optimal sampler 用於保留面部細節和質感
     • 這些參數可以根據您的具體編輯需求進行調整
3. ICEdit 升級配置：
   • ICEdit 工作流程包括三種升級方法：
     • 使用專用模型（如 2xNomosUni）進行模型升級
     • 使用 lanczos 縮放進行圖像細節增強
     • KL-optimal 取樣以獲得高保真 ICEdit 恢復（有助於保留面部特徵）
   • 如果使用 4x 放大模型，考慮將縮放因子更改為 0.5，以防止大型 ICEdit 結果中的偽影
4. ICEdit 中的 FluxGuidance：
   • ICEdit 工作流程在不同部分有多個 FluxGuidance 節點，控制指導強度
   • 風格轉換 FluxGuidance：控制 ICEdit 風格轉換如何緊密遵循您的指令
   • 圖像編輯 FluxGuidance：右側顯示值為 4.0，平衡質量和 ICEdit 精度
   • 更高的值使 ICEdit 更精確地遵循指令，但可能影響圖像質量
   • 較低的值提供更多創造性的自由，但可能導致 ICEdit 結果不夠精確
5. Redux 與 ICEdit 的集成（可選）：
   • ICEdit 工作流程包括 Redux 風格微調功能，但這是可選的
   • 使用 Redux 進行 ICEdit 風格轉換時，您可以更改為 get_condition1，儘管結果可能有所不同

5. ICEdit 編輯任務示例

ICEdit 在多種編輯操作中表現出色，包括：

• ICEdit 的風格轉換： "Convert the image into anime illustration"
• 使用 ICEdit 的顏色更改： "Change the blue shirt to green"
• 使用 ICEdit 的服裝修改： "Change the blue shirt to denim jacket"
• 通過 ICEdit 添加配件： "Add sunglasses", "This girl wears a white watch"
• 使用 ICEdit 移除配件： "Remove picture on the wall"
• 使用 ICEdit 的背景更改： "Girl is on the beach, colorful cloud in the sky"
• 通過 ICEdit 操控物體： "Hand holding a durian"
• 使用 ICEdit 的文本/水印操作： "Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• 通過 ICEdit 的多元素編輯： "Convert to Ghibli style"

6. 提高 ICEdit 結果的高級技巧

ICEdit 提示工程：

• 在 ICEdit 指令中要具體和簡潔
• 對於 ICEdit 風格轉換，包含您希望保留的細節
• 使用清晰的描述性語言以獲得最佳的 ICEdit 結果
• 使用 ICEdit 更改背景時，具體說明位置

ICEdit 優化技巧：

• 如果遇到不滿意的 ICEdit 結果，請嘗試更改種子值（這對於成功至關重要）
• 對於複雜的 ICEdit 編輯，考慮將其拆分為多個簡單的編輯步驟
• 調整 lora_strength 以控制 ICEdit 效果的強度

處理 ICEdit 失敗：

• ICEdit 最適合真實照片；對於非寫實輸入，結果可能會有所不同
• ICEdit 的物體移除任務成功率低於添加或修改
• 如果 ICEdit 嘗試失敗，請嘗試重新表述指令或使用不同的種子

7. 致謝與鳴謝

此工作流程由浙江大學和哈佛大學的 ReLER, CCAI 的 Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, and Yi Yang 開發的 ICEdit 提供支持。ComfyUI 與 ICEdit 的集成得益於社區貢獻，特別感謝 judian17 提供的 和優化工作。

工作流程使用特別改編的 ICEdit-MoE-LoRA 版本，其中專家層通過權重平均提高兼容性，實現高質量的 ICEdit 處理，同時需要最少的計算資源。

如需有關 ICEdit 的更多信息，請訪問：

• 項目頁面：