ICEdit | 使用 Nunchaku 快速 AI 图像编辑

1. 什么是 ComfyUI ICEdit 工作流程？

ComfyUI ICEdit-Nunchaku 工作流程将创新的 In-Context Edit (ICEdit) 框架与 Nunchaku 优化相结合，实现超快速图像编辑。由浙江大学和哈佛大学的研究人员开发，ICEdit 使得高质量的指令图像编辑变得异常高效。基于 FLUX 扩散变压器并利用 ICEdit 的上下文学习原理，该工作流程在允许通过自然语言指令进行灵活修改的同时保留了身份特征。ICEdit 工作流程代表了 AI 图像编辑的最佳解决方案，以最少的 GPU 资源提供精确的结果。

2. ComfyUI ICEdit 的优势：

• **卓越的效率：**ICEdit 仅使用 0.5% 的训练数据和以前方法所需参数的 1% 就能实现高质量编辑。
• **超快性能：**ICEdit-Nunchaku 集成即使在只有 4GB VRAM 的系统上也能实现高速编辑。
• **身份保留：**ICEdit 即使在进行重大风格或属性修改时也能保持主体身份。
• **自然语言指令：**使用简单的文本提示通过 ICEdit 的直观指令系统编辑图像。
• **多轮编辑：**ICEdit 支持对同一图像进行连续编辑操作，以实现复杂的转换。
• **高分辨率输出：**ICEdit 工作流程包括三种不同的放大方法以获得高质量的结果。

3. 使用 ICEdit 进行图像编辑

入门指南：

1. 图像输入：
   • 使用 ICEdit 工作流程左下角的主 Load Image 节点上传您的源图像
   • 这是您要用 ICEdit 编辑的图像的主要输入
   • ICEdit 工作流程将自动将您的图像处理为所需的尺寸（宽 512px）
   • 为了获得最佳的 ICEdit 结果，尽量使用方形图像，因为非方形图像在处理过程中可能会被中心裁剪
   • **专业提示：**为了提高 ICEdit 的成功率，右键单击 Load Image 节点并选择 "Open in MaskEditor" 手动在您要编辑的区域周围创建一个蒙版
   
2. 使用 ICEdit 的蒙版编辑器（可选但推荐）：
   • 在 MaskEditor 中，使用画笔工具在您希望通过 ICEdit 修改的特定区域周围绘制蒙版
   • 这有助于将 ICEdit 的注意力集中在图像的相关部分
   • 使用不同的画笔设置（厚度、不透明度、硬度）进行精确控制
   • 完成后点击 "Save" 以将自定义蒙版应用到 ICEdit 工作流程
   • 这一步显著提高了 ICEdit 在详细或特定更改方面的成功率
3. 输入您的 ICEdit 指令：
   • 在 ICEdit 工作流程中心找到带有红色高亮的 String 输入节点
   • 在此字段中输入您想要的 ICEdit 指令
   • 对于风格转换，只需输入诸如 "Convert the image into Ghibli style" 或 "Convert to anime illustration and maintain shirt be pink, hair be brown" 的指令
   • 保持另一个带有固定前缀的 String 节点不变 - 这包含了让 ICEdit 正常工作的必要上下文
   • 工作流程将自动将您的指令与所需的前缀结合，以实现最佳的 ICEdit 处理
   
4. 运行 ICEdit 工作流程：
   • 上传图像并输入编辑指令后，点击 run 开始 ICEdit 处理
   • ICEdit 工作流程将通过多个处理阶段生成编辑后的图像

4. ICEdit 参数参考

ICEdit 参数设置：

1. Nunchaku FLUX.1 LoRA Loader for ICEdit：
   • lora_strength: 1.00-1.18（可调整 ICEdit 效果强度，1.18 提供最佳总体效果）
2. ICEdit KSamplerAdvanced 设置：
   • 第一个 KSampler：默认 30 步，euler 采样器，CFG 7
     • 调整 CFG：更高的值（8-15）更严格地遵循指令，较低的值（3-5）增加创造力
     • 调整步骤：更多步骤提高细节但增加处理时间
   • 第二个 KSampler：默认 25 步用于放大，带有 beta 调度器
   • 第三个 KSampler：默认 30 步，kl_optimal 采样器用于保留面部细节和纹理
     • 这些参数可以根据您的具体编辑需求进行调整
3. ICEdit 放大配置：
   • ICEdit 工作流程包括三种放大方法：
     • 基于模型的放大，使用像 2xNomosUni 这样的专用模型
     • ImageScaleBy 使用 lanczos 缩放进行细节增强
     • KL-optimal 采样用于高保真 ICEdit 还原（有助于保留面部特征）
   • 如果使用 4x 放大模型，考虑将缩放因子更改为 0.5，以防止在大型 ICEdit 结果中出现伪影
4. FluxGuidance 在 ICEdit 中：
   • ICEdit 工作流程在不同部分有多个 FluxGuidance 节点，控制指导强度
   • 风格转换 FluxGuidance：控制 ICEdit 风格转换如何紧密遵循您的指令
   • 图像编辑 FluxGuidance：右侧显示值为 4.0，平衡质量和 ICEdit 精度
   • 较高的值使 ICEdit 更精确地遵循指令，但可能影响图像质量
   • 较低的值提供更多的创造自由，但可能导致 ICEdit 结果不够精确
5. Redux 与 ICEdit 的集成（可选）：
   • ICEdit 工作流程包括 Redux 风格微调功能，但这是可选的
   • 使用 Redux 进行 ICEdit 风格转换时，您可以更改为 get_condition1，尽管结果可能有所不同

5. ICEdit 编辑任务示例

ICEdit 擅长多种编辑操作，包括：

• ICEdit 风格转换："Convert the image into anime illustration"
• ICEdit 颜色变化："Change the blue shirt to green"
• ICEdit 服装修改："Change the blue shirt to denim jacket"
• ICEdit 配饰添加："Add sunglasses", "This girl wears a white watch"
• ICEdit 配饰移除："Remove picture on the wall"
• ICEdit 背景更改："Girl is on the beach, colorful cloud in the sky"
• ICEdit 对象操控："Hand holding a durian"
• ICEdit 文本/水印操作："Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• ICEdit 多元素编辑："Convert to Ghibli style"

6. 提高 ICEdit 结果的高级技巧

ICEdit 提示工程：

• 在 ICEdit 指令中要具体和简洁
• 对于 ICEdit 风格转换，包含您希望保留的细节
• 使用清晰的描述性语言以获得最佳 ICEdit 结果
• 使用 ICEdit 更改背景时，具体说明位置

ICEdit 优化技巧：

• 如果遇到不满意的 ICEdit 结果，请尝试更改种子值（这对于成功至关重要）
• 对于复杂的 ICEdit 编辑，考虑将其分解为多个简单的编辑步骤
• 调整 lora_strength 以控制 ICEdit 效果的强度

处理 ICEdit 失败：

• ICEdit 最适用于真实照片；非真实感输入的结果可能会有所不同
• 使用 ICEdit 的对象移除任务的成功率低于添加或修改
• 如果 ICEdit 尝试失败，请尝试重新措辞指令或使用不同的种子

7. 致谢

这个工作流程基于由浙江大学和哈佛大学的 ReLER, CCAI 团队的 Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, 和 Yi Yang 开发的开创性 ICEdit 框架。特别感谢 judian17 提供的 和优化工作。

工作流程使用了专门适配的 ICEdit-MoE-LoRA 版本，其中专家层经过权重平均以实现兼容性，能够以最少的计算资源进行高质量的 ICEdit 处理。

有关 ICEdit 的更多信息，请访问：

• 项目页面: