ICEdit | 使用Nunchaku的快速AI图像编辑

1. 什么是ComfyUI ICEdit工作流程？

ComfyUI ICEdit-Nunchaku工作流程整合了创新的In-Context Edit (ICEdit)框架与Nunchaku优化，实现超快图像编辑。由浙江大学和哈佛大学的研究人员开发，ICEdit实现了高质量的指令性图像编辑，效率非凡。基于FLUX扩散变压器，并利用ICEdit的上下文学习原则，该工作流程在允许基于自然语言指令进行灵活修改的同时，保留了身份特征。ICEdit工作流程代表了AI图像编辑的最佳解决方案，以最小的GPU资源提供精确的结果。

2. ComfyUI ICEdit的优势：

• 卓越的效率： ICEdit仅使用0.5%的训练数据和1%的参数即可实现高质量编辑。
• 超快性能： ICEdit-Nunchaku集成即便在仅有4GB VRAM的系统上也能实现高速编辑。
• 身份保留： ICEdit即便在显著风格或属性修改中也能保持主体身份。
• 自然语言指令： 使用简单的文本提示通过ICEdit的直观指令系统编辑图像。
• 多轮编辑： ICEdit支持对同一图像进行连续编辑操作，实现复杂转换。
• 高分辨率输出： ICEdit工作流程包括三种不同的放大方法，提供高质量结果。

3. 使用ICEdit进行图像编辑

入门：

1. 图像输入：
   • 使用ICEdit工作流程左下角的主要加载图像节点上传源图像
   • 这是您希望通过ICEdit编辑的图像的主要输入
   • ICEdit工作流程将自动将您的图像处理为所需尺寸（512px宽度）
   • 为获得最佳ICEdit效果，尽量使用正方形图像，因为非正方形图像可能在处理中被中心裁剪
   • 专业提示： 为提高ICEdit成功率，右键单击加载图像节点并选择"Open in MaskEditor"，手动在您希望编辑的区域创建遮罩
   
2. 使用Mask Editor与ICEdit（可选但推荐）：
   • 在MaskEditor中，使用刷子工具在您希望通过ICEdit修改的特定区域绘制遮罩
   • 这有助于将ICEdit的注意力引导到图像的相关部分
   • 使用不同的刷子设置（厚度、不透明度、硬度）进行精确控制
   • 完成后点击"保存"，将自定义遮罩应用于ICEdit工作流程
   • 这一步骤显著提高ICEdit在详细或特定更改中的成功率
3. 输入您的ICEdit指令：
   • 在ICEdit工作流程中心找到带红色高亮的字符串输入节点
   • 在此字段中输入您想要的ICEdit指令
   • 对于风格转换，只需输入诸如"将图像转换为宫崎骏风格"或"转换为动漫插图并保持衬衫为粉色，头发为棕色"
   • 保持其他字符串节点不变 - 这包含使ICEdit正常工作的所需上下文
   • 工作流程将自动将您的指令与所需前缀结合，以实现最佳ICEdit处理
   
4. 运行ICEdit工作流程：
   • 上传图像并输入编辑指令后，点击运行以启动ICEdit处理
   • ICEdit工作流程将通过多个处理阶段生成编辑后的图像

4. ICEdit参数参考

ICEdit参数设置：

1. Nunchaku FLUX.1 LoRA加载器用于ICEdit：
   • lora_strength：1.00-1.18（可调整ICEdit效果强度，1.18提供最佳整体效果）
2. ICEdit KSamplerAdvanced设置：
   • 第一个KSampler：默认30步，euler采样器，CFG 7
     • 调整CFG：较高值（8-15）更严格地遵循指令，较低值（3-5）增加创造性
     • 调整步骤：更多步骤提高细节但增加处理时间
   • 第二个KSampler：默认25步，用于放大，带beta调度器
   • 第三个KSampler：默认30步，kl_optimal采样器，用于保留面部细节和纹理
     • 这些参数可根据您的特定编辑需求进行调整
3. ICEdit放大配置：
   • ICEdit工作流程包括三种放大方法：
     • 基于模型的放大，使用像2xNomosUni这样的专业模型
     • ImageScaleBy用于细节增强，使用lanczos缩放
     • KL-optimal采样用于高保真ICEdit恢复（有助于保留面部特征）
   • 如果使用4x放大模型，考虑将缩放因子更改为0.5，以防止在大ICEdit结果中出现伪影
4. FluxGuidance在ICEdit中的应用：
   • ICEdit工作流程在不同部分有多个FluxGuidance节点，控制指导强度
   • 风格转换FluxGuidance：控制ICEdit风格转换如何紧密遵循您的指令
   • 图像编辑FluxGuidance：右侧显示值为4.0，平衡质量和ICEdit精度
   • 较高值使ICEdit更精确地遵循指令，但可能影响图像质量
   • 较低值提供更多创造自由，但可能导致ICEdit结果不够精确
5. Redux与ICEdit的集成（可选）：
   • ICEdit工作流程包括Redux风格微调功能，但它是可选的
   • 使用Redux进行ICEdit风格转换时，您可以更改为get_condition1，尽管结果可能会有所不同

5. ICEdit编辑任务示例

ICEdit擅长多种编辑操作，包括：

• ICEdit风格转换： "将图像转换为动漫插图"
• 使用ICEdit更改颜色： "将蓝色衬衫变为绿色"
• 通过ICEdit修改服装： "将蓝色衬衫变为牛仔夹克"
• 通过ICEdit添加配件： "添加太阳镜"，"这个女孩戴着白色手表"
• 通过ICEdit移除配件： "移除墙上的画"
• 使用ICEdit更改背景： "女孩在海滩上，天空中有彩云"
• 通过ICEdit操作对象： "手握榴莲"
• 使用ICEdit进行文本/水印操作： "在墙上添加蓝色水印'from me'"，"移除文本'from aha'"
• 通过ICEdit进行多元素编辑： "转换为宫崎骏风格"

6. 提高ICEdit结果的高级技巧

ICEdit提示工程：

• 在ICEdit指令中要具体且简洁
• 对于ICEdit风格转换，包含您希望保留的细节
• 使用清晰的描述性语言以获得最佳ICEdit结果
• 使用ICEdit更改背景时，明确说明位置

ICEdit优化提示：

• 如果遇到不满意的ICEdit结果，尝试更改种子值（这对成功至关重要）
• 对于复杂的ICEdit编辑，考虑将其分解为多个更简单的编辑步骤
• 调整lora_strength以控制ICEdit效果的强度

处理ICEdit失败：

• ICEdit在真实照片上效果最佳；在非写实输入上结果可能会有所不同
• 使用ICEdit删除对象的任务成功率低于添加或修改
• 如果ICEdit尝试失败，尝试重新措辞指令或使用不同的种子

7. 致谢与鸣谢

该工作流程由ICEdit提供支持，由浙江大学和哈佛大学的Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, 和 Yi Yang开发。通过社区贡献实现了ICEdit的ComfyUI集成，特别感谢judian17为和优化工作的贡献。

该工作流程使用特别适配的ICEdit-MoE-LoRA版本，其中专家层进行了权重平均以实现兼容性，使得在计算资源极少的情况下实现高质量的ICEdit处理。

有关ICEdit的更多信息，请访问：

• 项目页面：