插入任何内容 | 基于参考的图像编辑

1. 什么是ComfyUI Insert Anything？

ComfyUI Insert Anything将字节跳动的强大Insert Anything技术引入ComfyUI环境。基于Diffusion Transformer (DiT)架构，这款Insert Anything工具能够在保持视觉和谐和保留细节的同时，将参考图像中的元素无缝转移到目标场景中。

Insert Anything工作流程区别于传统图像编辑工具，允许在不同图像之间自然整合物体、人物、服装和面部，具有显著的身份保留，使Insert Anything成为多功能解决方案。

2. Insert Anything的主要优势

• 一体化解决方案： 通过单一的统一模型处理多个任务（插入人物、物体、服装、面部）
• 双重控制方法： 根据需要可使用蒙版指导选择或文本指导描述
• 细节保留： 维护参考图像中的独特特征和身份元素
• 无缝集成： 实现自然的结果，插入元素与其环境和谐融合
• 高质量输出： 在多样的编辑场景中生成高分辨率、一致的结果
• ComfyUI兼容： 与现有ComfyUI工作流程和项目平滑集成

3. 如何使用Insert Anything

3.1 基本Insert Anything工作流程设置

Insert Anything步骤：

1. 准备Insert Anything的图像：
   • 在Source部分：上传您希望Insert Anything修改的目标图像（例如，赛道场景）
   • 在Reference部分：上传包含您希望Insert Anything插入的元素的图像（例如，赛车）
   • Insert Anything系统将自动使用Segment Anything Model (SAM)生成蒙版
2. 在Insert Anything的CR Prompt Text节点中设置提示：
   • 第一个提示：描述您的参考图像中有什么（例如，“赛车”）
   • 第二个提示：指定有关Insert Anything插入的细节（例如，“黄色和红色的赛车”）
3. 可选的Insert Anything调整：
   • 如有需要，通过Src_mask_option和Ref_mask_option微调蒙版
   • 调整阈值参数以便Insert Anything进行更精确的物体检测
4. 点击Run按钮，使用Insert Anything处理您的图像

3.2 使用Insert Anything可以创建什么

• 产品展示： 使用Insert Anything将产品插入手持姿势或情境场景
• 虚拟试穿： 让Insert Anything替换服装项目，同时保持自然的贴合和垂坠
• 身份转移： 应用Insert Anything交换面部特征，同时保留自然表情
• 场景合成： 利用Insert Anything在复杂环境中替换大型物体（如车辆）

3.3 理解Insert Anything参数

Insert Anything的核心组件：

Insert Anything预处理：

• 管理Insert Anything图像准备和自动蒙版
  • source_image: 需要Insert Anything修改的目标图像
  • ref_image: 包含Insert Anything要插入元素的参考图像
  • source_mask/ref_mask: 自动生成或用户提供的Insert Anything蒙版
  • iterations: 控制Insert Anything蒙版扩展以获得更好覆盖（默认值：2）

Insert Anything推理：

• 执行实际的Insert Anything插入过程
  • seed: 允许通过更改此值来获得可重复的Insert Anything结果或变体

Insert Anything的分割工具：

SAM与Insert Anything的集成：

• LayerMask: Load SegmentAnything Models: 初始化Insert Anything的物体检测系统
• LayerMask: SegmentAnythingUltra V3: 控制Insert Anything的蒙版过程
  • threshold: 调整Insert Anything蒙版检测敏感度（默认值：0.30）
  • detail_erode/detail_dilate: 微调Insert Anything的蒙版边界
  • process_detail: 切换Insert Anything复杂边缘的增强处理
  • max_megapixels: 管理大型Insert Anything图像的内存使用

Insert Anything蒙版控制：

• Src_mask_option/Ref_mask_option: 在自动（草图）或手动（上传）蒙版之间选择Insert Anything
• 默认设置在大多数情况下适用于Insert Anything的自动检测

3.4 完美Insert Anything结果的提示

Insert Anything蒙版优化：

• 调整阈值（默认值：0.30）以获得更精确的Insert Anything自动蒙版
• 当需要Insert Anything扩展蒙版覆盖时，增加iterations参数
• 对于复杂情况，尝试通过Insert Anything选项节点上传自定义蒙版

Insert Anything工作流程优化：

• 试验不同的seed值以从Insert Anything获得变体
• 提供高质量、光线良好的图像以获得最佳Insert Anything结果
• 尽可能匹配图像比例以实现更自然的Insert Anything集成

有效的Insert Anything提示：

• 保持Insert Anything提示清晰具体，说明您正在插入的内容
• 对于车辆，在Insert Anything提示中包括颜色和类型信息
• 使用Insert Anything进行面部交换时，像“person”这样的简单术语通常效果最佳
• 进行服装插入时，在Insert Anything提示中描述服装类型和颜色

致谢

此工作流程实现了Insert Anything，最初由字节跳动开发，如其研究论文“”中所述。ComfyUI Insert Anything集成为此技术提供了用户友好的界面。全额信用归于原作者的创新Insert Anything工作。