Insert Anything | 基于参考的图像编辑

1. 什么是ComfyUI Insert Anything？

ComfyUI Insert Anything将ByteDance的强大Insert Anything技术引入到ComfyUI环境中。基于Diffusion Transformer (DiT)架构，这个Insert Anything工具使您能够在保持视觉和谐和保留细节的情况下，将参考图像中的元素无缝转移到目标场景中。

Insert Anything工作流程与传统图像编辑工具不同，允许对象、人物、服装和面部在不同图像之间自然整合，具有显著的身份保留能力，使Insert Anything成为多功能的解决方案。

2. Insert Anything的关键优势

• 一体化解决方案： 通过一个统一的模型处理多个任务（插入人物、对象、服装、面部）
• 双重控制方法： 根据需要使用遮罩引导选择或文本引导描述
• 细节保留： 维持参考图像中独特的特征和身份元素
• 无缝整合： 实现自然的结果，使插入元素与其周围环境和谐融合
• 高质量输出： 在多样的编辑场景中生成高分辨率、一致的结果
• ComfyUI兼容： 顺利整合到您现有的ComfyUI工作流程和项目中

3. 如何使用Insert Anything

3.1 基本Insert Anything工作流程设置

Insert Anything过程的逐步指南：

1. 准备您的图像以使用Insert Anything：
   • 在Source部分：上传您希望Insert Anything修改的目标图像（例如，赛道场景）
   • 在Reference部分：上传包含您想让Insert Anything插入的元素的图像（例如，赛车）
   • Insert Anything系统将自动使用Segment Anything Model (SAM)生成遮罩
2. 在CR Prompt Text节点中为Insert Anything设置提示：
   • 第一个提示：描述您的参考图像中是什么（例如，"赛车"）
   • 第二个提示：具体说明Insert Anything插入的细节（例如，"黄色和红色的赛车"）
3. 可选的Insert Anything调整：
   • 如有需要，用Src_mask_option和Ref_mask_option微调遮罩
   • 调整阈值参数以获得更精确的Insert Anything对象检测
4. 点击Run按钮以使用Insert Anything处理您的图像

3.2 使用Insert Anything可以创建的内容

• 产品展示： 使用Insert Anything将产品插入手持姿势或背景场景中
• 虚拟试穿： 让Insert Anything替换服装项目，同时保持自然的合身和褶皱
• 身份转移： 使用Insert Anything交换面部特征，同时保留自然表情
• 场景合成： 使用Insert Anything在复杂环境中替换大型物体（如车辆）

3.3 了解Insert Anything参数

核心Insert Anything组件：

Insert Anything预处理：

• 管理Insert Anything图像准备和自动遮罩
  • source_image: 您需要Insert Anything修改的目标图像
  • ref_image: 您的参考图像，其中包含Insert Anything要插入的元素
  • source_mask/ref_mask: 为Insert Anything自动生成或用户提供的遮罩
  • iterations: 控制Insert Anything遮罩扩展以获得更好覆盖（默认值：2）

Insert Anything推理：

• 执行实际的Insert Anything插入过程
  • seed: 允许通过更改此值来生成可重现的Insert Anything结果或变体

Insert Anything的分割工具：

Insert Anything中的SAM集成：

• LayerMask: Load SegmentAnything Models: 初始化Insert Anything的对象检测系统
• LayerMask: SegmentAnythingUltra V3: 控制Insert Anything的遮罩过程
  • threshold: 调整Insert Anything的遮罩检测灵敏度（默认值：0.30）
  • detail_erode/detail_dilate: 微调Insert Anything中的遮罩边界
  • process_detail: 切换Insert Anything中复杂边缘的增强处理
  • max_megapixels: 管理Insert Anything大型图像的内存使用

Insert Anything遮罩控制：

• Src_mask_option/Ref_mask_option: 在自动（草图）或手动（上传）遮罩之间选择Insert Anything
• 默认设置在大多数情况下可以很好地与Insert Anything的自动检测配合使用

3.4 完美Insert Anything结果的提示

Insert Anything遮罩精细化：

• 调整阈值（默认值：0.30）以获得更精确的Insert Anything自动遮罩
• 增加iterations参数，当您需要Insert Anything扩展遮罩覆盖时
• 对于复杂的场景，尝试通过Insert Anything选项节点上传自定义遮罩

Insert Anything工作流程优化：

• 通过不同的seed值实验以获得Insert Anything的变化
• 提供高质量、光线良好的图像以获得最佳的Insert Anything结果
• 尽可能匹配图像比例以获得更自然的Insert Anything整合

有效的Insert Anything提示：

• 将Insert Anything提示保持清晰且具体，以说明您正在插入的内容
• 对于车辆，在Insert Anything提示中包括颜色和类型信息
• 当使用Insert Anything进行面部交换时，简单的术语如"人物"通常效果最佳
• 用Insert Anything插入服装时，在提示中描述服装类型和颜色

致谢

该工作流程实现了Insert Anything，最初由ByteDance开发，如其研究论文""中所述。ComfyUI Insert Anything集成为此技术提供了用户友好的界面。所有创新的Insert Anything工作均归功于原作者。