插入任何內容 | 基於參考的圖像編輯

1. 什麼是 ComfyUI Insert Anything？

ComfyUI Insert Anything 將 ByteDance 的強大 Insert Anything 技術帶入了 ComfyUI 環境。基於 Diffusion Transformer (DiT) 架構，這款 Insert Anything 工具使您能夠在保持視覺和諧和保留細節的同時，無縫地將參考圖像中的元素轉移到目標場景中。

Insert Anything 工作流程與傳統圖像編輯工具不同，允許對象、人物、服裝和面部在不同圖像之間的自然整合，具有顯著的身份保留，使 Insert Anything 成為一個多功能的解決方案。

2. Insert Anything 的主要優勢

• 一體化解決方案： 通過單一的統一模型處理多個任務（插入人物、物體、服裝、面部）
• 雙重控制方法： 根據您的需求，使用遮罩引導選擇或文本引導描述
• 細節保留： 維持參考圖像的獨特特徵和身份元素
• 無縫整合： 實現自然的結果，插入元素與其周圍環境和諧融合
• 質量輸出： 在不同的編輯場景中生成高分辨率、連貫的結果
• ComfyUI 兼容： 與您現有的 ComfyUI 工作流程和項目平滑集成

3. 如何使用 Insert Anything

3.1 基本 Insert Anything 工作流程設置

逐步的 Insert Anything 過程：

1. 為 Insert Anything 準備您的圖像：
   • 在 Source 部分：上傳您希望 Insert Anything 修改的目標圖像（例如賽道場景）
   • 在 Reference 部分：上傳包含您希望 Insert Anything 插入的元素的圖像（例如賽車）
   • Insert Anything 系統將自動生成遮罩，使用 Segment Anything Model (SAM)
2. 在 CR Prompt Text 節點中為 Insert Anything 設置您的提示：
   • 第一個提示：描述您的參考圖像中的內容（例如 "賽車"）
   • 第二個提示：指定有關 Insert Anything 插入的詳細信息（例如 "賽車黃色和紅色"）
3. 可選的 Insert Anything 調整：
   • 如果需要，使用 Src_mask_option 和 Ref_mask_option 精細調整遮罩
   • 調整閾值參數，以更精確地檢測 Insert Anything 中的對象
4. 單擊 Run 按鈕以使用 Insert Anything 處理您的圖像

3.2 使用 Insert Anything 可以創建什麼

• 產品展示： 使用 Insert Anything 將產品插入手持姿勢或上下文場景中
• 虛擬試穿： 讓 Insert Anything 替換服裝，保持自然的合身和垂墜感
• 身份轉移： 應用 Insert Anything 交換面部特徵，同時保留自然表情
• 場景合成： 利用 Insert Anything 在複雜環境中替換大型物體（如車輛）

3.3 理解 Insert Anything 參數

Insert Anything 的核心組件：

Insert Anything 預處理：

• 管理 Insert Anything 圖像準備和自動遮罩
  • source_image：需要 Insert Anything 修改的目標圖像
  • ref_image：包含 Insert Anything 要插入元素的參考圖像
  • source_mask/ref_mask：自動生成或用戶提供的 Insert Anything 遮罩
  • iterations：控制 Insert Anything 遮罩擴展以獲得更好的覆蓋（默認：2）

Insert Anything 推理：

• 執行實際的 Insert Anything 插入過程
  • seed：允許通過更改此值來獲得可重複的 Insert Anything 結果或變體

Insert Anything 的分割工具：

SAM 與 Insert Anything 的集成：

• LayerMask: Load SegmentAnything Models：初始化 Insert Anything 的對象檢測系統
• LayerMask: SegmentAnythingUltra V3：控制 Insert Anything 的遮罩過程
  • threshold：調整 Insert Anything 的遮罩檢測靈敏度（默認：0.30）
  • detail_erode/detail_dilate：微調 Insert Anything 中的遮罩邊界
  • process_detail：切換 Insert Anything 中複雜邊緣的增強處理
  • max_megapixels：管理大 Insert Anything 圖像的內存使用

Insert Anything 的遮罩控制：

• Src_mask_option/Ref_mask_option：選擇自動（草圖）或手動（上傳）的 Insert Anything 遮罩
• Insert Anything 的自動檢測在大多數情況下效果良好

3.4 完美 Insert Anything 結果的技巧

Insert Anything 遮罩精細化：

• 調整閾值值（默認：0.30）以獲得更精確的 Insert Anything 自動遮罩
• 當您需要 Insert Anything 擴展遮罩覆蓋時，增加 iterations 參數
• 對於複雜場景，嘗試通過 Insert Anything 選項節點上傳自定義遮罩

Insert Anything 工作流程優化：

• 嘗試使用不同的 seed 值來獲得 Insert Anything 的變體
• 提供高質量、光線良好的圖像以獲得最佳的 Insert Anything 結果
• 儘可能匹配圖像比例，以獲得更自然的 Insert Anything 整合

有效的 Insert Anything 提示：

• 保持 Insert Anything 提示清晰且具體說明您要插入的內容
• 對於車輛，在您的 Insert Anything 提示中包括顏色和類型信息
• 使用 Insert Anything 進行面部交換時，像 "人" 這樣的簡單術語通常效果最佳
• 對於服裝插入，請在您的 Insert Anything 提示中描述服裝類型和顏色

致謝

此工作流程實現了 Insert Anything，最初由 ByteDance 開發，如其研究論文 "Insert Anything: Image Insertion via In-Context Editing in DiT" 中所述。ComfyUI Insert Anything 集成為此技術提供了用户友好的界面。完全歸功於原作者的創新 Insert Anything 工作。