何でも挿入 | リファレンスベースの画像編集

1. ComfyUI Insert Anythingとは何ですか？

ComfyUI Insert Anythingは、ByteDanceの強力なInsert Anything技術をComfyUI環境に導入します。Diffusion Transformer (DiT) アーキテクチャに基づいて構築されたこのInsert Anythingツールは、参照画像からターゲットシーンへの要素をシームレスに転送し、視覚的な調和を維持しつつ細部を保持します。

Insert Anythingのワークフローは、伝統的な画像編集ツールとは一線を画し、異なる画像間でオブジェクトや人物、衣服、顔を自然に統合し、優れたアイデンティティ保持を実現することで、Insert Anythingは多用途なソリューションとなります。

2. Insert Anythingの主な利点

• オールインワンソリューション: 単一の統一モデルを通じて、人物、オブジェクト、衣服、顔の挿入を処理
• 二重制御方法: マスクガイド選択またはテキストガイド説明のいずれかに基づいて動作
• ディテール保持: リファレンス画像からの独特な特徴とアイデンティティ要素を維持
• シームレスな統合: 挿入された要素がその周囲と調和して自然に見える結果を実現
• 高品質出力: 多様な編集シナリオで高解像度で一貫した結果を生成
• ComfyUI互換: 既存のComfyUIワークフローやプロジェクトとスムーズに統合

3. Insert Anythingの使用方法

3.1 基本的なInsert Anythingワークフロー設定

ステップバイステップのInsert Anythingプロセス:

1. Insert Anything用の画像を準備します:
   • Sourceセクションで: Insert Anythingが修正するターゲット画像をアップロードします（例: レーストラックのシーン）
   • Referenceセクションで: Insert Anythingが挿入する要素を含む画像をアップロードします（例: レースカー）
   • Insert Anythingシステムは、Segment Anything Model (SAM) を使用して自動的にマスクを生成します
2. Insert Anything用のCR Prompt Textノードにプロンプトを設定します:
   • 最初のプロンプト: リファレンス画像に何があるかを説明します（例: "race car"）
   • 2番目のプロンプト: Insert Anythingの挿入に関する詳細を指定します（例: "Race Car yellow and red"）
3. Insert Anythingのオプション調整:
   • 必要に応じてSrc_mask_optionとRef_mask_optionでマスクを微調整
   • Insert Anythingでより正確なオブジェクト検出のためにしきい値パラメータを調整
4. RunボタンをクリックしてInsert Anythingで画像を処理

3.2 Insert Anythingで作成できるもの

• 製品ショーケース: Insert Anythingを使用して製品を手持ちポーズやコンテキストシーンに挿入
• バーチャル試着: Insert Anythingで衣服アイテムを置き換え、自然なフィット感とドレープを維持
• アイデンティティ転送: Insert Anythingを適用して顔の特徴を交換し、自然な表情を保持
• シーン構成: Insert Anythingを利用して複雑な環境で大きなオブジェクト（車両など）を置き換える

3.3 Insert Anythingパラメータの理解

Insert Anythingのコアコンポーネント:

Insert Anything前処理:

• Insert Anything画像の準備と自動マスキングを管理
  • source_image: Insert Anything修正が必要なターゲット画像
  • ref_image: Insert Anythingが挿入する要素を持つリファレンス画像
  • source_mask/ref_mask: Insert Anything用に自動生成またはユーザー提供のマスク
  • iterations: より良いカバレッジのためのInsert Anythingマスク拡張を制御（デフォルト: 2）

Insert Anything推論:

• 実際のInsert Anything挿入プロセスを実行
  • seed: 挿入結果を再現可能にするか、Insert Anythingのバリエーションを変更するための値

Insert Anything用のセグメンテーションツール:

Insert AnythingとのSAM統合:

• LayerMask: Load SegmentAnything Models: Insert Anything用のオブジェクト検出システムを初期化
• LayerMask: SegmentAnythingUltra V3: Insert Anythingのマスキングプロセスを制御
  • threshold: Insert Anythingのマスク検出感度を調整（デフォルト: 0.30）
  • detail_erode/detail_dilate: Insert Anythingのマスク境界を微調整
  • process_detail: Insert Anythingの複雑なエッジ用の拡張処理を切り替え
  • max_megapixels: 大きなInsert Anything画像のメモリ使用量を管理

Insert Anythingのマスクコントロール:

• Src_mask_option/Ref_mask_option: Insert Anything用の自動（スケッチ）または手動（アップロード）マスキングを選択
• デフォルト設定は、Insert Anythingの自動検出でほとんどのケースでうまく機能します

3.4 完璧なInsert Anything結果のためのヒント

Insert Anythingのマスキング精度向上:

• Insert Anythingの自動マスキングの精度を高めるためにしきい値（デフォルト: 0.30）を調整
• Insert Anythingでマスクカバレッジを拡大する必要がある場合、iterationsパラメータを増やす
• 複雑なシナリオでは、Insert Anythingオプションノードを通じてカスタムマスクをアップロードしてみてください

Insert Anythingワークフローの最適化:

• Insert Anythingからのバリエーションを得るために異なるseed値を試してみる
• Insert Anythingで最高の結果を得るために高品質でよく照明された画像を提供
• Insert Anythingの統合をより自然にするために可能な限り画像の比率を一致させる

効果的なInsert Anythingプロンプト:

• Insert Anythingプロンプトを明確かつ具体的にして、何を挿入しているかを伝える
• 車両の場合、Insert Anythingプロンプトに色やタイプの情報を含める
• 顔の交換にInsert Anythingを使用する場合、「person」などの簡単な用語が最適なことが多い
• 衣服挿入の場合、挿入する衣服の種類と色をInsert Anythingプロンプトで説明

謝辞

このワークフローは、Insert Anythingを実装しており、元々はByteDanceによって開発され、「」という研究論文に記載されています。ComfyUI Insert Anythingの統合は、この技術のユーザーフレンドリーなインターフェースを提供します。革新的なInsert Anythingの作業に対する完全なクレジットは、元の著者に帰属します。