任意挿入 | 参照ベースの画像編集

1. ComfyUI Insert Anythingとは何ですか？

ComfyUI Insert Anythingは、ByteDanceの強力なInsert Anything技術をComfyUI環境に導入します。Diffusion Transformer (DiT)アーキテクチャに基づいて構築されたこのInsert Anythingツールは、参照画像からターゲットシーンへの要素のシームレスな転送を可能にし、視覚的な調和を維持し、細部を保持します。

Insert Anythingワークフローは、伝統的な画像編集ツールとは異なり、異なる画像間でオブジェクト、人、衣服、顔を自然に統合することができ、Remarkableなアイデンティティ保持を実現します。

2. Insert Anythingの主な利点

• オールインワンソリューション: 単一の統一モデルを通じて複数のタスク（人、物、衣服、顔の挿入）を処理
• デュアルコントロールメソッド: ニーズに応じてマスクガイド選択またはテキストガイド記述で動作
• 細部の保持: 参照画像からの特徴とアイデンティティ要素を維持
• シームレスな統合: 挿入された要素がその周囲と調和して自然な見た目を実現
• 高品質出力: 多様な編集シナリオで高解像度で一貫性のある結果を生成
• ComfyUI互換: 既存のComfyUIワークフローとプロジェクトにスムーズに統合

3. Insert Anythingの使用方法

3.1 基本的なInsert Anythingワークフローセットアップ

ステップバイステップのInsert Anythingプロセス:

1. Insert Anything用の画像を準備:
   • Sourceセクションで: Insert Anythingが変更するターゲット画像をアップロード（例: レーストラックのシーン）
   • Referenceセクションで: Insert Anythingが挿入する要素を含む画像をアップロード（例: レースカー）
   • Insert Anythingシステムは、Segment Anything Model (SAM)を使用して自動的にマスクを生成
2. Insert Anything用のプロンプトをCR Prompt Textノードに設定:
   • 最初のプロンプト: 参照画像に何があるかを説明（例: "race car"）
   • 2番目のプロンプト: Insert Anything挿入に関する詳細を指定（例: "Race Car yellow and red"）
3. Insert Anythingのオプション調整:
   • 必要に応じてSrc_mask_optionとRef_mask_optionでマスキングを微調整
   • Insert Anythingでより正確なオブジェクト検出のためにしきい値パラメータを調整
4. Runボタンをクリックして、Insert Anythingで画像を処理

3.2 Insert Anythingで作成できるもの

• 製品ショーケース: Insert Anythingを使用して製品を手持ちのポーズやコンテキストシーンに挿入
• バーチャル試着: Insert Anythingで衣服アイテムを自然なフィット感とドレープを維持しながら交換
• アイデンティティ転送: Insert Anythingを適用して、自然な表情を維持しながら顔の特徴を交換
• シーン構成: Insert Anythingを利用して、大きなオブジェクト（例: 車両）を複雑な環境で置き換え

3.3 Insert Anythingパラメータの理解

Insert Anythingのコアコンポーネント:

Insert Anythingの前処理:

• Insert Anythingの画像準備と自動マスキングを管理
  • source_image: Insert Anything修正を必要とするターゲット画像
  • ref_image: Insert Anythingが挿入する要素を含む参照画像
  • source_mask/ref_mask: Insert Anything用の自動生成またはユーザー提供のマスク
  • iterations: Insert Anythingのマスク拡張を制御してカバレッジを向上（デフォルト: 2）

Insert Anything推論:

• 実際のInsert Anything挿入プロセスを実行
  • seed: Insert Anythingの結果を再現可能またはバリエーションを変更するためにこの値を変更

Insert Anythingのためのセグメンテーションツール:

Insert AnythingとSAMの統合:

• LayerMask: Load SegmentAnything Models: Insert Anything用のオブジェクト検出システムを初期化
• LayerMask: SegmentAnythingUltra V3: Insert Anythingのマスキングプロセスを制御
  • threshold: Insert Anythingのマスク検出感度を調整（デフォルト: 0.30）
  • detail_erode/detail_dilate: Insert Anythingでマスク境界を微調整
  • process_detail: Insert Anythingで複雑なエッジに対する強化処理を切り替え
  • max_megapixels: 大きなInsert Anything画像のメモリ使用量を管理

Insert Anythingのマスクコントロール:

• Src_mask_option/Ref_mask_option: Insert Anything用の自動（スケッチ）または手動（アップロード）マスキングを選択
• デフォルト設定は、Insert Anythingの自動検出でほとんどの場合にうまく動作

3.4 完璧なInsert Anything結果のためのヒント

Insert Anythingのマスキングの精緻化:

• Insert Anythingの自動マスキングのためにしきい値値（デフォルト: 0.30）を調整
• Insert Anythingがマスクカバレッジを拡張する必要がある場合は、iterationsパラメータを増やす
• 複雑なシナリオでは、Insert Anythingオプションノードを通じてカスタムマスクをアップロードしてみてください

Insert Anythingワークフローの最適化:

• Insert Anythingからのバリエーションを得るために異なるseed値を試してみてください
• 最高のInsert Anything結果を得るために高品質で明るい画像を提供
• Insert Anythingの統合をより自然にするために可能な限り画像の比率を合わせる

効果的なInsert Anythingプロンプト:

• Insert Anythingプロンプトを明確かつ具体的にして、挿入するものについて説明
• 車両の場合、Insert Anythingプロンプトに色とタイプ情報を含める
• 顔の交換にInsert Anythingを使用する場合、"person"のような単純な用語がしばしば最適
• 衣服の挿入の場合、Insert Anythingプロンプトで衣服のタイプと色を説明

謝辞

このワークフローは、Insert Anythingを実装しており、元の開発者であるByteDanceによって研究論文""で説明されています。ComfyUI Insert Anythingの統合は、この技術のユーザーフレンドリーなインターフェースを提供します。革新的なInsert Anythingの作業に対する全てのクレジットは元の著者に帰属します。