ICEdit | Nunchaku での高速 AI イメージ編集

1. ComfyUI ICEdit ワークフローとは？

ComfyUI ICEdit-Nunchaku ワークフローは、革新的な In-Context Edit (ICEdit) フレームワークを Nunchaku 最適化と統合し、超高速の画像編集を実現します。Zhejiang University と Harvard University の研究者によって開発された ICEdit は、驚異的な効率で高品質の指示型画像編集を可能にします。FLUX diffusion transformer を基盤とし、ICEdit のインコンテキスト学習原則を活用するこのワークフローは、自然言語指示に基づいて柔軟な修正を可能にしながら、アイデンティティの特徴を保持します。ICEdit ワークフローは、AI イメージ編集に最適なソリューションを提供し、最小限の GPU リソースで正確な結果を提供します。

2. ComfyUI ICEdit の利点:

• 驚異的な効率: ICEdit は、従来の方法が必要とするトレーニングデータのわずか 0.5% と 1% のパラメータで高品質の編集を実現します。
• 超高速パフォーマンス: ICEdit-Nunchaku 統合により、4GB VRAM のシステムでも高速編集が可能です。
• アイデンティティの保持: ICEdit は、スタイルや属性の大幅な変更を経てもサブジェクトのアイデンティティを保持します。
• 自然言語指示: ICEdit の直感的な指示システムを使用して、簡単なテキストプロンプトで画像を編集します。
• マルチターン編集: ICEdit は、同じ画像に対する複雑な変換のための連続編集操作をサポートします。
• 高解像度出力: ICEdit ワークフローには、高品質の結果を得るための 3 つの異なるアップスケーリング方法が含まれています。

3. ICEdit を使用した画像編集

始めに:

1. 画像入力:
   • ICEdit ワークフローの左下にあるメインの Load Image ノードを使用してソース画像をアップロードします
   • これは、ICEdit で編集したい画像の主な入力です
   • ICEdit ワークフローは、画像を必要な寸法（幅 512px）に自動的に処理します
   • 可能であれば正方形の画像を使用すると、ICEdit の結果が最も良くなります。非正方形の画像は処理中に中央で切り取られる可能性があります
   • プロのヒント: ICEdit の成功率を高めるために、Load Image ノードを右クリックし、「Open in MaskEditor」を選択して編集したい領域のマスクを手動で作成します
   
2. ICEdit でのマスクエディターの使用（オプションですが推奨）:
   • MaskEditor でブラシツールを使用して、ICEdit で修正したい特定の領域の周りにマスクを描画します
   • これにより、ICEdit の注目が画像の関連部分に向けられます
   • 正確な制御のために異なるブラシ設定（太さ、不透明度、硬さ）を使用します
   • 終了したら「Save」をクリックして、カスタムマスクを ICEdit ワークフローに適用します
   • このステップは、詳細または特定の変更に対する ICEdit の成功率を大幅に向上させます
3. ICEdit 指示の入力:
   • ICEdit ワークフローの中央にある赤いハイライトの付いた String 入力ノードを見つけます
   • このフィールドに望む ICEdit 指示を入力します
   • スタイル転送の場合、単に "Convert the image into Ghibli style" や "Convert to anime illustration and maintain shirt be pink, hair be brown" のように指示を入力します
   • 固定プレフィックスを持つ他の String ノードは変更しないでください - これは ICEdit が正しく機能するために必要なコンテキストを含んでいます
   • ワークフローは、最適な ICEdit 処理のために指示と必要なプレフィックスを自動的に結合します
   
4. ICEdit ワークフローの実行:
   • 画像をアップロードし、編集指示を入力した後、run をクリックして ICEdit 処理を開始します
   • ICEdit ワークフローは、いくつかの処理段階を経て編集された画像を生成します

4. ICEdit のパラメータ参照

ICEdit パラメータ設定:

1. ICEdit 用 Nunchaku FLUX.1 LoRA Loader:
   • lora_strength: 1.00-1.18（ICEdit 効果の強度を調整可能で、1.18 が全体的に最良の結果を提供）
2. ICEdit KSamplerAdvanced 設定:
   • 最初の KSampler: デフォルト 30 ステップ、euler sampler、CFG 7
     • CFG の調整: 高い値 (8-15) は指示に厳密に従い、低い値 (3-5) は創造性を高めます
     • ステップの調整: ステップが多いほど詳細が向上しますが、処理時間が増加します
   • 第二の KSampler: デフォルト 25 ステップで、ベータスケジューラによるアップスケーリング
   • 第三の KSampler: デフォルト 30 ステップ、kl_optimal sampler で顔の詳細と質感を保持
     • これらのパラメータは、特定の編集ニーズに基づいて調整可能です
3. ICEdit アップスケーリング構成:
   • ICEdit ワークフローには、3 つのアップスケーリング方法が含まれています:
     • 2xNomosUni のような専門モデルを使用したモデルベースのアップスケーリング
     • lanczos スケーリングによる詳細強化のための ImageScaleBy
     • 高忠実度の ICEdit 復元のための KL-optimal sampling (顔の特徴を保持するのに役立ちます)
   • 4x 拡大モデルを使用する場合、大きな ICEdit 結果のアーティファクトを防ぐためにスケーリングファクターを 0.5 に変更することを検討してください
4. ICEdit の FluxGuidance:
   • ICEdit ワークフローには、異なるセクションに複数の FluxGuidance ノードがあり、ガイダンスの強度を制御します
   • スタイル変換 FluxGuidance: ICEdit スタイル転送が指示にどれだけ忠実に従うかを制御します
   • 画像編集 FluxGuidance: 右側に 4.0 の値が表示され、品質と ICEdit の精度のバランスを取ります
   • 高い値は ICEdit が指示により厳密に従いますが、画像の品質に影響を与える可能性があります
   • 低い値はより多くの創造的自由を提供しますが、ICEdit の結果がより精度が低くなる可能性があります
5. ICEdit での Redux 統合 (オプション):
   • ICEdit ワークフローには、Redux スタイルの微調整機能が含まれていますが、これはオプションです
   • ICEdit スタイル転送で Redux を使用する場合、get_condition1 に変更することができますが、結果は異なる場合があります

5. ICEdit 編集タスクの例

ICEdit は、さまざまな編集操作に優れています。例:

• ICEdit を使用したスタイル転送: "Convert the image into anime illustration"
• ICEdit を使用した色変更: "Change the blue shirt to green"
• ICEdit を使用した衣服の変更: "Change the blue shirt to denim jacket"
• ICEdit を使用したアクセサリーの追加: "Add sunglasses", "This girl wears a white watch"
• ICEdit を使用したアクセサリーの削除: "Remove picture on the wall"
• ICEdit を使用した背景の変更: "Girl is on the beach, colorful cloud in the sky"
• ICEdit を使用したオブジェクト操作: "Hand holding a durian"
• ICEdit を使用したテキスト/ウォーターマーク操作: "Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• ICEdit を使用したマルチエレメント編集: "Convert to Ghibli style"

6. より良い ICEdit 結果のための高度なヒント

ICEdit プロンプトエンジニアリング:

• ICEdit 指示を具体的かつ簡潔にする
• ICEdit スタイル転送では、保持したい詳細を含める
• 最良の ICEdit 結果を得るために明確で詳細な言語を使用する
• ICEdit で背景を変更する場合、配置について具体的にする

ICEdit 最適化のヒント:

• 満足できない ICEdit 結果が出た場合、シード値を変更してみる（これは成功のために重要です）
• 複雑な ICEdit 編集の場合、複数の簡単な編集ステップに分けることを検討する
• ICEdit 効果の強度を制御するために lora_strength を調整する

ICEdit 失敗の処理:

• ICEdit は現実的な写真で最も効果的に機能します。非写実的な入力では結果が異なる場合があります
• ICEdit を使用したオブジェクト削除タスクは、追加や修正に比べて成功率が低いです
• ICEdit の試みが失敗した場合、指示を言い換えるか、別のシードを使用してみてください

7. クレジットと謝辞

このワークフローは、ReLER, CCAI, Zhejiang University と Harvard University の Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, and Yi Yang によって開発された ICEdit によって支えられています。ICEdit の ComfyUI 統合は、コミュニティの貢献により可能になり、judian17 に特に感謝します。Nunchaku 互換の ICEdit バージョンと最適化作業に関しては、 への感謝を示します。

このワークフローは、専門家の層が互換性のために重み平均された特別に適応された ICEdit-MoE-LoRA バージョンを使用しており、最小限の計算リソースで高品質の ICEdit 処理を可能にします。

ICEdit に関する追加情報については、以下を訪問してください:

• プロジェクトページ: