ICEdit | 高速 AI 画像編集 with Nunchaku

1. ComfyUI ICEdit ワークフローとは？

ComfyUI ICEdit-Nunchaku ワークフローは、革新的な In-Context Edit (ICEdit) フレームワークを Nunchaku 最適化と統合し、超高速画像編集を実現します。浙江大学とハーバード大学の研究者によって開発された ICEdit は、驚異的な効率で高品質の指示画像編集を可能にします。FLUX 拡散トランスフォーマーを基に構築され、ICEdit のインコンテキスト学習原則を活用して、このワークフローはアイデンティティ機能を保持しながら自然言語指示に基づいた柔軟な変更を可能にします。ICEdit ワークフローは、AI 画像編集の最適なソリューションを提供し、最小限の GPU リソースで正確な結果を提供します。

2. ComfyUI ICEdit の利点:

• 優れた効率性: ICEdit は、以前の方法に必要なトレーニングデータの 0.5% とパラメータの 1% で高品質の編集を達成します。
• 超高速パフォーマンス: ICEdit-Nunchaku の統合により、4GB VRAM しかないシステムでも高速編集が可能です。
• アイデンティティの保持: ICEdit は、スタイルや属性の大幅な変更を経ても被写体のアイデンティティを保持します。
• 自然言語指示: ICEdit の直感的な指示システムを使用して、簡単なテキストプロンプトで画像を編集します。
• マルチターン編集: ICEdit は、同じ画像に対する複雑な変換のための連続編集操作をサポートします。
• 高解像度出力: ICEdit ワークフローには、高品質の結果を得るための 3 つの異なるアップスケーリング方法が含まれています。

3. ICEdit を使用した画像編集

開始方法:

1. 画像入力:
   • ICEdit ワークフローの左下隅にあるメインの Load Image ノードを使用してソース画像をアップロードします
   • これは、ICEdit で編集したい画像の主要な入力です
   • ICEdit ワークフローは、画像を必要な寸法 (幅 512px) に自動的に処理します
   • 最良の ICEdit 結果を得るには、可能であれば正方形の画像を使用してください。非正方形の画像は処理中に中心トリミングされる場合があります
   • プロのヒント: ICEdit の成功率を高めるために、Load Image ノードを右クリックして「Open in MaskEditor」を選択し、編集したい領域の周りに手動でマスクを作成します
   
2. ICEdit でのマスクエディターの使用 (オプションですが推奨):
   • MaskEditor でブラシツールを使用して、ICEdit で変更したい特定の領域の周りにマスクを描画します
   • これにより、ICEdit の注意が画像の関連部分に向けられます
   • 正確な制御のために、さまざまなブラシ設定 (太さ、不透明度、硬さ) を使用します
   • カスタムマスクを ICEdit ワークフローに適用するには、終了時に「Save」をクリックします
   • このステップは、詳細または特定の変更のための ICEdit の成功率を大幅に向上させます
3. ICEdit の指示の入力:
   • ICEdit ワークフローの中央にある赤いハイライトのある String 入力ノードを見つけます
   • このフィールドに希望する ICEdit 指示を入力します
   • スタイル転送の場合は、「画像をジブリスタイルに変換」や「アニメイラストに変換し、シャツはピンク、髪は茶色に保つ」などの指示を入力するだけです
   • 固定されたプレフィックスを持つ他の String ノードを変更しないでください - これは、ICEdit が適切に機能するために必要なコンテキストを含んでいます
   • ワークフローは、最適な ICEdit 処理のために、指示と必要なプレフィックスを自動的に組み合わせます
   
4. ICEdit ワークフローの実行:
   • 画像をアップロードし、編集指示を入力した後、run をクリックして ICEdit 処理を開始します
   • ICEdit ワークフローは、いくつかの処理段階を通じて編集された画像を生成します

4. ICEdit のパラメータリファレンス

ICEdit パラメータ設定:

1. Nunchaku FLUX.1 LoRA Loader for ICEdit:
   • lora_strength: 1.00-1.18 (ICEdit 効果の強度を調整できます。1.18 が最良の全体的な結果を提供します)
2. ICEdit KSamplerAdvanced 設定:
   • 最初の KSampler: デフォルト 30 ステップ、euler サンプラー、CFG 7
     • CFG の調整: 高い値 (8-15) は指示をより厳密に従い、低い値 (3-5) は創造性を高めます
     • ステップの調整: ステップが多いほど詳細が向上しますが、処理時間が増加します
   • 2 番目の KSampler: デフォルト 25 ステップでアップスケーリング用のベータスケジューラー
   • 3 番目の KSampler: デフォルト 30 ステップ、kl_optimal サンプラーで顔の詳細とテクスチャを保持
     • これらのパラメータは、特定の編集ニーズに基づいて調整できます
3. ICEdit アップスケーリング構成:
   • ICEdit ワークフローには、3 つのアップスケーリング方法が含まれています:
     • 2xNomosUni などの専門モデルを使用したモデルベースのアップスケーリング
     • lanczos スケーリングによる詳細強化用の ImageScaleBy
     • 高忠実度 ICEdit 復元のための KL-optimal サンプリング (顔の特徴を保持するのに役立ちます)
   • 4x 拡大モデルを使用する場合、大きな ICEdit 結果のアーティファクトを防ぐためにスケーリングファクターを 0.5 に変更することを検討してください
4. FluxGuidance in ICEdit:
   • ICEdit ワークフローには、異なるセクションに複数の FluxGuidance ノードがあり、ガイダンスの強度を制御します
   • スタイル変換 FluxGuidance: ICEdit のスタイル転送が指示にどの程度厳密に従うかを制御します
   • 画像編集 FluxGuidance: 右側に品質と ICEdit の精度をバランスさせる 4.0 の値が表示されます
   • 高い値は ICEdit が指示により正確に従うようになりますが、画像品質に影響を与える可能性があります
   • 低い値はより多くの創造的自由を提供しますが、ICEdit の結果があまり正確でない可能性があります
5. Redux Integration with ICEdit (オプション):
   • ICEdit ワークフローには Redux スタイルの微調整機能が含まれていますが、これはオプションです
   • Redux を使用して ICEdit スタイル転送を行う場合、get_condition1 に変更することができますが、結果は異なる場合があります

5. ICEdit 編集タスクの例

ICEdit は、さまざまな編集操作に優れています。

• ICEdit を使用したスタイル転送: "画像をアニメイラストに変換"
• ICEdit を使用した色の変更: "青いシャツを緑に変える"
• ICEdit を使用した衣服の変更: "青いシャツをデニムジャケットに変える"
• ICEdit を通じたアクセサリーの追加: "サングラスを追加する", "この女の子は白い時計をしている"
• ICEdit を使用したアクセサリーの削除: "壁の絵を削除する"
• ICEdit を使用した背景の変更: "女の子はビーチにいて、空にはカラフルな雲がある"
• ICEdit を使用したオブジェクト操作: "手にドリアンを持っている"
• ICEdit を使用したテキスト/ウォーターマーク操作: "壁に青いウォーターマーク 'from me' を追加する", "テキスト 'from aha' を削除する"
• ICEdit を通じたマルチエレメント編集: "ジブリスタイルに変換"

6. より良い ICEdit 結果のための高度なヒント

ICEdit プロンプトエンジニアリング:

• ICEdit の指示は具体的かつ簡潔にしてください
• ICEdit スタイル転送では、保持したい詳細を含めてください
• 最良の ICEdit 結果を得るために、明確な説明的な言語を使用してください
• ICEdit で背景を変更する場合、配置について具体的に述べてください

ICEdit 最適化のヒント:

• 満足のいく ICEdit 結果が得られない場合は、シード値を変更してみてください (これは成功のために重要です)
• 複雑な ICEdit 編集の場合、複数のより簡単な編集ステップに分けてみてください
• ICEdit 効果の強度を制御するために lora_strength を調整してください

ICEdit の失敗の処理:

• ICEdit はリアルな写真で最もよく機能します。非写実的な入力では結果が異なる場合があります
• ICEdit を使用したオブジェクト削除タスクは、追加や変更よりも成功率が低いです
• ICEdit の試行が失敗した場合、指示を言い換えたり、異なるシードを使用してみてください

7. クレジットと謝辞

このワークフローは、浙江大学とハーバード大学の ReLER, CCAI の Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, Yi Yang によって開発された ICEdit によって動力を供給されています。ComfyUI との ICEdit 統合は、コミュニティの貢献を通じて可能になり、特に judian17 に感謝します。 と最適化作業に感謝します。

このワークフローは、専門家のレイヤーが互換性のために重み付け平均された特別に適応された ICEdit-MoE-LoRA バージョンを使用しており、最小限の計算リソースで高品質の ICEdit 処理を可能にしています。

ICEdit に関する追加情報は、以下をご覧ください:

• プロジェクトページ: