Qwen Image 2.1 Inpainting: No‑Offsetローカル編集ワークフローで、指示に基づく正確な変更を実現#
このComfyUIワークフローは、入力画像、ユーザーマスク、および明確な英語の指示を使用して、Qwen Image 2.1 Inpaintingによるターゲットローカル編集を提供します。作業画像とマスクを完全に一致させるオフセットなしの戦略を採用し、マスクされた領域内のみに潜在的ノイズを適用することで、周囲の構成を維持しながら、要求された変更にモデルが集中できるようにします。
ダイバー、カウボーイ、リネンシャツなどのローカル詳細を追加または置換するために使用します。デザインはリアルさとシーンの一貫性を強調し、オプションの参照画像を使用しますが、マスク外のピクセルが完全に一致する結果を保証するものではありません。忠実な挿入、自然な照明と接触影、マスク境界付近の最小限の付随的な変更を期待してください。
Comfyui Qwen Image 2.1 Inpaintingワークフローの主要モデル#
- Qwen-Image 2.1拡散モデル。指示に基づくインペイントとローカル編集を実行するコア画像生成器で、プロンプトと参照画像によって条件付けされます。モデルカード
- Qwen-Image 2.1 VAE。入力画像を潜在にエンコードし、編集された潜在をピクセルにデコードして、グローバルな外観と色空間を維持します。モデルカード
- Qwen-Image 2.1テキスト/画像エンコーダー。英語の編集指示とシーン参照を条件信号に変換し、拡散プロセスを要求された編集に導きます。モデルカード
Comfyui Qwen Image 2.1 Inpaintingワークフローの使用方法#
概要: 画像を提供し、変更する領域にマスクを塗り、簡潔な英語の指示を書きます。ワークフローはモデルのために画像をスケーリングし、オフセットなしでマスクを整列させ、編集が必要な箇所にのみノイズを生成し、プロンプトとオプションの参照画像をエンコードし、ノイズを除去して変更を実現し、並べて比較を保存します。
入力画像 + インペイントマスク (LoadImage (#11))#
作業画像とそのインペイントマスクをロードします。マスクは変更したい領域のみをカバーし、ブレンドのためにエッジ周辺に少しのバッファを持たせるべきです。柔らかいエッジは通常、よりクリーンなシームを生成します。モデルがターゲットの挿入または置換を優先するように、画像の残りはマスクしないでください。
編集指示 (英語) (Text (#165))#
追加または変更する内容、その出現場所、およびシーンに対する見た目を記述する明確で具体的な指示を書きます。スケール、ポーズ、視点、照明を写真に合わせるように言及してください。「家と海岸線を維持する」などの短い制約は、コンテキストを維持するのに役立ちます。否定的な表現はオプションですが、望ましくない属性からモデルを遠ざけることができます。
参照 2 – 元のシーン (LoadImage (#134))#
同じシーンの元の未編集ビューを保存参照として追加します。ワークフローはこれを使用して構成と照明を固定し、インペイントが自然にブレンドするようにします。カメラの視点とフレーミングを一致させることが最も効果的です。このステップはオプションですが、リアリズムのために推奨されます。
参照 3 – 元のシーン (LoadImage (#136))#
オプションで2つ目の元のシーン参照を追加します。複数の一貫した参照を提供することで、編集周辺の構造と色の安定性が向上します。同じレンズ、時刻、露出の画像を使用することをお勧めします。
画像とマスクのスケール (グループ)#
このグループは解像度を標準化し、オフセットのないアプローチでマスクの整列を保証します。画像はモデルに適したサイズにスケーリングされ、寸法を固定するためにVAEを経由し、その正確な寸法をGetImageSize (#132)がImageScale (#158)とResizeMask (#148)に供給することで、ピクセルとマスクが完璧に一致します。GrowMaskWithBlur (#128)は、ハードシームを減らすためにマスクを優しく拡張し、フェザーリングを行うことができます。最後に、SetLatentNoiseMask (#126)は、新鮮なノイズがマスクされた領域内のみに適用されることを保証し、あなたが描いた場所に編集を集中させます。
モデル (グループ)#
モデルコンポーネントがロードされ、あなたの指示と参照画像がエンコードされ、デノイズステップが実行されます。UNETLoader (#192)、VAELoader (#178)、およびCLIPLoader (#177)は、Qwen-Image 2.1モデルスイートを取り込みます。TextEncodeQwenImage21 (#191)は、プロンプトと参照を条件付けに変換し、KSamplerAdvanced (#193)は、SetLatentNoiseMask (#126)からのマスクされた潜在を使用してインペイントを実行します。VAEDecode (#194)は最終画像を返します。
比較と保存#
Image Comparer (rgthree) (#51)は、整列、照明、シーム品質を判断するのに役立つライブのビフォー/アフター表示を示します。SaveImage (#201)は、選択したプレフィックスを使用して結果をディスクに書き込み、迅速に反復し、整理されたバージョンを保持できるようにします。
Comfyui Qwen Image 2.1 Inpaintingワークフローの主要ノード#
TextEncodeQwenImage21 (#191)#
英語の指示と最大3つのシーン画像をQwen Image 2.1 Inpaintingの条件付けにエンコードします。追加または変更する内容にはpromptフィールドを使用し、避けるべき特性にはnegative_promptを使用します。resolution制御はモデルの内部作業スケールを設定し、32で割り切れる値を推奨します。高い値はグローバルな詳細を増やすことができますが、より多くのVRAMと時間を必要とするかもしれません。
SetLatentNoiseMask (#126)#
ノイズマスクを適用し、新しい信号が主に描いた領域内に導入され、強い背景保持でローカル編集を可能にします。シームレスな移行のために柔らかくフェザーリングされたマスクと組み合わせてください。マスクされていない領域は尊重されますが、ピクセルレベルで固定されていないため、エッジ近くの小さな付随的な変更が可能です。
GrowMaskWithBlur (#128)#
クリーンな境界のためにマスクを前処理します。少し拡張することで、新しいオブジェクト全体が編集可能ゾーン内にあることを確保し、ぼかしを追加してエッジをフェザーリングしてシームを最小限に抑えます。精度が重要な場合は拡張とぼかしを減らし、ブレンドが優先される場合はそれらを控えめに増やします。
KSamplerAdvanced (#193)#
マスクされた領域内で指示を実現するデノイズプロセスを実行します。速度と忠実度のバランスを取るためにステップとサンプラーを調整し、反復中に結果を再現するためにシードを設定します。ガイダンスが低いと挿入がより自然にブレンドされ、高いガイダンスはテキストへのより強い準拠を強制することができます。
ImageScaleToMaxDimension (#138)#
作業画像の長辺を設定し、詳細と計算コストの間の良好なトレードオフを実現します。大きな値はよりシャープな挿入をもたらしますが、メモリ使用量とレンダー時間を増やします。適度に開始し、より詳細が必要な場合にのみスケールアップします。
ResizeMask (#148)#
インペイントマスクを、以前に決定されたモデルの作業寸法に正確に一致するようにリサイズします。このオフセットなしの整列は、「マスクシフト」アーティファクトを防ぎ、描いた領域が画像ピクセルと完全に一致するようにします。
オプションの追加#
- 指示を簡潔かつ具体的に保つ: 何を、どこに、スケール、視点、照明、維持すべき要素。
- 小さなバッファと柔らかいエッジでマスクをデザインし、リアルな接地感を得るためにオブジェクトのフットプリント全体と接触影を含めます。
- より良い構成と色の安定性を得るために、特に複雑な背景の場合は、1つまたは2つの元のシーン参照を提供します。
- 32で割り切れる解像度を使用し、より多くの詳細が必要な場合は徐々に増やし、VRAMと時間に注意します。
- プロンプトやマスクの調整を比較する際に再現性を確保するためにシードをロックします。
- 頑固なシームには、移行ゾーンをカバーするよりタイトで柔らかいマスクで軽い2回目のパスを実行します。
このオフセットなしのComfyUIパイプラインは、Qwen Image 2.1 Inpaintingを日常のオブジェクト挿入とローカル置換のために実用的かつ予測可能にします。整列されたマスク、マスクされた潜在ノイズ、および参照に基づく条件付けにより、シーンのジオメトリと光に一致する信頼できる要素を追加できます。
謝辞#
このワークフローは、以下の作品とリソースを実装および構築しています。我々は、ワークフローソースのためのRunningHub、Qwen-Image-2.1モデルのためのQwen、および公式のローカル編集例のためのQwenの貢献とメンテナンスに感謝しています。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース#
- RunningHub/Workflow source
- Docs / Release Notes: Workflow source
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Official local editing examples
- Docs / Release Notes: Official local editing examples
注: 参照されたモデル、データセット、およびコードの使用は、それらの作成者およびメンテナーによって提供されるそれぞれのライセンスおよび条件に従う必要があります。