Krea 2 Turbo インペインティング ComfyUI ワークフロー (LanPaint + Differential Diffusion)#
この Krea 2 Turbo インペインティング ComfyUI ワークフローは、Krea‑2 Turbo をオブジェクト置換とターゲット修正のための精密なローカルエディターに変えます。LanPaint のトレーニング不要なサンプラーとマスクされたノイズ注入、Differential Diffusion、自動 SAM ベースのマスキング、クロップ＆ステッチ合成を組み合わせて、選択した部分のみを再生成し、他のすべてを保持します。27 ノードの RunComfy 対応グラフは、エンドツーエンドで検証されており、テストではケース、針、照明をそのままにして、時計のフェイスを白いメカニカルバタフライにクリーンに置き換えました。
アーティスト、製品フォトグラファー、レタッチャーのために構築されたこのワークフローは、手描きのマスクまたは自動マスクのいずれかを受け入れ、クロップされた領域で集中生成パスを実行し、結果をシームレスなエッジで再結合します。その結果、迅速で制御可能で、元の写真と視覚的に一貫性のあるものになります。
Krea 2 Turbo インペインティング ComfyUI ワークフローの主要モデル#
- Krea‑2 Turbo。実際にマスクされた領域内に新しいコンテンツを合成するディフュージョンバックボーン。公式モデルカード: Krea‑2 Turbo on Hugging Face。プロジェクトリポジトリ: krea‑ai/krea‑2。
- Qwen Image VAE。ピクセル空間とマスクされたサンプリングが行われる潜在空間を移動するために使用されるオートエンコーダー。Krea‑2 アセットと共に配布: Comfy‑Org/Krea‑2。
- Qwen‑VL テキストエンコーダー。プロンプトを Krea‑2 Turbo の条件付けに変える言語エンコーダー。Krea‑2 スタックと共に提供されます。参考実装: QwenLM/Qwen2‑VL。
Krea 2 Turbo インペインティング ComfyUI ワークフローの使用方法#
高レベルでは、入力画像とマスクを提供します。グラフは少しのコンテキストで関心領域をクロップし、潜在を準備してマスクされた領域のみをノイズ化し、LanPaint サンプリングパスを1回実行してターゲットを再生成します。最後に、パッチを元のキャンバスにリサイズしてステッチし、オプションでアップスケールと並列比較を提供します。
モデル#
このグループは、ディフュージョンバックボーン、VAE、およびテキストエンコーダーをロードします。UNETLoader (#412) は Krea‑2 Turbo を導入し、VAELoader (#435) は Qwen Image VAE を提供し、CLIPLoader (#413) は Krea‑2 と共に出荷されるプロンプトエンコーダーをセットアップします。モデルバリアントを交換したい場合を除いて、ここで何かを変更する必要は通常ありません。
プロンプト#
CLIPTextEncode (#411) は、マスク内に生成する内容を書く場所です。編集指示をオブジェクトとスタイリングに特化し、マスクされていないコンテンツを保持するようモデルに明示的に指示してください。ConditioningZeroOut (#414) は、サンプラーがポジティブな指示に集中するように、クリーンなネガティブパスを提供します。
クロップ+リサイズ#
ソース画像を LoadImage (#200) にフィードします。入力に直接ペイントするか、SAM3Segment (#454) を使用して画像コンテンツからマスクを自動的に提案することでマスクを提供します。Switch mask [Crystools] (#453) は手動対自動を選択できます。CropByMask (#449) は選択した領域を分離し、後でステッチするためのクロップ座標をキャプチャします。ImageResizeKJv2 (#448) はジェネレーターに適した解像度にクロップを合わせ、GrowMaskWithBlur (#452) はマスクを柔らかく拡張し、編集後にエッジが自然にブレンドされるようにします。
画像生成#
VAEEncode (#436) はクロップされた画像を潜在に変換します。SetLatentNoiseMask (#430) はマスク内にのみノイズを注入し、マスクされていない潜在が元の状態に留まるようにします。DifferentialDiffusionAdvanced (#447) はマスクの更新をさらに制限し、周囲のピクセルのドリフトを減らします。LanPaint_KSampler (#440) はプロンプトに導かれてトレーニング不要なマスクされたサンプリングを実行し、再生成された潜在パッチを生成します。VAEDecode (#439) は結果をピクセルに戻して、検査と下流のステップに備えます。
ステッチ#
デコード後、ImageResizeKJv2 (#488) は編集されたパッチを元の画像の寸法に合わせ、保存された幅/高さを使用し、2 番目の GrowMaskWithBlur (#491) はエッジに優しい合成マスクを準備します。ImageCompositeMasked (#487) は、以前の x/y クロップ位置でパッチを元の位置にステッチし、グローバルな構図、照明、色を保持します。含まれる Image Comparer (rgthree) (#456) を使用して、品質管理のために前後をスライドさせることができます。
アップスケール (オプション)#
結果が素晴らしく、より高い詳細を望む場合は、合成出力を CR Upscale Image (#485) に送信します。これにより、再ディフュージョンせずに最終画像がアップスケールされ、速度が速く、構図が安定します。シャープネスの向上を確認するための 2 番目のコンペアラー (#480) が用意されています。
Krea 2 Turbo インペインティング ComfyUI ワークフローの主要ノード#
LanPaint_KSampler(#440)。トレーニング不要のインペインティングステップのコアで、テキストから画像へのモデルをローカライズされた編集に再利用します。マスクが許可する場所のみをサンプリングし、ポジティブな条件付けによって導かれます。指示に対する強い順守のためにサンプリングの努力を増やし、写真とのリアリズムを強化するために保守的なノイズ除去にバイアスをかけます。実装: scraed/LanPaint、論文: LanPaint (arXiv)。SetLatentNoiseMask(#430)。潜在空間でマスク内にのみノイズが適用されることを保証し、背景の潜在を元の画像に固定します。ターゲット外の意図しない変更がある場合、このステップを再確認し、マスクが変更すべき部分のみをカバーしていることを確認してください。DifferentialDiffusionAdvanced(#447)。更新ステップを制約し、マスクされていない領域がドリフトに抵抗するようにします。エッジ付近に小さなハローやトーンシフトが現れる場合、これを強く保持する方向に調整し、コンテキストが忠実に残るようにします。GrowMaskWithBlur(#452)。マスクを拡張し、オブジェクトの周囲の接触影や相互反射をキャプチャします。シームが見える場合、もう少し成長させてぼかしを追加し、編集が遠くに広がり過ぎる場合は成長を減らします。CropByMask(#449)。関心領域をクロップし、クロップの起点を記録します。これにより生成が迅速かつ集中し、後で正確な配置を駆動します。編集に十分なコンテキストが欠けている場合は、少しパディングを追加してモデルが隣接する表面や照明の手がかりを見られるようにします。ImageCompositeMasked(#487)。保存された座標を使用して編集されたパッチを元の位置に戻し、フルキャンバスを再構築します。エッジの柔らかさや位置ずれが見られる場合、クロップの起点と生成フェーズからの成長したマスクが一致していることを確認してください。SAM3Segment(#454)。入力画像から自動セグメンテーションマスクを生成します。迅速なスタートに便利で、必要に応じてブラシで微調整して、髪、スポーク、フィリグリーなどの難しい境界周辺を絞り込みます。
オプションの追加機能#
- シーンをアンカーするプロンプトを作成します。置換オブジェクトを正確に記述し、マスクされていないすべての詳細と元の照明、カメラアングル、スケールを保持するようにモデルに明示的に指示します。
- 接触影と反射をキャプチャするために、オブジェクトより少し大きなマスクで開始し、シームレスなエッジのために成長とぼかしを微調整します。
- パッチが「新しすぎる」または場違いに見える場合、サンプラーの攻撃性を減らすか、Differential Diffusion を強化して元の微細テクスチャをより多く保持します。
- 含まれる前後比較機能を使用して反復中に確認し、構図とリアリズムに満足したら一度だけアップスケールします。
- 各実行での再現性を最適にするために、マスクの境界、プロンプトの文言、クロップのパディングを微調整する際に同じシードを保持します。
参照と謝辞: Krea‑2 Turbo モデルカード Hugging Face、プロジェクトリポジトリ krea‑ai/krea‑2; LanPaint 実装 GitHub および論文 arXiv。
謝辞#
このワークフローは、以下の作品とリソースを実装し、構築します。我々は、Krea AI に Krea 2 プロジェクトと Krea 2 Turbo モデル、scraed に LanPaint ComfyUI 拡張機能を、LanPaint 著者に LanPaint 論文を提供していただいたことに感謝します。詳細については、下記のオリジナルのドキュメントとリポジトリを参照してください。
リソース#
- Altruistic_Tax1317/Krea2 インペインティングワークフロー
- ドキュメント / リリースノート: Reddit thread
- Krea AI/Krea 2
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Raw, krea/Krea-2-Turbo
- Krea/Krea-2-Turbo
- GitHub: krea-ai/krea-2
- Hugging Face: krea/Krea-2-Turbo
- scraed/LanPaint
- GitHub: scraed/LanPaint
- arXiv: arXiv:2502.03491
- LanPaint 著者/LanPaint (論文)
- arXiv: arXiv:2502.03491
注: 参照されたモデル、データセット、およびコードの使用は、著者およびメンテナーによって提供されたそれぞれのライセンスおよび条件に従います。
