JoyAI Image Edit ComfyUI: 構造を保持する指示ガイド付き画像編集
このワークフローは、ComfyUI内で直接1つの参照画像に対して迅速な指示ガイド付き編集を提供します。JoyAI-Image-Editスタックに基づいて構築されており、プロンプト駆動の変更（オブジェクトや色の交換、空間調整、クリーンなテキストレンダリングなど）を実行しながら、ソース構成をそのままに保ちます。JoyAI Image Edit ComfyUIは、手動のマスキングなしで制御された編集を必要とするデザイナー、製品チーム、およびクリエイターに最適です。
1つの画像と「プレートを青にする」というような短い指示を提供します。このワークフローは、そのリクエストをJoyAI Image Editトランスフォーマー、テキストエンコーダー、およびVAEを通じてルーティングし、レイアウトとコンテンツの境界を尊重する編集済み画像を返します。予測可能な結果と再現性に焦点を当てたコンパクトでモデル特定のComfyUIセットアップです。
Comfyui JoyAI Image Edit ComfyUIワークフローの主要モデル
- JoyAI-Image-Editトランスフォーマー。あなたの指示と参照画像に基づいて構造を保持する変更を生成するコア編集モデル。モデルカード: jdopensource/JoyAI-Image-Edit。
- JoyAI-Image-Editテキストエンコーダーとトークナイザー。トランスフォーマーが従うことができる埋め込みに編集指示をエンコードします。実装と使用法はJoyAI Imageコードベースにあります: jd-opensource/JoyAI-Image。
- JoyAI Image Edit用VAE。編集とデコードのために画像を圧縮および再構築し、色の忠実度と詳細の保持に貢献します。このワークフローはJoyAIスタックにバンドルされたWan 2.1 VAEチェックポイントを参照します。
Comfyui JoyAI Image Edit ComfyUIワークフローの使用方法
パイプラインは左から右に流れます: ソース画像をロードし、指示を書き、JoyAIスタックをロードし、編集を実行し、保存します。典型的な編集にはマスクは必要なく、ワークフローは再現性のある結果を目指しています。
- ソース画像の準備
LoadImage(#6)で参照をロードします。最良の結果を得るために清潔でよく照らされた画像を使用し、被写体を適度に中央に保ちます。フレーミングを正確に保持したい場合は、キャンバスサイズを後で変更するのではなく、ソースを事前にトリミングしてください。このワークフローはこの画像を直接編集ステージに渡し、その構造が結果をアンカーします。
- 編集指示を書く
Prompt(#4)にリクエストを入力し、オプションでNegative Prompt(#5)で除外を定義します。指示は短く、具体的で実行可能に保ちます。例えば「マグを赤くする」、「空を夕焼けに置き換える」、または「ノートにJOYAIというテキストを追加する」。ネガティブプロンプトは不要な色、オブジェクト、またはスタイルを避けるのに役立ちます。JoyAI Image Edit ComfyUIは、元のレイアウトの一貫性を保持しながら、指示を尊重します。
- JoyAIスタックをロードする
- モデルコンポーネントは
JoyAIImageEditTransformerLoader(#1)、JoyAIImageEditTextEncoderLoader(#2)、およびJoyAIImageEditVAELoader(#3)によってロードされます。これらのノードは、トランスフォーマーの重み、テキストエンコーダーとトークナイザー、および画像のエンコードとデコードを管理するVAEをフェッチします。通常、見た目や動作を変えるためにチェックポイントを交換しない限り、これらを変更する必要はありません。このトリオを一貫して保つことで、指示の意味、ジオメトリ、色空間が安定します。
- モデルコンポーネントは
- 編集を実行する
JoyAIImageEditPipeline(#7)は、ソース画像と指示の埋め込みを融合させ、編集済みの結果を生成します。パイプラインは、指示の強さと構造の忠実度を調整し、オブジェクトが要求されたまま属性を変更できるようにします。再現性のために固定されたシードを使用するか、バリエーションを探索するためにシードを切り替えます。より鮮明な文字や細かいエッジが必要な場合は、サンプラーの品質設定を増やし、ソースのサイズに対して画像サイズを合理的に保ちます。
- 保存とレビュー
SaveImage(#8)は編集済み出力を書き込みます。バージョン付きの名前を使用して並行して実行を比較し、ファイル名またはメモにシードを保持してお気に入りの結果を再現できるようにします。反復する際は、一度に1つのコントロールのみを調整して、はっきりとした因果関係を確認します。
Comfyui JoyAI Image Edit ComfyUIワークフローの主要ノード
JoyAIImageEditPipeline(#7)- JoyAIトランスフォーマー、テキストエンコーダー、およびVAEを使用して参照画像に指示を適用する中央のオーケストレーター。まず
promptとnegative_promptを調整します。決定論的な再実行のために固定されたseedを使用し、代替案を探索するためにそれを変動させます。指示の強さとサンプリング品質をバランスさせ、速度と忠実度をトレードオフし、出力寸法をソースのアスペクト比に近づけてレイアウトを保持します。
- JoyAIトランスフォーマー、テキストエンコーダー、およびVAEを使用して参照画像に指示を適用する中央のオーケストレーター。まず
JoyAIImageEditTransformerLoader(#1)- テキストをどれだけ強くきれいに編集が追従するかを決定するJoyAI-Image-Editトランスフォーマーチェックポイントをロードします。この重みを交換することでスタイルと応答性を大きく変えることができます。同じリリースファミリーからのトランスフォーマーとテキストエンコーダーをペアにして、埋め込みの不一致を避けます。
JoyAIImageEditTextEncoderLoader(#2)- あなたの指示をモデル読み取り可能な埋め込みに翻訳するテキストエンコーダーとトークナイザーを提供します。明確で簡潔な表現は埋め込み品質を向上させます。精度設定はVRAM使用量と速度に影響を与える可能性があるので、あなたのハードウェアとバッチサイズに合ったモードを選択してください。
JoyAIImageEditVAELoader(#3)- 編集の周りで画像がどのようにエンコードおよびデコードされるかを管理するVAEをロードします。異なるVAEは色とコントラストを微妙にシフトさせる可能性があるので、プロンプトを評価するときは実験全体でこれを一貫して保ちます。VAEを変更した場合は、色の表現を再バランスするためにプロンプトを再検討してください。
オプションのエクストラ
- プロンプトクラフト
- 「プレートを青にする」のような単一で明確なアクションを複数のステップを含む段落よりも好んでください。目に見えるオブジェクトを正確に名付け、属性を編集するときは単数名詞を使用してください。空間編集の場合は、「テーブルの上」、「背景に」、「壁に」のように前置詞でリクエストを基礎づけます。
- 解像度と構成
- 幾何学を維持するためにソースのアスペクト比を保持してください。極端な編集解像度を押し進めるのではなく、編集後にアップスケールすることでより大きな納品物が必要な場合に対応します。
- 再現性
- プロンプトのバリエーションを比較するときは固定されたシードを使用し、満足したらシードを解除して代替案をサンプルします。
- 参照とソース
- モデルカードと重み: jdopensource/JoyAI-Image-Edit
- 実装の詳細と更新: jd-opensource/JoyAI-Image
- このプロジェクトで使用されているComfyUIグラフテンプレート: joyai_image_comfyui
謝辞
このワークフローは以下の作品とリソースを実装および基にしています。JoyAI-Imageリポジトリのためのjd-opensource、JoyAI-Image ComfyUIワークフローのためのjd-opensource、およびJoyAI-Image-Editモデルのためのjdopensourceに感謝いたします。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース
- jd-opensource/JoyAI-Image
- GitHub: jd-opensource/JoyAI-Image
- jd-opensource/joyai_image_comfyui
- GitHub: jd-opensource/JoyAI-Image
- jdopensource/JoyAI-Image-Edit
- Hugging Face: jdopensource/JoyAI-Image-Edit
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されたライセンスおよび条件に従います。
