SDXL LoRA 推論: AI Toolkit LoRAをComfyUIで実行し、トレーニングに一致した結果を得る

SDXL LoRA 推論: トレーニングに一致した結果をComfyUIで少ないステップで得る。 このワークフローは、RunComfyのRC SDXL (RCSDXL)カスタムノード（runcomfy-com GitHub組織リポジトリでオープンソース化）を介して、Stable Diffusion XL (SDXL)をAI ToolkitでトレーニングされたLoRAと共に実行します。SDXL固有のパイプラインをラップし、LoRAの読み込みとスケーリング（lora_path / lora_scale）をSDXLに正しいデフォルトで標準化することで、ComfyUIの出力はトレーニングプレビューで見たものに非常に近いままです。

AI Toolkit（RunComfyトレーナーまたはその他の場所）でSDXL LoRAをトレーニングし、ComfyUIの結果がトレーニングプレビューと比べて「ずれている」ように見える場合、このワークフローはトレーニングに一致した動作に戻る最速の方法です。

SDXL LoRA 推論ワークフローの使用方法

ステップ1: ワークフローを開く

RunComfy SDXL LoRA 推論ワークフローを開く

ステップ2: LoRAをインポートする（2つのオプション）

• オプションA (RunComfyトレーニング結果): RunComfy → トレーナー → LoRAアセット → LoRAを見つける → ⋮ → LoRAリンクをコピー
  
• オプションB (RunComfy外でトレーニングされたAI Toolkit LoRA): LoRAの直接的な.safetensorsダウンロードリンクをコピーし、そのURLをlora_pathに貼り付ける。
  

ステップ3: SDXL LoRA 推論のためにRCSDXLを設定する

RCSDXL SDXL LoRA 推論ノードUIで、残りのパラメータを設定します:

• prompt: メインのテキストプロンプト（トレーニング中に使用したトリガートークンを含める）
• negative_prompt: 任意; トレーニングプレビューで使用していない場合は空白のままにする
• width / height: 出力解像度
• sample_steps: サンプリングステップ（結果を比較する際にトレーニングプレビューの設定に合わせる）
• guidance_scale: CFG / ガイダンス（トレーニングプレビューCFGに合わせる）
• seed: 再現性のために固定シードを使用する; 変化を探るために変更する
• lora_scale: LoRAの強さ/強度

トレーニング中にサンプリングを調整した場合、AI ToolkitトレーニングYAMLを開いて同じ値をここにコピーします—特にwidth、height、sample_steps、guidance_scale、およびseed。 RunComfyでトレーニングした場合は、トレーナー → LoRAアセットのLoRA Configを開いて、プレビュー/サンプル値をコピーすることもできます。

ステップ4: SDXL LoRA 推論を実行する

• Queue/Runをクリック → 出力はSaveImageを介して自動的に保存されます

なぜSDXL LoRA 推論はComfyUIで異なるように見えるのか & RCSDXLカスタムノードが何をするのか

ほとんどのSDXL LoRAの不一致は、1つの間違ったノブが原因ではありません—推論パイプラインの変更によって発生します。 AI Toolkitのトレーニングプレビューは、モデル固有のSDXL推論実装を通じて生成され、多くのComfyUIグラフは一般的なコンポーネントから再構築されています。同じプロンプト、ステップ、CFG、シードを使用しても、異なるパイプライン（およびLoRA注入パス）が著しく異なる結果を生むことがあります。

RC SDXL (RCSDXL)ノードは、SDXL固有の推論パイプラインをラップすることで、SDXL LoRA 推論がAI Toolkitトレーニングプレビューパイプラインと整合し、一貫したLoRA注入動作をSDXLに使用します。参照実装: `src/pipelines/sdxl.py`

SDXL LoRA 推論のトラブルシューティング

ほとんどの「トレーニングプレビュー対ComfyUI推論」の問題は、パイプラインの不一致から生じ、単一の誤ったパラメータではありません。 LoRAがAI Toolkit (SDXL)でトレーニングされた場合、ComfyUIでトレーニングに一致した動作を回復する最も信頼性の高い方法は、RunComfyのRCSDXLカスタムノードを通じて推論を実行することです。これにより、SDXLサンプリングとLoRA注入がパイプラインレベルで整合されます。

(1) lora .safetensorファイルの推論がsdxlモデルのトレーニングサンプルに一致しない

なぜこれが起こるのか

LoRAがロードされても、ComfyUIグラフがトレーニングプレビューパイプラインと一致しない場合（異なるSDXLデフォルト、異なるLoRA注入パス、異なるリファイナーハンドリング）、結果がずれることがあります。

（推奨される）修正方法

• RCSDXLを使用し、直接的な.safetensorsリンクをlora_pathに貼り付けます。
• AI Toolkitトレーニング構成（またはRunComfy トレーナー → LoRAアセット Config）からサンプリング値をコピーします：width、height、sample_steps、guidance_scale、seed。
• 「追加のスピードスタック」（LCM/Lightning/Turbo）を比較から除外します（それらでトレーニング/サンプリングした場合を除く）。

(2) SDXL loraキーが読み込まれない "lora_te2_text_projection.*"

なぜこれが起こるのか

LoRAには、現在の読み込みパスが適用していないSDXLテキストエンコーダー2の投影キーが含まれています（注入/キーのマッピングがSDXLのデュアルエンコーダー設定と一致しない場合に簡単に発生します）。

（最も信頼性の高い）修正方法

• RCSDXLを使用し、ノード内のlora_pathを介してLoRAをロードします（パイプラインレベルの注入）。
• lora_scaleを一貫して維持し、トレーニング中に使用したトリガートークンを含めます。
• 警告が続く場合は、トレーニングで使用した正確なベースチェックポイントを試してください（SDXLバリアントの不一致が欠落/無視されたキーを生じることがあります）。

(3) SDXLでLoRAをもう使用できない

なぜこれが起こるのか

ComfyUI / カスタムノードを更新した後、SDXL LoRAの適用が変更されることがあります（ローダーの動作、キャッシング、メモリの動作）、以前は正常に動作していたグラフが失敗またはずれることがあります。

（推奨される）修正方法

• SDXL推論パスを安定させ、トレーニングに整合するためにRCSDXLを使用します。
• 更新後にモデル/ノードキャッシュをクリアするか、セッションを再起動します（特にLoRA/ローダー設定を調整した後のみ動作が変わる場合に）。
• デバッグのために、最初に最小限のベースのみのSDXLワークフローを実行し、その後に複雑さを戻します。

(4) スケジューリングフックLoRAでの値変更後に次の実行でCLIPキャッシュが不正確になる

なぜこれが起こるのか

フック/スケジューリングワークフローは、パラメーター変更後にキャッシュされたCLIP状態を再利用することがあり、再現性が失われ、LoRAの動作が実行ごとに不安定に見えることがあります。

（推奨される）修正方法

• トレーニングに一致した推論のために、まずシンプルなlora_path / lora_scaleでRCSDXLを優先します（ベースラインが一致するまでフック/スケジューリングレイヤーを避ける）。
• フック/スケジューリングノードを使用する必要がある場合、フックパラメーターを変更した後にキャッシュをクリア（または再起動）し、同じシードで再実行します。

(5) inpaiting SDXLでLORAを使用しようとするとKsamplerエラーが発生する

なぜこれが起こるのか

インペインティングスタックはサンプリング中にモデルをパッチします。一部のカスタムノード/ヘルパーラッパーは、セッションの途中で設定を変更すると、LoRAパッチングと競合し、KSampler/inpaintワーカーエラーを引き起こすことがあります。

（推奨される）修正方法

• LoRAがRCSDXLでプレーントランスファーテキスト2イメージワークフローで動作することを確認します（パイプラインレベルのベースライン）。
• インペインティングを1つずつ追加します。エラーが編集後にのみ発生する場合、再実行前にキャッシュをクリア/再起動します。
• 特定のヘルパーノードでのみ問題が発生する場合、バニラインペイントパスを試すか、競合するカスタムノードを更新/無効にします。

(6) このエラーが発生しました: clip missing: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']

なぜこれが起こるのか

これは通常、ロードされたCLIP/テキストエンコーダーアセットが実行中のSDXLチェックポイントと一致していないことを意味し（期待されるSDXL CLIPウェイトが欠落している）、LoRAの動作が「ずれている」ように見えることがあります。

（推奨される）修正方法

• 適切なSDXLチェックポイントセットアップを使用し、正しいSDXLテキストエンコーダー/CLIPコンポーネントを使用していることを確認します。
• 次に、RCSDXLを介してLoRA推論を実行し、SDXLのコンディショニングパスが一貫したエンドツーエンドであることを確認します。

今すぐSDXL LoRA 推論を実行

RunComfy SDXL LoRA 推論ワークフローを開き、lora_pathにLoRAを貼り付け、ComfyUIでトレーニングに一致したSDXL LoRA推論を実行するためにRCSDXLを実行します。