AI Toolkit LoRA Training Guides

在 ComfyUI 做 AI Toolkit 推理:匹配 Training Samples 的結果(Preview‑Match 工作流)

ComfyUI 往往不同,是因為它的推理管線並不是 AI Toolkit 渲染訓練樣本(預覽圖/影片)的那條。選擇對應 base model 的工作流並載入 LoRA,即可在 ComfyUI 生成與預覽一致的結果。

Train Diffusion Models with Ostris AI Toolkit

如果你用 Ostris AI Toolkit 訓練了 LoRA,然後遇到過這些問題:

  • 「AI Toolkit 訓練的 LoRA 在 ComfyUI 裡效果不一樣」
  • 「AI Toolkit 預覽 vs ComfyUI 推理不一致」
  • 「為什麼訓練 Samples 看起來更好,放到 ComfyUI 就變了?」
  • 「AI Toolkit 訓練出來的 LoRA 在 ComfyUI 裡不生效」

……那這篇就是寫給你的。

本文專門講 如何在 ComfyUI 裡執行 AI Toolkit 訓練的 LoRA,並盡量讓結果與 AI Toolkit 的訓練 Samples / Previews 保持一致。

想要非 ComfyUI 的推理(Playground / API)?
見: AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API)

AI Toolkit Samples 為什麼不匹配 ComfyUI:真正原因

你的 ComfyUI 工作流程,並不是 AI Toolkit 用來渲染訓練 Samples 的那套推理 pipeline。

而且這種不一致發生在 pipeline 級別,所以只複製「看得見」的參數(prompt、seed、steps、CFG/Guidance、解析度)通常 無法復現相同的觀感。

所謂 “pipeline mismatch” 通常意味著:

  • Sampler / Scheduler 語義不同

    很多 AI Toolkit 的新目標依賴 Flow‑matching 風格採樣(以及模型家族的 scheduler 語義)。ComfyUI 裡「看起來差不多」的 sampler 往往不等價。

  • 模型家族的隱藏開關(不會以 steps/CFG 的形式出現)

    例如:新架構常見的採樣補丁/shift 參數。

  • LoRA 套用方式不同

    “Load LoRA” 在不同架構裡可能代表不同事情(adapter vs patch 權重;注入位置不同)。

  • Key / module 名稱不匹配

    LoRA 表面上「載入成功」,但可能悄悄 沒綁到預期模組,所以效果弱或缺失。

  • 基底模型 / 變體漂移

    即便很小的差異(dev vs turbo、4B vs 14B、de‑turbo vs turbo、量化差異)也可能大幅改變結果。

一句話:想匹配 AI Toolkit 預覽,你需要對齊 完整的推理 pipeline,而不只是可見參數。


RunComfy 為 ComfyUI 使用者做了什麼

RunComfy 把 AI Toolkit 訓練 Samples/Previews 用的那套推理 pipeline(“Samples/Preview”)按基底模型逐一 對齊到 ComfyUI 推理

並把這套對齊邏輯打包成:

  • ComfyUI 節點(讓「AI Toolkit 預覽 pipeline 行為」可直接在工作流程中使用)
  • Training Preview‑Match 工作流程(可直接執行的 ComfyUI 圖,每個基底模型一套)

結果就是:

  • 一個基底模型 = 一個 ComfyUI 工作流程:打開與你訓練基底一致的那份
  • 放入你的 AI Toolkit LoRA.safetensors
  • 生成的圖/影片會比「手動調一套隨機 ComfyUI 圖」更穩定地 接近 AI Toolkit 訓練 Samples / Previews

Training Preview‑Match 工作流程庫(一个基底模型 = 一个工作流程)

請選擇與你訓練時使用的基底模型一致的工作流程。

首批發佈支援如下模型。後續會持續補齊,直到覆蓋 所有 AI Toolkit 基底模型


常見問題排查(AI Toolkit LoRA in ComfyUI)

下面是最常見的「AI Toolkit → ComfyUI」問題與最快修復方式。

「AI Toolkit 訓練 Samples 很好,但 ComfyUI 推理更差 / 不一樣。」

原因:你沒有在 ComfyUI 使用 AI Toolkit 的訓練預覽推理 pipeline。

修復:使用你訓練基底對應的 Training Preview‑Match 工作流程(一個基底模型一套)。

跳轉: Training Preview‑Match 工作流程庫


「我已經匹配 prompt/seed/steps/CFG,但還是不一樣。」

原因:sampler/scheduler + pipeline 邏輯 不同時,只匹配參數是不夠的。

修復:別再試圖「手動調到一致」。直接用基底對應的 Preview‑Match 工作流程。

跳轉: Training Preview‑Match 工作流程庫


「LoRA 在 ComfyUI 裡能載入,但幾乎沒效果。」

原因:最常見是以下之一:

  • 基底工作流程選錯(架構/變體不匹配)
  • LoRA key/module 映射不匹配(沒打到你以為的模組上)
  • LoRA 權重(scale)太低,效果不明顯

修復:先用正確的 Preview‑Match 工作流程,再把 scale 測試到 0.9–1.0

跳轉: Training Preview‑Match 工作流程庫


「Flux/FlowMatch 在 AI Toolkit 預覽很強,但在 ComfyUI 用 Euler/DPM 就丟相似度。」

原因:AI Toolkit 的 FLUX 預覽常依賴 Flow‑matching 採樣行為。換 sampler(即使 steps 相同)也會改變結構/相似度。

修復:使用專門匹配 AI Toolkit 採樣 pipeline 的 FLUX Preview‑Match 工作流程。

跳轉:


「Z‑Image Turbo 在 AI Toolkit 預覽能對上,但在 ComfyUI 裡看起來被降級了。」

原因:Z‑Image 家族推理對模型特定的採樣補丁/參數很敏感(自訂圖裡很容易漏掉)。

修復:使用 Z‑Image Preview‑Match 工作流程(Turbo vs De‑Turbo 選錯會直接不對)。

跳轉:


相關指南:不使用 ComfyUI 也要對齊(Playground/API)

如果你不需要 ComfyUI,只想最快獲得與訓練預覽一致的推理(或要整合到應用裡),可以看:

  • AI Toolkit Inference: Get Results That Match Your Training Samples(Playground/API)→ link

Ready to start training?