Wenn du LoRAs mit Ostris AI Toolkit trainierst, ist dir das wahrscheinlich schon passiert:
- Deine AI-Toolkit-Trainings-Samples/Previews sehen super aus.
- Dieselbe LoRA sieht bei der Inferenz in ComfyUI, Diffusers oder einem anderen Stack plötzlich anders aus.
In den meisten Fällen ist die LoRA nicht „kaputt“ – dein Inference-Pipeline ist einfach nicht dieselbe.
Kleine Unterschiede summieren sich schnell: Basismodell-Variante, Scheduler-/Step-Semantik, VAE/CLIP-Defaults, Auflösungs‑Snapping und sogar wie die LoRA angewendet wird (Adapter vs. Merge/Fuse, Modellfamilien‑Eigenheiten).
Damit AI‑Toolkit‑Inference leichter reproduzierbar, auditierbar und debuggbar wird, veröffentlicht RunComfy die Referenz‑Inference‑Implementierung, die wir für AI‑Toolkit‑LoRAs verwenden, als Open Source – gebaut mit Hugging Face Diffusers.
GitHub‑Repo: runcomfy-com/ai-toolkit-inference
Wofür dieses Open‑Source‑Repo gedacht ist
Nutze dieses Repo, wenn du:
- AI‑Toolkit‑Samples/Previews außerhalb von AI Toolkit reproduzieren willst (mit derselben Inferenz‑Logik)
- „Training‑Preview vs. Inference“‑Drift debuggen willst, indem du jeden Pipeline‑Baustein inspizierst und kontrollierst
- Deinen eigenen Inference‑Service (z. B. hinter einer API) auf Basis von Diffusers bauen willst
Wenn dein Hauptziel nur „LoRA laufen lassen und Training‑Samples matchen“ ist, musst du den Code nicht unbedingt lesen – RunComfy liefert dasselbe Preview‑Matching auch als Managed Inference (Playground/API) und als ComfyUI‑Workflows.
Was im Repo steckt
Das Projekt ist so aufgebaut, dass das AI‑Toolkit‑Preview‑Verhalten auditierbar und reproduzierbar ist. Typischerweise enthält es:
- Basismodell‑spezifische Diffusers‑Pipelines (Image, Edit/Control, Video – je nach Modellfamilie)
- AI‑Toolkit‑Training‑YAML → Inference‑Settings (die YAML als „Vertrag“)
- LoRA‑Laden + Anwenden (Adapter vs. Merge/Fuse; Binding‑Eigenheiten je Modellfamilie)
- Auflösungs‑Snapping‑Regeln passend zu AI‑Toolkit‑Samples/Previews
- Optional ein Async‑Server‑Beispiel (z. B. FastAPI) für Inference hinter einer API
Wie das zu RunComfy Trainer Inference passt
RunComfy nutzt dieselbe Preview‑Matching‑Idee:
- Die exakte Basismodell‑Variante fixieren
- Modellfamilien‑Defaults für Inference matchen
- Dasselbe Pipeline‑Verhalten wie bei AI‑Toolkit‑Trainings‑Samples/Previews beibehalten
Du kannst diese abgestimmte Pipeline auf zwei developer‑freundliche Arten nutzen:
- Playground / API Inference (schnell testen + integrieren)
- ComfyUI Inference (Workflow pro Basismodell – LoRA laden und Preview‑Matching‑Ergebnisse erzeugen)
Guides:
- Playground/API Parity: AI Toolkit Inference: Get Results That Match Your Training Samples
- ComfyUI Preview‑Match Workflows: AI Toolkit Inference in ComfyUI: Get Results That Match Your Training Samples
- Drift debuggen: AI Toolkit Preview vs Inference Mismatch
Ready to start training?