Wenn du eine LoRA mit Ostris AI Toolkit trainiert hast und Probleme hattest wie:
- „AI‑Toolkit‑LoRA sieht in ComfyUI anders aus“
- „AI Toolkit Preview vs. ComfyUI Inferenz passt nicht“
- „Warum sehen Trainings‑Samples besser aus als ComfyUI?“
- „AI‑Toolkit‑LoRA funktioniert in ComfyUI nicht“
…dann ist dieser Guide für dich.
Hier geht es speziell darum, AI‑Toolkit‑trainierte LoRAs in ComfyUI so laufen zu lassen, dass die Ergebnisse möglichst konsistent zu den AI‑Toolkit‑Trainings‑Samples/Previews bleiben.
Suchst du Inferenz ohne ComfyUI (Playground / API)?
Siehe: AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API)
Der eigentliche Grund, warum AI‑Toolkit‑Samples nicht zu ComfyUI passen
Dein ComfyUI‑Graph ist nicht dieselbe Inferenz‑Pipeline, die AI Toolkit zum Rendern der Trainings‑Samples verwendet.
Und weil der Unterschied auf Pipeline‑Ebene liegt, reicht es meistens nicht, nur sichtbare Parameter (Prompt, Seed, Steps, CFG/Guidance, Auflösung) zu kopieren.
Was „Pipeline‑Mismatch“ in der Praxis oft bedeutet:
- Andere Sampler-/Scheduler‑Semantik
Viele moderne AI‑Toolkit‑Targets basieren auf Flow‑Matching und modell‑spezifischem Scheduler‑Verhalten. Ein „ähnlicher“ Sampler in ComfyUI ist oft nicht äquivalent.
- Versteckte Modell‑Knöpfe, die nicht als „Steps/CFG“ auftauchen
Beispiel: sampling‑Patches / Shift‑Parameter in neueren Architekturen.
- Andere LoRA‑Anwendung
„Load LoRA“ kann je nach Architektur Unterschiedliches bedeuten (Adapter vs. gepatchte Gewichte; wo die Injektion passiert).
- Key-/Modulnamen‑Mismatch
Die LoRA „lädt“, bindet aber still nicht an die erwarteten Module → Effekt fehlt oder ist schwach.
- Basismodell-/Variant‑Drift
Schon kleine Unterschiede (dev vs turbo, 4B vs 14B, de‑turbo vs turbo, Quantisierung) können das Ergebnis stark verändern.
Kurz: Wenn du AI‑Toolkit‑Previews matchen willst, musst du die gesamte Inferenz‑Pipeline matchen – nicht nur die offensichtlichen Settings.
Was RunComfy dafür gemacht hat (für ComfyUI‑User)
RunComfy hat die Inferenz‑Pipeline, die AI Toolkit für Trainings‑Samples/Previews nutzt, pro Basismodell in ComfyUI nachgebaut und abgeglichen.
Und wir haben diese Logik verpackt in:
- ComfyUI‑Nodes (damit das „AI‑Toolkit‑Preview‑Pipeline‑Verhalten“ im Graph verfügbar ist)
- Training Preview‑Match Workflows (fertige ComfyUI‑Workflows, je Basismodell)
Ergebnis:
- Ein Basismodell = ein ComfyUI‑Workflow → öffne den Workflow, der zu deinem Basismodell passt
- Füge deine AI‑Toolkit‑LoRA (
.safetensors) ein - Erzeuge Bilder/Videos, die deine Trainings‑Samples/Previews deutlich zuverlässiger matchen als ein zufälliger, selbst zusammengeklickter Graph
Training Preview‑Match Workflow‑Bibliothek (ein Basismodell = ein Workflow)
Wähle den Workflow, der zum Basismodell passt, auf dem du trainiert hast.
Die erste Version unterstützt die folgenden Modelle. Weitere Workflows folgen, bis die Bibliothek alle AI‑Toolkit‑Basismodelle abdeckt.
Troubleshooting (AI‑Toolkit‑LoRA in ComfyUI)
Hier sind die häufigsten „AI Toolkit → ComfyUI“‑Probleme und die schnellste Lösung.
„Meine AI‑Toolkit‑Trainings‑Samples sehen super aus, aber ComfyUI ist schlechter/anders.“
Ursache: Du nutzt in ComfyUI nicht die AI‑Toolkit‑Preview‑Pipeline.
Fix: Nutze den RunComfy Training Preview‑Match Workflow für dein Basismodell (ein Basismodell = ein Workflow).
Gehe zu: Training Preview‑Match Workflow‑Bibliothek
„Ich habe Prompt/Seed/Steps/CFG gematcht – passt trotzdem nicht.“
Ursache: Parameter‑Matching reicht nicht, wenn Sampler/Scheduler + Pipeline‑Logik anders sind.
Fix: Hör auf, „manuell in den Match reinzutunen“. Nutze den Preview‑Match Workflow für dein Basismodell.
Gehe zu: Training Preview‑Match Workflow‑Bibliothek
„Meine AI‑Toolkit‑LoRA lädt in ComfyUI, aber sie ändert kaum etwas.“
Ursache: Meistens eines davon:
- falscher Basismodell‑Workflow (Architektur/Variante passt nicht)
- Key/Modul‑Mapping‑Mismatch (LoRA greift nicht da, wo du es erwartest)
- LoRA‑Weight zu niedrig
Fix: Nutze den Preview‑Match Workflow für dein Basismodell und teste dann 0.9–1.0.
Gehe zu: Training Preview‑Match Workflow‑Bibliothek
„FLUX/FlowMatch sieht im AI Toolkit genial aus, aber ComfyUI verliert Likeness mit Euler/DPM.“
Ursache: AI‑Toolkit‑Previews für FLUX‑Targets nutzen oft Flow‑Matching‑Sampling. Sampler‑Wechsel (auch bei gleichen Steps) ändert Struktur/Likeness.
Fix: Nutze den FLUX Preview‑Match Workflow, der AI‑Toolkits Sampling‑Pipeline matcht.
Link:
„Z‑Image Turbo passt im AI Toolkit, aber in ComfyUI wirkt es degradiert.“
Ursache: Z‑Image‑Inference hängt stark an modell‑spezifischen Sampling‑Patches/Parametern (in Custom Graphs leicht zu übersehen).
Fix: Nutze den Z‑Image Preview‑Match Workflow (Turbo vs De‑Turbo ist wichtig).
Links:
- ComfyUI Workflow: Z‑Image Turbo LoRA Inference (AI Toolkit Preview‑Match)
- ComfyUI Workflow: Z‑Image De‑Turbo LoRA Inference (AI Toolkit Preview‑Match)
Related guide: Matching ohne ComfyUI (Playground/API)
Wenn du kein ComfyUI brauchst und den schnellsten Weg zu Preview‑Matching‑Inference willst (oder es in eine App integrieren möchtest), nutze:
- AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API) → link
Bereit zum Starten des Trainings?