logo
RunComfy
AI Toolkit LoRA Training Guides

FLUX.2 Klein 4B & 9B LoRA-Training mit Ostris AI Toolkit

Dieses Tutorial zeigt, wie du praktische FLUX.2 Klein LoRAs (4B und 9B Base) mit dem Ostris AI Toolkit trainierst. Du lernst den kritischen Base-vs-Distilled-Sampling-Unterschied, 4B/9B-Kompatibilitätsregeln, Dataset-Aufbau für Character/Style/Product, VRAM-Planung von 24GB bis H100/H200 und wie du Klein-spezifische Fehler wie 9B-Collapse behebst.

Train Diffusion Models with Ostris AI Toolkit

← Horizontal scrollen, um das vollständige Formular zu sehen →

Ostris AI ToolkitOstrisAI-Toolkit

New Training Job

Job

Model

Use a Hugging Face repo ID (e.g. owner/model-name).
⚠️ full URLs, .safetensors files, and local files are not supported.

Quantization

Target

Save

Training

Datasets

Dataset 1

Sample

FLUX.2 Klein LoRA-Training: 4B & 9B mit dem Ostris AI Toolkit

FLUX.2 Klein ist eine einheitliche Text‑zu‑Bild‑ und Bildbearbeitungs‑Modellfamilie in zwei offenen „Base“-Größen: 4B und 9B. Dieses FLUX.2 Klein LoRA-Training zeigt dir, wie du praxistaugliche FLUX.2 Klein LoRAs mit dem Ostris AI Toolkit trainierst – mit Fokus auf dem, was bei Klein wirklich anders ist (Base vs. Distilled‑Erwartungen, 4B‑vs‑9B‑Kompatibilität, VRAM‑Realität und typische Klein‑spezifische Stolperfallen).

Wenn du nach Varianten wie „FLUX 2 Klein LoRA Training“, „FLUX.2-Klein LoRA trainieren“, „Flux2 Klein LoRA Training 4B 9B“ oder „FLUX.2 [klein] LoRA-Training“ suchst: Dieses FLUX.2 Klein LoRA-Training deckt genau diese Praxisfragen ab.

Am Ende dieses FLUX.2 Klein LoRA-Training kannst du:

  • FLUX.2 Klein 4B Base vs. 9B Base korrekt auswählen (und „falsche Modellgröße“-LoRA‑Probleme vermeiden).
  • VRAM realistisch planen und passende Quantisierung + Sampling‑Defaults für Base‑Klein setzen.
  • Ein Dataset und eine Trigger‑Strategie für Character, Style oder Product/Concept‑LoRAs aufbauen.
  • Einen Smoke‑Test mit korrektem Base‑Sampling durchführen und dann ohne Rätselraten skalieren.
  • Häufige Klein‑spezifische Probleme beheben (Lizenz‑Gating, Base‑vs‑Distilled‑Test‑Mismatch, 9B‑Collapse‑Muster und aktuelle AI‑Toolkit‑Edge‑Cases).
Dieser Artikel ist Teil der AI‑Toolkit‑LoRA‑Training‑Serie. Wenn du neu im Ostris AI Toolkit bist, starte zuerst mit dem Überblick, bevor du in dieses FLUX.2 Klein LoRA-Training einsteigst:
https://www.runcomfy.com/de/trainer/ai-toolkit/getting-started

Inhaltsverzeichnis

1. FLUX.2 Klein Überblick: was 4B/9B unterscheidet (und warum Base‑Sampling im FLUX.2 Klein LoRA-Training zählt)

1.1 Klein ist „ein Modell für Generierung + Editing“

Klein ist als eine Modellfamilie für Text‑zu‑Bild‑Generierung und Bildbearbeitung gedacht. Praktisch heißt das: Eine Style‑/Character‑/Product‑LoRA, die du im FLUX.2 Klein LoRA-Training lernst, kann oft sowohl in „Generate“‑ als auch in „Edit“‑Workflows nützlich sein – deine Daten und Captions entscheiden, was sie lernt.

1.2 4B vs. 9B: wähle nach Ziel und Hardware

  • 4B Base ist für die meisten der beste Einstieg ins FLUX.2 Klein LoRA-Training: schnellere Iteration, leichterer VRAM‑Fit und in der Regel stabiler.
  • 9B Base kann bessere Prompt‑Treue und Details liefern – wenn du VRAM und Stabilitäts‑Tuning bezahlen kannst –, ist aber weniger verzeihend (und hat in der Praxis mehr „Edge‑Case“‑Reports).

Wichtige Kompatibilitätsregel:

Eine 4B‑LoRA funktioniert nicht auf 9B, und eine 9B‑LoRA funktioniert nicht auf 4B. Lade die LoRA im FLUX.2 Klein LoRA-Training und beim Test immer auf derselben Klein‑Größe, auf der du sie trainiert hast.

1.3 Base vs. Distilled (und was AI Toolkit aktuell unterstützt)

Über Klein wird häufig in zwei „Verhaltens“-Kategorien gesprochen:

  • Base = undestillte Checkpoints für Fine‑Tuning / LoRA‑Training.
  • Distilled = beschleunigtes Inference‑Verhalten (sehr niedrige Step‑Counts).

Im AI Toolkit wählst du aktuell nur: _FLUX.2 Klein 4B Base_ oder _FLUX.2 Klein 9B Base_.

Es gibt keine Distilled‑Option im Dropdown „Model Architecture“, daher ist dieses FLUX.2 Klein LoRA-Training bewusst Base‑only.

1.4 Der #1 Klein‑Gotcha: Base braucht mehr Inference‑Steps

Viele „meine LoRA ist schlecht“-Meldungen entstehen, weil Base wie Distilled gesampelt wird.

Wenn du Base‑Klein mit ~4–8 Steps previewst, wirkt es „underdone“ oder noisy.

Für Base‑Klein nutze diese Defaults für die Evaluation im FLUX.2 Klein LoRA-Training:

  • Sample Steps / Inference Steps: ca. 50
  • Guidance Scale (CFG): ca. 4

Allein diese Umstellung verhindert viele Fehlalarme im FLUX.2 Klein LoRA-Training.

2. Umgebungsoptionen: lokales AI Toolkit vs. Cloud‑AI‑Toolkit auf RunComfy (für FLUX.2 Klein LoRA-Training)

Du kannst das AI Toolkit für dieses FLUX.2 Klein LoRA-Training auf zwei Arten nutzen:

  • Lokales AI Toolkit (eigene GPU)

    Installiere AI Toolkit aus dem GitHub‑Repo, starte die Web‑UI und trainiere auf deinem Rechner. Passt gut, wenn du eine kompatible NVIDIA‑GPU hast und CUDA/Treiber/Disk selbst managen willst.

  • Cloud‑AI‑Toolkit auf RunComfy (H100 / H200)

    Öffne AI Toolkit im Browser und trainiere auf Cloud‑GPUs (H100 80GB / H200 141GB). Das ist der einfachste Weg fürs 9B Base FLUX.2 Klein LoRA-Training, große Datasets oder High‑Res‑Runs ohne VRAM‑Kompromisse.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Workflow und UI sind gleich – nur die GPU „wohnt“ woanders.

Für dein FLUX.2 Klein LoRA-Training ändert sich am Ablauf nichts – nur die Hardware.

3. Hardware & VRAM‑Planung für FLUX.2 Klein 4B vs. 9B LoRA-Training

3.1 Reality‑Check: „passt für Inference“ ≠ „passt für Training“

Selbst wenn ein Checkpoint in BF16 für Inference „passt“, kommt beim Training Overhead dazu (Optimizer‑States, Activations, LoRA‑Module, Sampling‑Previews). Plane im FLUX.2 Klein LoRA-Training mit Luft.

3.2 Praktische Tiers (was du erwarten kannst)

Eine hilfreiche Planung fürs FLUX.2 Klein LoRA-Training:

Nutze diese Tiers als Ausgangspunkt für dein FLUX.2 Klein LoRA-Training.

  • 4B Base
    • Praktisch für lokales Training auf 24GB mit konservativen Settings (Batch 1, sinnvolle Ranks, Quantisierung nach Bedarf).
    • Kleinere Auflösungen gehen manchmal mit weniger VRAM, aber Iteration wird fragiler.
  • 9B Base
    • 32GB+ ist die praktische lokale Untergrenze für komfortables FLUX.2 Klein LoRA-Training.
    • Für einfache High‑Res‑Iteration: Cloud‑GPUs (H100/H200) sind die „no‑drama“‑Option.

3.3 Klein‑spezifische Warnung: 9B + aggressive Memory‑Tricks

Community‑Reports zeigen, dass manche 9B‑Setups im FLUX.2 Klein LoRA-Training empfindlicher sind – besonders mit starken VRAM‑Spar‑Strategien. Wenn du „tight VRAM“ trainieren musst, ist es oft produktiver:

1) zuerst 4B Base zu trainieren, oder

2) den Run auf Cloud‑GPUs zu schieben,

statt lokale 9B‑Runs stabil zu prügeln.

4. Dataset für FLUX.2 Klein LoRA-Training bauen (Character vs. Style vs. Product)

Halt den Workflow simpel: erst saubere Daten kuratieren, dann an den Knöpfen drehen – genau so kommst du im FLUX.2 Klein LoRA-Training am schnellsten voran.

Gerade im FLUX.2 Klein LoRA-Training ist saubere Datencuration oft der größte Hebel.

4.1 Universelle Dataset‑Regeln (hoher Impact)

  • Entferne Near‑Duplicates, außer du willst bewusst, dass ein Motiv dominiert.
  • Vermeide Wasserzeichen, UI‑Overlays und Textblöcke, außer die LoRA soll genau diese Artefakte lernen.
  • Halte das „Signal“ konsistent: Im FLUX.2 Klein LoRA-Training sollte die LoRA Identity oder Style oder Product lernen – nicht zufällige Hintergrund‑Koinzidenzen.

4.2 Character / Likeness‑LoRAs

Ziel: konsistente Identität über viele Prompts.

  • Typisches Dataset: 20–60 kuratierte Bilder
  • Variety zählt: mehrere Winkel, Licht, Ausdrücke, Brennweiten
  • Captions: kurz halten; Gesichtsteile nicht over‑describen

Trigger: empfohlen

Nutze ein eindeutiges Token/Namen, damit du es im FLUX.2 Klein LoRA-Training sauber an‑/ausschalten kannst.

4.3 Style‑LoRAs

Ziel: ein wiederverwendbarer Look, ohne Prompt‑Fidelity zu zerstören.

  • Typisches Dataset: 50–200 Bilder (Variety hilft)
  • Subjekte mischen: People + Objects + Scenes, damit der Style die Konstante ist
  • Captions: Style‑Attribute betonen (Medium, Palette, Licht‑Sprache)

Trigger: optional

Wenn du einen „callable style“ willst, nutze einen Trigger im FLUX.2 Klein LoRA-Training.

4.4 Product / Concept‑LoRAs

Ziel: stabile Geometrie/Materialien für ein Produkt oder ein neues Konzept.

  • Typisches Dataset: 30–100 Bilder
  • Framing/Scale anfangs möglichst konsistent halten
  • In Captions Produktname und Schlüsselattribute nennen, die erhalten bleiben sollen

Trigger: stark empfohlen

Products/Concepts profitieren im FLUX.2 Klein LoRA-Training deutlich von klarer Aktivierungs‑Kontrolle.

5. Schritt‑für‑Schritt: eine FLUX.2 Klein LoRA im AI Toolkit trainieren (FLUX.2 Klein LoRA-Training)

Das ist der Fast‑Path fürs FLUX.2 Klein LoRA-Training. Er ist bewusst auf die Panels fokussiert, die Nutzer wirklich klicken.

Wenn du dich an diese Reihenfolge hältst, bleibt dein FLUX.2 Klein LoRA-Training reproduzierbar.

Step 0 — Entscheide, wo du AI Toolkit laufen lässt

  • Lokales AI Toolkit (eigene GPU) — gut für 4B Base und kleinere Runs im FLUX.2 Klein LoRA-Training.
  • Cloud‑AI‑Toolkit auf RunComfy — am besten für 9B Base und High‑Res‑Training ohne VRAM‑Tuning.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Step 1 — Dataset im AI Toolkit anlegen

In der AI‑Toolkit‑UI öffnest du den Tab Datasets.

Lege ein Dataset an (Beispielname):

  • klein_my_lora_v1

Lade deine Bilder hoch und (optional) passende .txt‑Caption‑Dateien.

Wenn du noch nicht pro Bild captionen willst, kannst du fürs FLUX.2 Klein LoRA-Training mit Folgendem starten:

  • einem Trigger Word (JOB‑Panel), und
  • einer kurzen Default Caption (DATASETS‑Panel).

Step 2 — Neuen Job erstellen (Panels in UI‑Reihenfolge konfigurieren)

Job panel

  • Training Name: etwas Beschreibendes (z. B. klein4b_character_lora_v1)
  • GPU ID: lokal deine GPU wählen; in der Cloud Default lassen
  • Trigger Word:
    • Character/Product: empfohlen (eindeutiges Token)
    • Style: optional (empfohlen, wenn du sauberes On/Off willst)

Model panel

  • Model Architecture: FLUX.2 Klein 4B Base oder FLUX.2 Klein 9B Base
  • Name or Path:
    • Nutze das offizielle Model‑Repo für die Größe, die du fürs FLUX.2 Klein LoRA-Training gewählt hast
    • Wenn du 9B wählst und Downloads fehlschlagen: siehe Troubleshooting (Lizenz‑Gating)

Quantization panel

Quantisierung ist im FLUX.2 Klein LoRA-Training vor allem dafür da, den Run passend zu machen und ihn stabil zu halten.

  • Wenn du auf knapperem VRAM trainierst (besonders 9B), aktiviere Quantisierung für die schweren Komponenten.
  • Wenn du quantisierungsbedingte Errors siehst, deaktiviere Quantisierung kurz, um die Pipeline zu validieren, und aktiviere sie danach wieder.

Target panel

Hier entscheidest du die LoRA‑Kapazität fürs FLUX.2 Klein LoRA-Training.

  • Target Type: LoRA
  • Linear Rank (Starter‑Defaults):
    • 4B Base: starte mit 16, gehe auf 32, wenn du Underfitting siehst
    • 9B Base: starte mit 16–32 (bei Instabilität lieber 16)

Wenn dein Run „collapsiert“ oder instabil wird, ist Rank reduzieren einer der schnellsten Stabilisierer im FLUX.2 Klein LoRA-Training.

Save panel

  • Data Type: BF16 ist ein sicherer Default für moderne Diffusion‑LoRAs
  • Save Every: 250–500 Steps sind ein praktischer Rhythmus
  • Max Step Saves to Keep: 3–6 (hält Disk‑Use im Rahmen)

Training panel

Fürs erste FLUX.2 Klein LoRA-Training: simpel und konservativ bleiben.

  • Batch Size: 1 (nur erhöhen, wenn du Headroom hast)
  • Gradient Accumulation: 1–4 (effektive Batch erhöhen ohne VRAM‑Spikes)
  • Learning Rate:
    • starte mit 1e‑4, wenn deine Runs stabil sind
    • bei Instabilität/„collapse“: 5e‑5 testen
  • Steps (praktische Starter‑Ranges):
    • kleine Datasets (20–40 imgs): 2000–4000
    • mittlere Datasets (50–120 imgs): 3000–6000

Wenn du unsicher bist, mach zuerst einen Smoke‑Test im FLUX.2 Klein LoRA-Training:

  • ~1000 Steps laufen lassen, Samples checken, dann entscheiden (weiterlaufen lassen oder neu starten mit angepasstem Rank/LR).

Regularization (sehr empfohlen für Klein 9B, wenn du collapse siehst)

Wenn dein Dataset sehr eng ist (ein Character oder ein Product), füge ein kleines Regularization‑Dataset hinzu (generische Bilder derselben groben Klasse mit niedrigerem Gewicht). Das kann collapse/overfit‑Muster reduzieren und die Generalisierung im FLUX.2 Klein LoRA-Training verbessern.

Datasets panel

  • Target Dataset: dein Dataset auswählen
  • Default Caption (optional):
    • Character: photo of [trigger]
    • Style: [trigger], watercolor illustration, soft edges, pastel palette
    • Product: product photo of [trigger], clean background, studio lighting
  • Caption Dropout Rate: kleine Werte (z. B. 0.05) helfen gegen „caption overfitting“, wenn du keine Text‑Embeddings cachest
  • Cache Latents: falls verfügbar aktivieren (großer Speed‑Boost)
  • Resolutions:
    • Starte im FLUX.2 Klein LoRA-Training mit einer primären Resolution (z. B. 1024)
    • Mehr Buckets später hinzufügen, wenn du Robustheit über Größen brauchst

Sample panel (das ist Klein‑kritisch)

Weil du Base‑Klein trainierst, muss Sampling im FLUX.2 Klein LoRA-Training wie Base sein – nicht wie Distilled.

Nutze diese Startwerte:

  • Sample Every: 250–500
  • Guidance Scale: ca. 4
  • Sample Steps: ca. 50
  • Seed: fix (z. B. 42), damit Progress vergleichbar bleibt

Füge 6–10 Prompts hinzu, die deine echten Use‑Cases abbilden (Character, Style, Product) – so ist dein FLUX.2 Klein LoRA-Training aussagekräftig.

Step 3 — Training starten & monitoren

Wechsle zu Training Queue, starte den Job und beobachte:

  • Samples: Fortschritt nur mit Base‑tauglichen Sample‑Steps (≈50) beurteilen – sonst täuscht dich dein FLUX.2 Klein LoRA-Training.
  • Stability: wenn Outputs nach einer Verbesserung wieder schlechter werden, stoppe und rolle auf einen früheren Checkpoint zurück

6. Empfohlene FLUX.2 Klein LoRA‑Konfigurationen nach VRAM‑Stufe (für FLUX.2 Klein LoRA-Training)

Das sind „gute Defaults“ fürs FLUX.2 Klein LoRA-Training, keine harten Regeln.

Wenn du unsicher bist, starte hier und passe dein FLUX.2 Klein LoRA-Training iterativ an.

Tier A — 4B Base auf 24GB (häufiges Local‑Setup)

  • Quantization: ON, wenn du es zum Fit brauchst
  • Batch size: 1
  • Rank: 16 (32, wenn Underfitting)
  • Resolution: 768–1024
  • Sampling: Steps 50, CFG ~4 (so testest du korrekt im FLUX.2 Klein LoRA-Training)

Tier B — 9B Base auf 32–48GB (lokales „Serious“-Setup)

  • Quantization: stark empfohlen
  • Batch size: 1 (nur mit Headroom erhöhen)
  • Rank: zuerst 16 (32 nur, wenn stabil)
  • Reg‑Dataset hinzufügen, wenn Training instabil wird oder „collapsiert“
  • Sampling: Steps 50, CFG ~4 (Base‑Test im FLUX.2 Klein LoRA-Training)

Tier C — Cloud H100/H200 (schnelle Iteration, simpelste Configs)

  • Wenn du maximale Fidelity willst: 9B Base bevorzugen
  • Batch size: 2–4 ist oft praktikabel
  • Rank: 32 ist okay, wenn der Run stabil ist
  • 1024 als Default; Buckets nur erweitern, wenn nötig
  • Sampling: Steps 50, CFG ~4 (Standard für FLUX.2 Klein LoRA-Training)

7. Häufige Probleme beim FLUX.2 Klein LoRA-Training – und wie du sie löst

Dieser Abschnitt ist Klein‑spezifisch (kein generisches AI‑Toolkit‑Blabla) und hilft dir, dein FLUX.2 Klein LoRA-Training schnell zu stabilisieren.

Damit bleibt dein FLUX.2 Klein LoRA-Training mit Base realistisch bewertet.

„Meine LoRA wirkt schwach / noisy“ (aber der Loss fällt)

Wahrscheinlichste Ursache: Du samplest Base‑Klein im FLUX.2 Klein LoRA-Training mit Distilled‑Style Steps.

Fix

  • Im Sample‑Panel Sample Steps ≈ 50 und Guidance Scale ≈ 4 setzen
  • Checkpoints erst nach der Sampling‑Umstellung neu bewerten (sonst verfälscht das dein FLUX.2 Klein LoRA-Training)

9B Base lädt nicht / „access denied“

Wahrscheinlichste Ursache: Das 9B‑Modell ist hinter einem License‑Click‑Through gegated und deine Umgebung ist nicht authentifiziert.

Fix

  • License akzeptieren / Access anfragen auf der Modellseite: FLUX.2-Klein-9B
  • In den AI‑Toolkit‑Settings einen Hugging‑Face Read token hinterlegen
  • Job nach dem Speichern des Tokens erneut starten (dann kann dein FLUX.2 Klein LoRA-Training sauber downloaden)

(Wenn du eine Step‑by‑Step‑Checkliste willst: RunComfy hat eine dedizierte „Hugging Face token for FLUX“‑Hilfeseite.)

„Ich habe eine LoRA trainiert, aber sie macht nichts“

Wahrscheinlichste Ursachen (Klein‑spezifisch)

  • Du hast auf 4B trainiert, testest aber auf 9B (oder umgekehrt)
  • Du hast auf Base trainiert, testest aber in einer anderen Klein‑Variante/Umgebung

Fix

  • Prüfe, dass die Modellgröße matcht (4B‑LoRA → 4B Base; 9B‑LoRA → 9B Base)
  • Halte Evaluations‑Pipeline und Base konstant – sonst ist dein FLUX.2 Klein LoRA-Training nicht vergleichbar

9B‑Training „collapsiert“ (Qualität degradiert plötzlich oder wird chaotisch)

Das ist ein häufig berichtetes 9B‑Muster in Community‑Diskussionen rund um FLUX.2 Klein LoRA-Training.

Fix‑Reihenfolge (meist am effektivsten zuerst)

1) Learning Rate senken (z. B. 1e‑4 → 5e‑5)

2) Rank reduzieren (z. B. 32 → 16)

3) Regularization‑Dataset hinzufügen (generische Same‑Class‑Bilder mit niedrigerem Gewicht)

4) Run kürzen und early stop (letzten „guten“ Checkpoint wählen)

Wenn du schnell vorankommen willst, ohne dich mit collapse zu prügeln: trainiere zuerst 4B Base im FLUX.2 Klein LoRA-Training.

AI‑Toolkit‑Edge‑Cases für Klein (aktuell bekannte Pain Points)

Einige Nutzer berichten im Kontext von FLUX.2 Klein LoRA-Training:

  • Layer Offloading verhält sich nicht wie erwartet bei Klein 9B in manchen Setups
  • Edit‑Mode / Control‑Image‑Training‑Errors in bestimmten Konfigurationen
  • GPU wird nicht genutzt in speziellen Umgebungen (u. a. manche WSL2‑Reports)

Praktischer Workaround

  • Wenn du so etwas triffst und heute einen zuverlässigen Run brauchst:
    • auf 4B Base wechseln, oder
    • den Run ins Cloud‑AI‑Toolkit verschieben, oder
    • AI Toolkit auf die neueste Version updaten und erneut versuchen

8. Deine FLUX.2 Klein LoRA nach dem Training nutzen (Base‑Testing im FLUX.2 Klein LoRA-Training)

8.1 Teste mit Base‑Style‑Settings

Wenn du deine LoRA auf Base‑Klein testest, starte im Sinne deines FLUX.2 Klein LoRA-Training mit:

  • Steps: ~50
  • CFG: ~4
  • LoRA weight: 0.6 → 1.0 (ein paar Werte sweeppen)

8.2 Teste wie ein Pro (schnell, wiederholbar)

1) Generiere ohne LoRA (Baseline)

2) Generiere mit LoRA bei 0.6 / 0.8 / 1.0

3) Seed + Steps + CFG konstant halten

4) Beurteile:

  • Aktivierungsstärke (ist sie sichtbar?)
  • Kontrolle (bleibt sie aus, wenn nicht getriggert?)
  • Generalisierung (funktioniert sie auf neuen Prompts?)

8.3 Editing‑Workflows

Klein unterstützt auch Editing‑Workflows. Wenn deine LoRA in der Generierung sauber sitzt, kannst du sie im Edit‑Pipeline nutzen, um Identity/Style/Product‑Konsistenz bei Edits zu halten – genau dafür lohnt sich das FLUX.2 Klein LoRA-Training.

Mehr AI Toolkit LoRA-Training-Guides

Ready to start training?