logo
RunComfy
AI Toolkit LoRA Training Guides

Qwen 2511 LoRA Training (Qwen-Image-Edit-2511) mit Ostris AI Toolkit (Aktualisierter Guide)

Dieser Guide zeigt, wie du Qwen 2511 (Qwen-Image-Edit-2511) LoRAs mit Ostris AI Toolkit für Multi-Image, geometry-aware Editing trainierst. Du lernst, wie Edit-Datensätze aufgebaut werden (Controls + Instruction → Target), wie du VRAM für 1–3 Control-Streams planst, welche Parameter besonders wichtig sind und wie du häufige Trainingsfehler schnell fixst.

Train Diffusion Models with Ostris AI Toolkit

← Horizontal scrollen, um das vollständige Formular zu sehen →

Ostris AI ToolkitOstrisAI-Toolkit

New Training Job

Job

Model

Quantization

Target

Save

Training

Datasets

Dataset 1

Sample

Qwen‑Image‑Edit‑2511 (oft als Qwen 2511 abgekürzt) ist Qwens "Konsistenz-zuerst" Checkpoint für Bildbearbeitung: Er ist darauf ausgelegt, Bilddrift zu reduzieren, Identität bei kreativen Bearbeitungen zu bewahren und strukturell treu zu bleiben, wenn nur Teile eines Bildes bearbeitet werden. Er verfügt außerdem über integrierte LoRA-Fähigkeiten in den Basisgewichten, stärkere Industrie-/Produktdesign-Ausgabe und verbesserte geometrische Schlussfolgerung, was ihn besonders interessant für praktische, wiederholbare Bearbeitungs-LoRAs macht.

Diese Anleitung zeigt, wie du Qwen Edit 2511 LoRA Training mit Ostris AI Toolkit durchführst.

Dieser Artikel ist Teil der AI Toolkit LoRA Trainingsreihe. Wenn du neu bei Ostris AI Toolkit bist, beginne mit der AI Toolkit LoRA Training Übersicht, bevor du in diese Anleitung eintauchst.

Inhaltsverzeichnis

1. Qwen 2511 vs 2509: Was ist anders

Qwen 2511 ist kein "schöne Bilder machen"-Checkpoint – es ist ein instruktionsbefolgender Bildeditor. Wenn du vom Qwen 2509 LoRA Training kommst, betrachte 2511 als die "Konsistenz-zuerst" Iteration: Es ist darauf abgestimmt, Drift zu reduzieren, Identität/Struktur zu bewahren und Bearbeitungen auf das Gewünschte zu beschränken (besonders für Produkt-/Industriedesignarbeiten und geometriesensitive Platzierung).

Drei Unterschiede zu Qwen 2509 sind direkt relevant für Qwen Edit 2511 LoRA Training:

Erstens: Stärkere Drift-Resistenz und Identitätsbewahrung. Im Vergleich zu Qwen 2509 hält Qwen 2511 die "unveränderten" Teile stabiler, was deinem LoRA ermöglicht, eine sauberere Bearbeitungsregel zu lernen, anstatt versehentlich den Effekt in Gesichter, Hintergründe oder Komposition einzubacken.

Zweitens: Multi-Image-Conditioning bleibt der Kern, aber das Kontrollsignal muss sauber sein. Wie Qwen 2509 funktioniert Qwen 2511 am besten, wenn du 1-3 Referenzbilder plus eine Anweisung bereitstellst. Der praktische Unterschied ist, dass 2511 gut ausgerichtete Kontrollströme belohnt; wenn die Paarung falsch ist oder Kontrollen schwach sind, wirst du mehr Überbearbeitung und Drift sehen.

Drittens: Mehr eingebaute LoRA-Freundlichkeit (und stärkerer Bedarf an Spezifität). Qwen 2511 kommt mit stärkerer integrierter LoRA-Kapazität in den Basisgewichten. Das ist großartig für praktische, wiederholbare Edit-LoRAs, bedeutet aber auch, dass dein Qwen-Edit-2511 LoRA Training mit einem klaren, engen Mapping trainiert werden sollte, damit es nicht zu einem vagen "Alles-Filter" wird.

2. Das Kernkonzept: Was ein Edit-LoRA tatsächlich lernt

Für Qwen 2511 lernt dein LoRA eine Transformationsregel:

"Gegeben diese Referenzbild(er) und diese Anweisung, produziere das bearbeitete Ergebnis während du die Teile bewahrst, die konsistent bleiben sollen."

Deshalb müssen Edit-Datasets alle drei Komponenten enthalten:

  • Kontroll-/Referenzbild(er): Was bewahrt werden muss (Identität, Geometrie, Beleuchtung, Hintergrund – was auch immer deine Aufgabe erfordert)
  • Anweisung (Caption/Prompt): Was sich ändern muss, explizit formuliert
  • Zielbild: Das "Nachher"-Ergebnis, das die Änderung demonstriert

Wenn du nur "Nachher"-Bilder bereitstellst, hat das Modell kein stabiles Signal für was zu behalten ist, also lernt es einen verrauschten Shortcut: Es könnte Änderungen in Identität, Hintergrund oder Komposition einbacken. Das sieht aus wie "das LoRA ist stark", ist aber tatsächlich unkontrollierte Drift.

Der einfachste Weg zu beurteilen, ob dein Dataset "edit-korrekt" ist: Wenn du die Anweisung entfernst, könnte ein Mensch immer noch ableiten, was sich geändert hat, indem er Kontroll(e) mit Ziel vergleicht? Wenn ja, hast du ein lernbares Edit-Signal. Wenn nein (oder wenn die Änderung mehrdeutig ist), wird dein LoRA fragil sein.

3. Wo trainieren: Lokales AI Toolkit vs RunComfy Cloud AI Toolkit

Lokales AI Toolkit ist am besten, wenn du bereits eine kompatible NVIDIA GPU hast, dich mit der Verwaltung von CUDA/PyTorch-Versionen auskennst und maximale Kontrolle über Dateien und Iteration willst. (Installiere AI Toolkit aus Ostris' GitHub Repo: ostris/ai-toolkit.) Für Qwen Image Edit 2511 LoRA Training kann lokales Training völlig machbar sein – aber das Modell ist schwer, und Multi-Image-Conditioning kann VRAM schnell hochschießen lassen, also wirst du oft auf Quantisierung, Low-VRAM-Modi oder kleinere Auflösungsbuckets angewiesen sein.

RunComfy Cloud AI Toolkit ist der "Setup überspringen"-Pfad und oft die praktische Wahl speziell für Qwen Edit 2511 LoRA Training. Du führst die gleiche AI Toolkit UI im Browser aus, aber mit großen verfügbaren GPUs (und weniger Umgebungsüberraschungen). Es ist auch praktisch für Teams: Datasets, Konfigurationen und Checkpoints bleiben in einem persistenten Workspace, sodass du wie bei einem Produktworkflow iterieren kannst statt eines einmaligen lokalen Experiments.

👉 Hier öffnen: Cloud AI Toolkit auf RunComfy

4. Hardware & VRAM Planung für Qwen-Edit-2511 LoRA Training

Qwen 2511 hat ein großes Backbone und ist für standardmäßig 1024×1024 für beste Ergebnisse ausgelegt. Darüber hinaus erhöht jeder zusätzliche Kontrollbildstrom die Speichernutzung, weil das Modell mehr Conditioning-Informationen verarbeiten muss.

In der Praxis siehst du drei praktikable Stufen für Qwen Edit 2511 LoRA trainieren:

Stufe A: 24-32GB VRAM (aufwändig, aber möglich).

Erwarte aggressive Strategien: Low-VRAM-Modi, Gradient Checkpointing, kleinere Buckets (oft 768 als Startpunkt) und Quantisierung (idealerweise mit Accuracy Recovery Adapter Option, wenn dein Build sie bietet). Halte Batch Size bei 1 und skaliere mit Gradient Accumulation.

Stufe B: 40-48GB VRAM (komfortabel).

Du kannst oft bei 1024 mit einem oder zwei Kontrollströmen trainieren, mit moderater Quantisierung oder sogar meist bf16 je nach deinen genauen Einstellungen. Diese Stufe ist, wo Qwen Edit LoRA Training "wiederholbar" statt "heikel" wird.

Stufe C: 80GB+ VRAM (schnell, reibungsarm).

Du kannst mehr Komponenten in bf16 halten, Multi-Control-Datasets bequem ausführen, öfter samplen und schnell iterieren – das ist das Setup, das du mit RunComfy Cloud AI Toolkit auf großen GPUs bekommst.

Die Kernidee: Auflösung und Anzahl der Kontrollströme sind deine größten VRAM-Hebel. Wenn du feststeckst, ändere diese bevor du anfängst, zufällig die Learning Rate zu tweaken.

5. Dataset-Design, das wirklich für Qwen Edit Modelle funktioniert

5.1 Ordnerstruktur, die zum AI Toolkit Qwen Edit Trainer passt

Eine praktische Struktur, die 90% der Bugs verhindert:

  • targets/ → die bearbeiteten "Nachher"-Bilder
  • control_1/ → erster Referenzbildstrom (oft das "Vorher"-Bild)
  • control_2/ → zweiter Referenzstrom (optional; zweite Person/Produkt/Hintergrund/Design)
  • control_3/ → dritter Strom (selten; nur wenn dein Workflow es wirklich braucht)
  • captions/ → optionale .txt Captions, ausgerichtet nach Dateinamen (oder Captions neben Targets gespeichert, je nach Workflow)

Der wichtige Teil ist die Paarung. AI Toolkit kann nur korrekt trainieren, wenn es targets/0001.png mit control_1/0001.png (und control_2/0001.png, etc.) abgleichen kann. Wenn die Dateireihenfolge abweicht, lernt dein LoRA das falsche Mapping und du bekommst "es trainiert aber sieht zufällig aus."

5.2 Drei Dataset-Muster, die die meisten echten LoRAs abdecken

Muster A: Single-Reference Edit (1 Kontrollbild).

Verwende dies für: Farbänderungen, lokale Objektwechsel, Relighting, Hintergrundersatz, "mach das zu Aquarell," etc. Dein control_1 ist das Originalbild, dein Ziel ist das bearbeitete Ergebnis, und die Caption ist eine direkte Anweisung ("mach den Hut rot"). Dieses Muster ist am einfachsten zu trainieren und zu debuggen.

Muster B: Multi-Reference Fusion (2-3 Kontrollbilder).

Verwende dies für: Person + Person, Person + Szene, Produkt + Hintergrund, "merge diese zwei Identitäten," oder jede Situation, in der das Modell mehrere Quellen bewahren soll. Deine Captions sollten die Rolle jeder Referenz klären ("verwende Person von ref1, Hintergrund von ref2").

Muster C: Design-Insertion Triplets (blank + Design → angewendet).

Dies ist das Dataset-Muster mit dem höchsten ROI für kommerzielle Arbeit: Logos auf Shirts, Aufkleber auf Produkten, Muster auf Stoff, Etiketten auf Verpackungen. control_1 ist das Produkt/die Person ohne das Design, control_2 ist das Designbild, und Ziel ist das finale "Design angewendet"-Bild. Diese Trennung lehrt das LoRA genau, was zu bewahren ist (Geometrie/Beleuchtung/Material) versus was zu ändern ist (die Designregion).

5.3 Captions, die helfen (statt schaden)

Für Edit-LoRAs sollten deine Captions sich wie Anweisungen verhalten, nicht wie Beschreibungen. "Ein Mann trägt ein Shirt, draußen" ist nicht nützlich; "Platziere das bereitgestellte Logo zentriert auf der Brust, bewahre Stofffalten und Beleuchtung" ist nützlich.

Eine gute Anweisungs-Caption enthält normalerweise:

  • die beabsichtigte Änderung
  • was bewahrt werden muss
  • alle Platzierungs- oder Geometriebeschränkungen (besonders für Design-Insertion)

Halte Captions konsistent über das Dataset. Konsistenz macht das Mapping leichter zu lernen und macht dein LoRA kontrollierbarer bei der Inferenz.

5.4 Wie viele Samples brauchst du?

Für enge, wiederholbare Bearbeitungen (Logo-Insertion, eine spezifische Relighting-Regel, eine konsistente Materialtransformation) kannst du oft mit 20-60 gut konstruierten Triplets starten. Für breitere Stilisierung oder Multi-Subject-Fusion, plane mit 60-200+ Beispielen, weil der Raum von "was konsistent bleiben soll" größer ist.

Wenn du unsicher bist, starte klein mit einem "Smoke Test" Set von 8-12 Samples. Das Ziel des Smoke Tests ist nicht Qualität – es ist zu bestätigen, dass deine Paarung und Kontrollen-Verdrahtung funktioniert, bevor du in einen langen Lauf investierst.

6. Schritt-für-Schritt: Qwen Edit 2511 LoRA trainieren im AI Toolkit

6.1 Erstelle deine Datasets im AI Toolkit (Targets + Control Streams)

In DATASETS (siehe Abschnitt 5 für die Ordnerstruktur-Logik):

  • Erstelle ein Dataset für targets/, dann füge control_1 / control_2 / control_3 hinzu, wenn du sie verwendest.
  • Verifiziere, dass Anzahlen und Dateinamen-Paarung über Targets und Controls übereinstimmen (stichprobenartig ~10 Samples prüfen).
  • Wenn du Captions verwendest, setze die Caption-Erweiterung (normalerweise .txt) und halte Caption-Dateinamen mit Targets abgestimmt.

6.2 Erstelle einen neuen Job

In JOB:

  • Wähle einen Trainingsnamen, den du später wiedererkennst.
  • Setze ein Trigger-Wort nur, wenn das LoRA mit einem einzelnen Keyword "aufrufbar" sein soll. Für viele Edit-LoRAs reicht die Anweisung selbst, und ein Trigger ist optional.
  • Setze Steps auf etwas Konservatives für den ersten Lauf (du validierst das Setup, nicht das perfekte Endmodell).

In MODEL:

  • Wähle die Qwen Image Edit "Plus" Architektur (die Multi-Image Edit Variante).
  • Name or Path – die Hugging Face model id (repo id) für den Basis-Checkpoint, z.B.: Qwen/Qwen-Image-Edit-2511.

    In den meisten AI Toolkit Builds wird die Auswahl der Modellarchitektur diesen Wert automatisch ausfüllen; lass ihn so, es sei denn du hast einen Grund ihn zu ändern.

  • Verwende bf16 wenn dein GPU es unterstützt; sonst kann FP16 funktionieren, aber bf16 ist meist stabiler wenn verfügbar.
  • Aktiviere "Low VRAM" oder Offloading-Optionen nur wenn nötig; starte einfach wenn möglich.

In QUANTIZATION (nur wenn nötig):

  • Bei 24-32GB, quantisiere zuerst den Transformer/Backbone. Wenn dein Build eine "with ARA" Option für Qwen 2511 bietet, bevorzuge diese gegenüber einfacher Low-Bit-Quantisierung, weil sie mehr Qualität beibehält.
  • Quantisiere den Text Encoder/Conditioning-Teil nur wenn VRAM nach Transformer-Quantisierung immer noch eng ist.

In TARGET / NETWORK (LoRA Einstellungen):

  • Starte mit moderatem Rank. Für "regel-ähnliche" Bearbeitungen (Logo-Insertion, Relighting) brauchst du oft keinen extremen Rank.
  • Wenn dein Build separate Linear/Conv Ranks exponiert, halte Conv konservativ, es sei denn du hast Beweise, dass es deiner spezifischen Aufgabe hilft. Überparametrisierung ist ein schneller Weg zu Overfitting und Drift.

In TRAINING:

  • Halte Batch Size = 1 und verwende Gradient Accumulation um den effektiven Batch bei Bedarf zu erhöhen.
  • Starte mit AdamW 8-bit wenn du VRAM-beschränkt bist.
  • Verwende die Qwen-empfohlenen/Standard-Scheduler-Einstellungen, die dein Build bietet (für Qwen Edit Jobs ist dies normalerweise ein Flow-Matching Scheduler).
  • Lass "train text encoder" beim ersten erfolgreichen Lauf aus, es sei denn du hast einen spezifischen Grund, Sprachverhalten anzupassen. Die meisten praktischen Edit-LoRAs brauchen nur Backbone/Transformer-Anpassung.
  • Schalte Gradient Checkpointing ein, wenn VRAM eng ist.

In DATASETS / RESOLUTIONS (Buckets):

  • Wenn du es dir leisten kannst, ist 1024 ein starker Standard für Qwen Edit Qualität.
  • Bei VRAM-Beschränkung verwende 768 für den ersten Lauf, dann skaliere später hoch, sobald du bestätigt hast, dass die Pipeline korrekt verdrahtet ist.
  • Bevorzuge ein kleines Set von Buckets (z.B. 768 und 1024) statt einer chaotischen Verteilung, die das Mapping inkonsistent macht.

In SAMPLE / PREVIEWS:

Sampling ist dein Frühwarnsystem. Konfiguriere 1-3 Preview-Prompts, die deinen echten Anwendungsfall repräsentieren, und verwende immer die gleichen festen Kontrollbilder und Seed, damit du Checkpoints visuell vergleichen kannst.

Eine gute Sampling-Frequenz für frühe Läufe:

  • sample alle 100-250 Schritte früh
  • speichere Checkpoints alle 250-500 Schritte
  • behalte nur eine Handvoll neuerer Checkpoints, um Festplatten-Bloat zu vermeiden

6.3 Wie du erkennst, dass Training funktioniert

Nach ~200-500 Schritten solltest du mindestens eines dieser Dinge sehen:

  • die Bearbeitung beginnt konsistent zu passieren
  • die bewahrten Teile (Identität/Hintergrund/Geometrie) bleiben stabiler als "zufällige Generierung"
  • die Änderung entspricht der Caption-Anweisung richtungsmäßig

Wenn du nur Rauschen siehst, oder das Modell Kontrollen ignoriert, "fixe" es nicht zuerst mit Learning Rate. Fixe Paarung, Kontrollen-Verdrahtung und zero_cond_t zuerst.

7. Der 2511-spezifische Schalter: zero_cond_t

Dies ist ein wichtiges 2511-spezifisches Detail. zero_cond_t ändert, wie Timesteps über Streams angewendet werden, wenn das Modell einen entrauschten Stream (das generierte Bild) und Conditioning-Streams (deine Referenz-/Kontrollbilder) hat. Mit aktiviertem zero_cond_t werden die Conditioning-Bilder als saubere Referenzen behandelt (effektiv Timestep 0), während das Hauptbild dem normalen Diffusions-Timestep-Zeitplan folgt.

Wenn deine Conditioning-Bilder zusammen mit dem Hauptstream "verrauscht" werden, hat das Modell eine schwächere, verschwommenere Referenz für Identität/Struktur. Das erhöht direkt Drift und verringert Edit-Treue. Kontrollen bei Timestep 0 zu halten ist eine saubere Engineering-Entscheidung, die mit dem Ziel "bewahre die Referenz" übereinstimmt.

Für Qwen 2511, behandle zero_cond_t als Kompatibilitätsanforderung, nicht als Hyperparameter:

  • Aktiviere es für Training.
  • Halte es für Inferenz aktiviert.
  • Wenn deine Ergebnisse unerwartet driftiger aussehen als wofür 2511 bekannt ist, ist dies das erste, was zu überprüfen ist.

8. Häufige Trainingsfehler und Lösungen

8.1 "Missing control images for QwenImageEditPlusModel"

Wenn du das siehst, sagt AI Toolkit dir, dass es zur Trainingszeit keine Kontrollbilder erhalten hat. Die häufigsten Ursachen sind:

  • du hast das Targets-Dataset angehängt, aber control_1 / control_2 nicht in der Dataset/Job-Verdrahtung zugewiesen
  • der Control-Ordnerpfad ist falsch oder leer
  • Target/Control-Anzahlen stimmen nicht überein, sodass Controls für einige Samples nicht geladen werden

Behebe es, indem du Controls explizit machst: Überprüfe Dataset-Zuweisungen, bestätige Ordnerpfade und stelle sicher, dass Dateinamen/Anzahlen über Streams übereinstimmen.

8.2 "tuple index out of range" / Tensor-Shape-Fehler früh im Training

Das bedeutet fast immer, dass der Loader einen Bildtensor erwartet hat, aber None oder eine unerwartete Shape bekommen hat. Die zugrundeliegenden Gründe sind normalerweise langweilig aber behebbar:

  • eine korrupte Bilddatei
  • nicht unterstützter Bildmodus (CMYK, Graustufen)
  • ein fehlendes Kontrollbild für einen bestimmten Index (Paarungsfehler)

Deine Fix-Schleife sollte sein: Validiere Datenintegrität → validiere Paarung → führe einen winzigen Smoke Test (3-5 Samples) durch bevor du einen großen Job neu startest.

8.3 KeyError: 'pixel_values' (oft verursacht durch Graustufenbilder)

Qwen Edit Pipelines erwarten typischerweise RGB-Bilder. Graustufenbilder (Einzelkanal) können Feature-Extraktion brechen und pixel_values Fehler verursachen. Konvertiere deine Dataset-Bilder zu Standard 3-Kanal RGB PNG/JPG und versuche es erneut.

8.4 Out of Memory (OOM), besonders während Sampling

Multi-Image Edit Training kann während Preview-Sampling VRAM spiken, weil es zusätzliche Forward-Passes ausführt und möglicherweise größere Zwischenpuffer verwendet.

Behebe OOM in dieser Reihenfolge:

  1. Reduziere Preview-Frequenz oder Preview-Auflösung
  2. Halte Batch Size bei 1, erhöhe Gradient Accumulation
  3. Reduziere Buckets (oder geh runter auf 768)
  4. Aktiviere Quantisierung/Offloading
  5. Trainiere temporär mit weniger Kontrollströmen während des Debuggens
  6. Wenn du lokal immer noch OOM hast, führe den gleichen Job in RunComfy Cloud AI Toolkit auf einer größeren GPU aus

8.5 LoRA lädt aber "tut nichts" (oder lädt mit fehlenden Keys) in ComfyUI

Wenn ein LoRA nichts tut, ist es normalerweise eines von:

  • du lädst es in eine andere Architektur als für die es trainiert wurde
  • die LoRA-Skalierung ist zu niedrig, um es zu bemerken
  • es gibt einen Key-Prefix-Mismatch zwischen dem, was der Inferenz-Stack erwartet, und dem, was der Trainer gespeichert hat

Wenn du fehlende Key-Warnungen speziell für Qwen LoRAs siehst, ist ein bekannter Workaround, den LoRA State Dict Key-Prefix umzuschreiben (z.B. diffusion_model. Keys zu transformer. Keys mappen). Wenn dein AI Toolkit Build und deine ComfyUI Nodes beide aktuell sind, könnte dies bereits behoben sein – aber es ist das Erste, was zu versuchen ist, wenn du systematische "keys not loaded" Probleme siehst.

9. Verwendung deines trainierten LoRA (Playground + ComfyUI)

Sobald das Training abgeschlossen ist, ist der schnellste Weg, dein Qwen 2511 LoRA zu testen, es im Qwen‑Image‑Edit‑2511 LoRA Playground zu laden; wenn du einen wiederholbaren Node-Graph für echte Arbeit willst, starte vom Qwen‑Image‑Edit‑2511 ComfyUI Workflow und tausche dein LoRA ein.

Weitere AI Toolkit LoRA Training Anleitungen

Ready to start training?