SDXL LoRA Inferenz: Führen Sie AI Toolkit LoRA in ComfyUI für Training-Übereinstimmende Ergebnisse aus#

SDXL LoRA Inferenz: training-übereinstimmende Ergebnisse mit weniger Schritten in ComfyUI. Dieser Workflow führt Stable Diffusion XL (SDXL) mit AI Toolkit-trainierten LoRAs über RunComfy’s RC SDXL (RCSDXL) Benutzerdefinierten Knoten aus (open-sourced in den runcomfy-com GitHub organization repositories). Indem eine SDXL-spezifische Pipeline (anstatt eines generischen Sampler-Diagramms) umhüllt wird und das Laden und Skalieren von LoRA (lora_path / lora_scale) mit SDXL-korrekten Standardeinstellungen standardisiert wird, bleiben Ihre ComfyUI-Ausgaben viel näher an dem, was Sie in den Trainingsvorschauen gesehen haben.

Wenn Sie ein SDXL LoRA im AI Toolkit (RunComfy Trainer oder anderswo) trainiert haben und Ihre ComfyUI-Ergebnisse im Vergleich zu den Trainingsvorschauen „abweichen“, ist dieser Workflow der schnellste Weg, um zum training-übereinstimmenden Verhalten zurückzukehren.

So verwenden Sie den SDXL LoRA Inferenz-Workflow#

Schritt 1: Öffnen Sie den Workflow#

Öffnen Sie den RunComfy SDXL LoRA Inferenz-Workflow

Schritt 2: Importieren Sie Ihr LoRA (2 Optionen)#

• Option A (RunComfy Trainingsergebnis): RunComfy → Trainer → LoRA Assets → Finden Sie Ihr LoRA → ⋮ → LoRA-Link kopieren
  
• Option B (AI Toolkit LoRA außerhalb von RunComfy trainiert): Kopieren Sie einen direkten .safetensors Download-Link für Ihr LoRA und fügen Sie diese URL in lora_path ein.
  

Schritt 3: Konfigurieren Sie RCSDXL für SDXL LoRA Inferenz#

Stellen Sie im RCSDXL SDXL LoRA Inferenz Knoten-UI die verbleibenden Parameter ein:

• prompt: Ihr primärer Text-Prompt (einschließlich aller Trigger-Tokens, die Sie während des Trainings verwendet haben)
• negative_prompt: optional; lassen Sie es leer, wenn Sie keines in den Trainingsvorschauen verwendet haben
• width / height: Ausgabeauflösung
• sample_steps: Sampling-Schritte (passen Sie Ihre Trainingsvorschau-Einstellungen an, wenn Sie Ergebnisse vergleichen)
• guidance_scale: CFG / Leitung (entspricht dem Trainingsvorschau-CFG)
• seed: Verwenden Sie einen festen Seed für die Reproduzierbarkeit; ändern Sie ihn, um Variationen zu erkunden
• lora_scale: LoRA Stärke/Intensität

Wenn Sie das Sampling während des Trainings angepasst haben, öffnen Sie die AI Toolkit Trainings-YAML und kopieren Sie die gleichen Werte hierher—insbesondere width, height, sample_steps, guidance_scale und seed. Wenn Sie auf RunComfy trainiert haben, können Sie auch die LoRA Config in Trainer → LoRA Assets öffnen und die Vorschau-/Sample-Werte kopieren.

Schritt 4: Führen Sie SDXL LoRA Inferenz aus#

• Klicken Sie Queue/Run → Die Ausgabe wird automatisch über SaveImage gespeichert

Warum SDXL LoRA Inferenz in ComfyUI oft anders aussieht & Was der RCSDXL Benutzerdefinierte Knoten tut#

Die meisten SDXL LoRA-Abweichungen werden nicht durch einen falschen Schalter verursacht—sie treten auf, weil sich die Inferenz-Pipeline ändert. AI Toolkit Trainingsvorschauen werden durch eine modellspezifische SDXL Inferenz-Implementierung generiert, während viele ComfyUI-Diagramme aus generischen Komponenten rekonstruiert werden. Selbst mit dem gleichen Prompt, Schritten, CFG und Seed kann eine andere Pipeline (und LoRA-Injektionsweg) deutlich unterschiedliche Ergebnisse liefern.

Der RC SDXL (RCSDXL) Knoten umhüllt eine SDXL-spezifische Inferenz-Pipeline, sodass SDXL LoRA Inferenz an die AI Toolkit Trainingsvorschau-Pipeline angepasst bleibt und konsistente LoRA-Injektionsverhalten für SDXL verwendet. Referenzimplementierung: `src/pipelines/sdxl.py`

Fehlerbehebung bei SDXL LoRA Inferenz#

Die meisten „Trainingsvorschau vs ComfyUI Inferenz“ Probleme entstehen durch Pipeline-Abweichungen, nicht durch einen einzigen falschen Parameter. Wenn Ihr LoRA mit AI Toolkit (SDXL) trainiert wurde, ist der zuverlässigste Weg, training-übereinstimmendes Verhalten in ComfyUI wiederherzustellen, die Inferenz über RunComfy’s RCSDXL Benutzerdefinierten Knoten auszuführen, der SDXL Sampling + LoRA Injektion auf Pipeline-Ebene angleicht.

(1) Inferenz auf lora .safetensor Dateien sdxl Modell stimmt nicht mit Proben im Training überein#

Warum das passiert

Selbst wenn das LoRA geladen wird, können die Ergebnisse immer noch abweichen, wenn Ihr ComfyUI-Diagramm nicht mit der Trainingsvorschau-Pipeline übereinstimmt (andere SDXL-Standardeinstellungen, andere LoRA-Injektionswege, andere Verfeinerungshandhabung).

Wie man es behebt (empfohlen)

• Verwenden Sie RCSDXL und fügen Sie Ihren direkten .safetensors Link in lora_path ein.
• Kopieren Sie die Sampling-Werte aus Ihrer AI Toolkit Trainingskonfiguration (oder RunComfy Trainer → LoRA Assets Config): width, height, sample_steps, guidance_scale, seed.
• Halten Sie „extra Geschwindigkeit Stapel“ (LCM/Lightning/Turbo) aus dem Vergleich heraus, es sei denn, Sie haben mit ihnen trainiert/gesampelt.

(2) SDXL lora Schlüssel nicht geladen "lora_te2_text_projection.*"#

Warum das passiert

Ihr LoRA enthält SDXL Text Encoder 2 Projektionsschlüssel, die Ihr aktueller Ladepfad nicht anwendet (leicht zu treffen, wenn Injektions-/Schlüsselzuordnung nicht mit SDXLs Dual-Encoder-Setup übereinstimmt).

Wie man es behebt (am zuverlässigsten)

• Verwenden Sie RCSDXL und laden Sie das LoRA über lora_path innerhalb des Knotens (Pipeline-Ebenen-Injektion).
• Halten Sie lora_scale konsistent und inkludieren Sie die gleichen Trigger-Tokens, die während des Trainings verwendet wurden.
• Wenn Warnungen bestehen bleiben, versuchen Sie den genauen Basis-Checkpoint, der im Training verwendet wurde (nicht übereinstimmende SDXL-Varianten können fehlende/ignorierte Schlüssel erzeugen).

(3) Kann LoRAs mit SDXL nicht mehr verwenden#

Warum das passiert

Nach dem Aktualisieren von ComfyUI / Benutzerdefinierten Knoten kann sich die SDXL LoRA-Anwendung ändern (Ladeverhalten, Caching, Speicherverhalten), wodurch zuvor funktionierende Diagramme fehlschlagen oder abweichen.

Wie man es behebt (empfohlen)

• Verwenden Sie RCSDXL um den SDXL Inferenzpfad stabil und trainingsangepasst zu halten.
• Leeren Sie das Modell/Knoten-Cache oder starten Sie die Sitzung nach Updates neu (besonders wenn sich das Verhalten nur ändert, nachdem Sie LoRA/Ladeeinstellungen angepasst haben).
• Zum Debuggen führen Sie zuerst einen minimalen Basis-Only SDXL Workflow aus, dann fügen Sie die Komplexität wieder hinzu.

(4) Scheduling Hook LoRA falscher CLIP-Cache beim nächsten Lauf nach Wertänderung#

Warum das passiert

Hook/Scheduling-Workflows können zwischengespeicherten CLIP-Zustand nach Parameteränderungen wiederverwenden, was die Reproduzierbarkeit bricht und das LoRA-Verhalten von Lauf zu Lauf inkonsistent erscheinen lässt.

Wie man es behebt (empfohlen)

• Für training-übereinstimmende Inferenz bevorzugen Sie RCSDXL mit einfachem lora_path / lora_scale zuerst (vermeiden Sie Hook/Scheduling-Schichten, bis die Basis übereinstimmt).
• Wenn Sie Hook/Scheduling-Knoten verwenden müssen, leeren Sie den Cache (oder starten Sie neu) nach dem Ändern von Hook-Parametern und führen Sie dann mit dem gleichen Seed erneut aus.

(5) Ksampler-Fehler beim Versuch, LORA in Inpainting SDXL zu verwenden#

Warum das passiert

Inpainting-Stapel patchen das Modell während des Samplings. Einige Benutzerdefinierte Knoten / Helper-Wrapper können mit LoRA-Patching in Konflikt geraten, wenn Sie Einstellungen während der Sitzung ändern, was KSampler/Inpaint-Arbeiter-Fehler auslöst.

Wie man es behebt (empfohlen)

• Bestätigen Sie, dass das LoRA in RCSDXL in einem einfachen txt2img Workflow funktioniert (Pipeline-Ebenen-Basis).
• Fügen Sie Inpainting zurück, eine Komponente nach der anderen. Wenn der Fehler nur nach Änderungen auftritt, starten Sie neu/leeren Sie den Cache, bevor Sie erneut ausführen.
• Wenn das Problem nur mit einem bestimmten Hilfsknoten auftritt, versuchen Sie den Vanilla-Inpaint-Pfad oder aktualisieren/deaktivieren Sie den konflikterzeugenden Benutzerdefinierten Knoten.

(6) Ich bekomme diesen Fehler clip fehlt: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']#

Warum das passiert

Dies bedeutet normalerweise, dass die geladenen CLIP/Text-Encoder-Assets nicht mit dem SDXL-Checkpoint übereinstimmen, den Sie ausführen (fehlende erwartete SDXL CLIP-Gewichte), was auch das LoRA-Verhalten „abweichen“ lassen kann.

Wie man es behebt (empfohlen)

• Stellen Sie sicher, dass Sie ein korrektes SDXL-Checkpoint-Setup mit korrekten SDXL Text-Encodern/CLIP-Komponenten verwenden.
• Führen Sie dann LoRA-Inferenz über RCSDXL aus, sodass der SDXL-Konditionierungspfad durchgängig konsistent bleibt.

Führen Sie jetzt SDXL LoRA Inferenz aus#

Öffnen Sie den RunComfy SDXL LoRA Inferenz Workflow, fügen Sie Ihr LoRA in lora_path ein und führen Sie RCSDXL für training-übereinstimmende SDXL LoRA Inferenz in ComfyUI aus.