logo
RunComfy
Guides d'entraînement LoRA AI Toolkit

Entraînement LoRA FLUX.2 Klein 4B et 9B avec Ostris AI Toolkit

Ce guide montre comment entraîner des LoRAs FLUX.2 Klein pratiques (4B et 9B Base) avec Ostris AI Toolkit. Vous apprendrez la différence critique de sampling Base vs Distilled, les règles de compatibilité 4B/9B, comment construire des datasets personnage/style/produit, la planification VRAM de 24GB à H100/H200, et comment résoudre les problèmes spécifiques à Klein comme le collapse 9B.

Entraînez des modèles de diffusion avec Ostris AI Toolkit

← Faites défiler horizontalement pour voir le formulaire complet →

Ostris AI ToolkitOstrisAI-Toolkit

New Training Job

Job

Model

Use a Hugging Face repo ID (e.g. owner/model-name).
⚠️ full URLs, .safetensors files, and local files are not supported.

Quantization

Target

Save

Training

Datasets

Dataset 1

Sample

Entraînement LoRA FLUX.2 Klein (4B & 9B) avec Ostris AI Toolkit

FLUX.2 Klein est une famille de modèles unifiée pour le text‑to‑image + l’édition d’images qui existe en deux tailles “Base” à poids ouverts : 4B et 9B. Ce guide d’Entraînement LoRA FLUX.2 Klein explique comment entraîner des LoRAs FLUX.2 Klein réellement utiles avec Ostris AI Toolkit, en mettant l’accent sur ce qui est spécifique à Klein (attentes Base vs Distilled, compatibilité 4B vs 9B, contraintes VRAM, et modes d’échec typiques de Klein).

Si vous êtes arrivé ici via des variantes comme « Formation LoRA FLUX 2 Klein », « Comment entraîner LoRA FLUX.2 Klein », « FLUX.2 [Klein] LoRA entraînement » ou « LoRA FLUX.2 Klein 4B / 9B », cet Entraînement LoRA FLUX.2 Klein répond précisément à ces besoins.

À la fin de cet Entraînement LoRA FLUX.2 Klein, vous saurez :

  • Choisir correctement FLUX.2 Klein 4B Base vs 9B Base (et éviter les problèmes de LoRA liés au “mauvais modèle”).
  • Planifier la VRAM et définir de bons réglages par défaut de quantification + sampling pour Klein Base.
  • Construire un dataset et une stratégie de trigger pour des LoRAs personnage, style ou produit/concept.
  • Lancer un smoke test avec un sampling Base correct, puis monter en échelle sans deviner.
  • Corriger les problèmes fréquents propres à Klein (gating de licence, décalage de test Base vs Distilled, patterns de “collapse” en 9B, et edge cases actuels d’AI Toolkit).
Cet article fait partie de la série de guides d’entraînement LoRA avec AI Toolkit. Si vous débutez avec Ostris AI Toolkit, commencez par l’overview avant cet Entraînement LoRA FLUX.2 Klein :
https://www.runcomfy.com/fr/trainer/ai-toolkit/getting-started

Table des matières

1. Aperçu de FLUX.2 Klein : différences 4B/9B (et pourquoi le sampling Base compte dans l’Entraînement LoRA FLUX.2 Klein)

Dans cet Entraînement LoRA FLUX.2 Klein, ne mélangez pas les tailles : 4B avec 4B, 9B avec 9B.

1.1 Klein = “un seul modèle pour générer + éditer”

Klein est conçu comme une famille unique pour la génération text‑to‑image et l’édition d’images. Concrètement, une LoRA de style/personnage/produit apprise via l’Entraînement LoRA FLUX.2 Klein peut souvent servir à la fois en “generate” et en “edit” : vos données et vos captions déterminent ce qu’elle apprend.

1.2 4B vs 9B : choisissez selon l’objectif et le matériel

  • 4B Base est le meilleur point de départ pour la plupart des usages d’Entraînement LoRA FLUX.2 Klein : itérations plus rapides, VRAM plus facile à tenir, et stabilité généralement meilleure.
  • 9B Base peut offrir une meilleure fidélité au prompt et plus de détails si vous pouvez assumer la VRAM et le réglage de stabilité, mais c’est moins tolérant (et on voit davantage d’“edge cases” dans la communauté).

Règle de compatibilité importante :

Une LoRA 4B ne fonctionne pas sur 9B, et une LoRA 9B ne fonctionne pas sur 4B. En Entraînement LoRA FLUX.2 Klein comme au test, chargez toujours la LoRA sur la même taille de Klein que celle utilisée à l’entraînement.

1.3 Base vs Distilled (et ce qu’AI Toolkit supporte aujourd’hui)

Klein est souvent décrit via deux “comportements” :

  • Base = checkpoints non distillés destinés au fine‑tuning / entraînement LoRA.
  • Distilled = inférence accélérée (très peu de steps).

Dans AI Toolkit, vous choisissez uniquement : _FLUX.2 Klein 4B Base_ ou _FLUX.2 Klein 9B Base_.

Il n’y a pas d’option Distilled dans “Model Architecture”, donc cet Entraînement LoRA FLUX.2 Klein est volontairement Base‑only.

1.4 Le piège #1 de Klein : Base nécessite plus de steps d’inférence

Dans l’Entraînement LoRA FLUX.2 Klein, ce point explique pourquoi Base paraît mauvais à faible nombre de steps.

Beaucoup de “ma LoRA est nulle” viennent du fait qu’on sample Base comme si c’était Distilled.

Si vous prévisualisez Klein Base à ~4–8 steps, l’image sera “pas assez cuite” ou bruitée.

Pour évaluer correctement pendant l’Entraînement LoRA FLUX.2 Klein, utilisez :

  • Sample Steps / Inference Steps : ~50
  • Guidance Scale (CFG) : ~4

Ce simple réglage élimine une grande partie des faux diagnostics en Entraînement LoRA FLUX.2 Klein.

2. Options d’environnement : AI Toolkit en local vs AI Toolkit cloud sur RunComfy (Entraînement LoRA FLUX.2 Klein)

Dans cet Entraînement LoRA FLUX.2 Klein, le workflow est identique en local et en cloud ; seule la VRAM disponible change.

Vous pouvez exécuter AI Toolkit de deux manières pour cet Entraînement LoRA FLUX.2 Klein :

  • AI Toolkit local (votre GPU)

    Installez AI Toolkit depuis GitHub, lancez la Web UI, et entraînez sur votre machine. C’est un bon choix si vous avez déjà un GPU NVIDIA compatible et que vous êtes à l’aise avec CUDA/drivers/disque.

  • AI Toolkit cloud sur RunComfy (H100 / H200)

    Ouvrez AI Toolkit dans le navigateur et entraînez sur des GPUs cloud (H100 80GB / H200 141GB). C’est la voie la plus simple pour des runs 9B Base en Entraînement LoRA FLUX.2 Klein, des datasets volumineux, ou du high‑res sans compromis VRAM.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Le workflow et l’UI sont identiques : seule la localisation du GPU change.

3. Matériel & planification VRAM pour l’entraînement LoRA FLUX.2 Klein 4B vs 9B

Pour cet Entraînement LoRA FLUX.2 Klein, prévoyez toujours une marge VRAM.

3.1 “Ça rentre en inférence” ≠ “ça rentre à l’entraînement”

En Entraînement LoRA FLUX.2 Klein, comptez l’overhead d’entraînement en plus du modèle.

Même si un checkpoint “tient” en inférence BF16, l’entraînement ajoute de l’overhead (états d’optimiseur, activations, modules LoRA, previews de sampling). En Entraînement LoRA FLUX.2 Klein, prévoyez de la marge.

3.2 Paliers pratiques (à quoi s’attendre)

Une planification simple pour l’Entraînement LoRA FLUX.2 Klein :

  • 4B Base
    • Pratique en local avec 24GB si vous restez conservateur (batch 1, ranks raisonnables, quantification si besoin).
    • On peut parfois entraîner à plus petite résolution avec moins de VRAM, mais l’itération devient plus fragile.
  • 9B Base
    • Considérez 32GB+ comme un plancher local réaliste pour un Entraînement LoRA FLUX.2 Klein confortable.
    • Pour itérer facilement en haute résolution : les GPUs cloud (H100/H200) sont l’option “sans drama”.

3.3 Avertissement spécifique à Klein : 9B + astuces agressives de mémoire

Des retours communauté indiquent que certains setups 9B sont plus sensibles en Entraînement LoRA FLUX.2 Klein, surtout avec de fortes stratégies d’économie mémoire. Si vous êtes à VRAM très serrée, il est souvent plus productif de :

1) entraîner d’abord 4B Base en Entraînement LoRA FLUX.2 Klein, ou

2) déplacer le run sur des GPUs cloud,

plutôt que de lutter avec un 9B local instable.

4. Construire un dataset pour l’Entraînement LoRA FLUX.2 Klein (personnage vs style vs produit)

Dans cet Entraînement LoRA FLUX.2 Klein, un dataset propre vaut souvent mieux que des réglages complexes.

Gardez le workflow simple : d’abord des données propres, ensuite les réglages. C’est le chemin le plus rapide en Entraînement LoRA FLUX.2 Klein.

4.1 Règles dataset universelles (fort impact)

  • Retirez les quasi‑doublons, sauf si vous voulez volontairement qu’une image domine.
  • Évitez watermarks, overlays UI et blocs de texte, sauf si la LoRA doit apprendre ces artefacts.
  • Gardez un signal cohérent : votre Entraînement LoRA FLUX.2 Klein doit apprendre identité ou style ou produit, pas des coïncidences d’arrière‑plan.

4.2 LoRAs personnage / likeness

Objectif : identité cohérente sur de nombreux prompts.

  • Dataset typique : 20–60 images curées
  • La variété compte : angles, lumière, expressions, focales
  • Captions : courtes ; évitez de sur‑décrire les détails du visage

Trigger : recommandé

Utilisez un token/nom unique pour un contrôle on/off propre dans l’Entraînement LoRA FLUX.2 Klein.

4.3 LoRAs de style

Objectif : un rendu réutilisable sans dégrader la fidélité au prompt.

  • Dataset typique : 50–200 images (la variété aide)
  • Mélangez les sujets : personnes + objets + scènes, pour que le style soit la constante
  • Captions : mettez en avant les attributs de style (médium, palette, vocabulaire de lumière)

Trigger : optionnel

Si vous voulez un “style appelable”, ajoutez un trigger dans l’Entraînement LoRA FLUX.2 Klein.

4.4 LoRAs produit / concept

Objectif : géométrie/matériaux stables pour un produit ou un concept.

  • Dataset typique : 30–100 images
  • Gardez cadrage et échelle relativement constants au début
  • Utilisez les captions pour nommer le produit et les attributs clés à préserver

Trigger : fortement recommandé

Produits/concepts bénéficient beaucoup d’un contrôle d’activation explicite en Entraînement LoRA FLUX.2 Klein.

5. Pas à pas : entraîner une LoRA FLUX.2 Klein dans AI Toolkit (Entraînement LoRA FLUX.2 Klein)

Cet Entraînement LoRA FLUX.2 Klein suit l’ordre des panels de l’UI pour rester reproductible.

Voici le fast‑path de l’Entraînement LoRA FLUX.2 Klein. Il est volontairement centré sur les panels que les utilisateurs cliquent vraiment.

Step 0 — Choisissez où exécuter AI Toolkit

En Entraînement LoRA FLUX.2 Klein, local vs cloud change surtout la contrainte VRAM, pas le workflow.

  • AI Toolkit en local (votre GPU) — adapté au 4B Base et aux runs modestes en Entraînement LoRA FLUX.2 Klein.
  • AI Toolkit cloud sur RunComfy — idéal pour 9B Base et le high‑res sans tuning VRAM.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Step 1 — Créer un dataset dans AI Toolkit

Pour l’Entraînement LoRA FLUX.2 Klein, la cohérence des captions pèse souvent plus que la quantité brute.

Dans l’UI AI Toolkit, ouvrez l’onglet Datasets.

Créez un dataset (exemple) :

  • klein_my_lora_v1

Uploadez vos images et (optionnellement) des fichiers .txt de captions correspondants.

Si vous n’êtes pas prêt à captionner image par image, pour l’Entraînement LoRA FLUX.2 Klein vous pouvez démarrer avec :

  • un Trigger Word (panel JOB), et
  • une Default Caption courte (panel DATASETS).

Step 2 — Créer un nouveau Job (configurer les panels dans l’ordre de l’UI)

En Entraînement LoRA FLUX.2 Klein, configurez panel par panel dans l’ordre de l’UI pour réduire les erreurs.

Job panel

  • Training Name : quelque chose de descriptif (ex. klein4b_character_lora_v1)
  • GPU ID : choisissez votre GPU en local ; en cloud laissez le défaut
  • Trigger Word :
    • Personnage/produit : recommandé (token unique)
    • Style : optionnel (recommandé si vous voulez un contrôle on/off propre)

Model panel

  • Model Architecture : FLUX.2 Klein 4B Base ou FLUX.2 Klein 9B Base
  • Name or Path :
    • Utilisez le repo officiel correspondant à la taille choisie pour l’Entraînement LoRA FLUX.2 Klein
    • Si vous sélectionnez 9B et que les téléchargements échouent : voir Troubleshooting (gating de licence)

Quantization panel

La quantification sert surtout, en Entraînement LoRA FLUX.2 Klein, à faire rentrer le run et à garder la stabilité.

  • Si vous entraînez avec VRAM serrée (surtout en 9B), activez la quantification pour les composants lourds.
  • Si vous voyez des erreurs liées à la quantification, désactivez‑la temporairement pour valider le pipeline, puis réactivez une fois l’entraînement lancé.

Target panel

Ici, vous choisissez la capacité LoRA de l’Entraînement LoRA FLUX.2 Klein.

  • Target Type : LoRA
  • Linear Rank (defaults de départ) :
    • 4B Base : commencez à 16, montez à 32 si underfitting
    • 9B Base : commencez à 16–32 (préférez 16 si vous avez déjà vu de l’instabilité)

Si votre run “collapse” ou devient instable, réduire le rank est l’un des stabilisateurs les plus rapides en Entraînement LoRA FLUX.2 Klein.

Save panel

  • Data Type : BF16 est un défaut sûr pour les LoRAs diffusion modernes
  • Save Every : 250–500 steps est une cadence pratique
  • Max Step Saves to Keep : 3–6 (garde l’usage disque raisonnable)

Training panel

Pour votre premier Entraînement LoRA FLUX.2 Klein, gardez ça simple et conservateur :

  • Batch Size : 1 (n’augmentez que si vous avez de la marge)
  • Gradient Accumulation : 1–4 (augmente le batch effectif sans pics VRAM)
  • Learning Rate :
    • commencez à 1e‑4 si le run est stable
    • si vous voyez instabilité/“collapse”, essayez 5e‑5
  • Steps (plages de départ pratiques) :
    • petits datasets (20–40 imgs) : 2000–4000
    • datasets moyens (50–120 imgs) : 3000–6000

Si vous hésitez, faites d’abord un smoke test de l’Entraînement LoRA FLUX.2 Klein :

  • lancez ~1000 steps, vérifiez les samples, puis décidez (continuer ou redémarrer avec rank/LR ajustés).

Regularization (fortement recommandé pour Klein 9B si vous observez du collapse)

Si vous avez un dataset étroit (un seul personnage ou un seul produit), ajoutez un petit dataset de régularisation (images génériques de la même classe, à poids plus faible). Cela réduit souvent les patterns de collapse/overfit et améliore la généralisation en Entraînement LoRA FLUX.2 Klein.

Datasets panel

  • Target Dataset : sélectionnez votre dataset
  • Default Caption (optionnel) :
    • Personnage : photo of [trigger]
    • Style : [trigger], watercolor illustration, soft edges, pastel palette
    • Produit : product photo of [trigger], clean background, studio lighting
  • Caption Dropout Rate : de petites valeurs (comme 0.05) peuvent aider à éviter le “caption overfitting” si vous ne cachez pas les embeddings texte
  • Cache Latents : activez si dispo (gros gain de vitesse)
  • Resolutions :
    • Commencez par une résolution principale (ex. 1024) pour votre Entraînement LoRA FLUX.2 Klein
    • Ajoutez des buckets plus tard si vous avez besoin de robustesse multi‑tailles

Sample panel (critique pour Klein)

En Entraînement LoRA FLUX.2 Klein, ce panel détermine si vous évaluez Base avec les bons steps.

Comme vous entraînez Klein Base, le sampling en Entraînement LoRA FLUX.2 Klein doit être configuré comme Base — pas comme Distilled.

Valeurs de départ :

  • Sample Every : 250–500
  • Guidance Scale : ~4
  • Sample Steps : ~50
  • Seed : fixe (ex. 42) pour comparer le progrès

Ajoutez 6–10 prompts qui reflètent vos usages réels (personnage, style, produit). C’est ce qui rend l’Entraînement LoRA FLUX.2 Klein utile.

Step 3 — Lancer l’entraînement & monitorer

En Entraînement LoRA FLUX.2 Klein, gardez seed/steps/CFG constants pour comparer les progrès correctement.

Allez dans Training Queue, démarrez le job, puis surveillez :

  • Samples : jugez le progrès uniquement avec des steps Base appropriés (≈50), sinon l’Entraînement LoRA FLUX.2 Klein vous induira en erreur
  • Stability : si les sorties empirent après s’être améliorées, arrêtez et revenez à un checkpoint plus ancien

6. Configs LoRA FLUX.2 Klein recommandées par palier de VRAM (Entraînement LoRA FLUX.2 Klein)

Ces valeurs sont un point de départ de l’Entraînement LoRA FLUX.2 Klein (ajustez selon vos samples).

Ce sont de “bons defaults” pour l’Entraînement LoRA FLUX.2 Klein, pas des règles absolues.

Tier A — 4B Base sur 24GB (setup local courant)

Si votre Entraînement LoRA FLUX.2 Klein sous‑apprend, augmentez d’abord le rank.

  • Quantization : ON si nécessaire pour faire rentrer
  • Batch size : 1
  • Rank : 16 (32 si underfitting)
  • Resolution : 768–1024
  • Sampling : steps 50, CFG ~4 (test correct en Entraînement LoRA FLUX.2 Klein)

Tier B — 9B Base sur 32–48GB (local “sérieux”)

En Entraînement LoRA FLUX.2 Klein sur 9B, privilégiez la stabilité : LR plus bas et rank 16 d’abord.

  • Quantization : fortement recommandé
  • Batch size : 1 (n’augmentez qu’avec marge)
  • Rank : 16 d’abord (32 seulement si stable)
  • Ajoutez un dataset de régularisation si l’entraînement devient instable ou “collapse”
  • Sampling : steps 50, CFG ~4 (Base‑testing en Entraînement LoRA FLUX.2 Klein)

Tier C — Cloud H100/H200 (itération rapide, configs simples)

Avec le cloud, l’Entraînement LoRA FLUX.2 Klein est souvent plus simple (moins de compromis VRAM).

  • Préférez 9B Base si vous voulez la fidélité maximale
  • Batch size : 2–4 est souvent pratique
  • Rank : 32 est raisonnable si le run est stable
  • 1024 par défaut ; élargissez les buckets seulement si nécessaire
  • Sampling : steps 50, CFG ~4 (standard Entraînement LoRA FLUX.2 Klein)

7. Problèmes fréquents en Entraînement LoRA FLUX.2 Klein et comment les résoudre

Utilisez ces fixes pour stabiliser votre Entraînement LoRA FLUX.2 Klein et éviter les faux diagnostics.

Cette section est spécifique à Klein (pas des conseils génériques AI Toolkit) et vise à débloquer votre Entraînement LoRA FLUX.2 Klein rapidement.

“Ma LoRA est faible / bruitée” (mais la loss diminue)

Cause la plus probable : vous samplez Klein Base en Entraînement LoRA FLUX.2 Klein avec des steps façon Distilled.

Fix

  • Dans le panel Sample, mettez Sample Steps ≈ 50 et Guidance Scale ≈ 4
  • Ré‑évaluez les checkpoints seulement après le changement de sampling (pour que l’Entraînement LoRA FLUX.2 Klein reste comparable)

9B Base ne se télécharge pas / accès refusé

Cause la plus probable : le modèle 9B est protégé par un click‑through de licence, et votre environnement n’est pas authentifié.

Fix

  • Acceptez la licence / demandez l’accès sur la page du modèle : FLUX.2-Klein-9B
  • Ajoutez un Read token Hugging Face dans les Settings AI Toolkit
  • Relancez le job après avoir sauvegardé le token (et poursuivez votre Entraînement LoRA FLUX.2 Klein)

(Si vous voulez une checklist pas à pas, RunComfy a une page dédiée : “Hugging Face token for FLUX”.)

“J’ai entraîné une LoRA, mais elle ne fait rien”

Causes probables (spécifiques Klein)

  • Vous avez entraîné en 4B mais testez en 9B (ou l’inverse)
  • Vous avez entraîné en Base mais testez sur une autre variante/pipeline ailleurs

Fix

  • Vérifiez que la taille correspond (LoRA 4B → 4B Base ; LoRA 9B → 9B Base)
  • Gardez le pipeline d’évaluation cohérent avec le base du run, sinon l’Entraînement LoRA FLUX.2 Klein n’est pas comparable

Collapse en 9B (la qualité se dégrade soudainement ou devient chaotique)

C’est un pattern souvent rapporté dans les discussions communauté autour de l’Entraînement LoRA FLUX.2 Klein en 9B.

Ordre de fix (le plus efficace d’abord)

1) Baissez le Learning Rate (essayez 1e‑4 → 5e‑5)

2) Réduisez le Rank (essayez 32 → 16)

3) Ajoutez un dataset de régularisation (images génériques de la même classe, à poids plus faible)

4) Raccourcissez le run et faites un early stop (choisissez le dernier checkpoint “bon”)

Si vous voulez progresser vite sans vous battre avec le collapse, entraînez d’abord 4B Base en Entraînement LoRA FLUX.2 Klein.

Edge cases AI Toolkit signalés pour Klein (points douloureux actuels)

Certains utilisateurs ont signalé en Entraînement LoRA FLUX.2 Klein :

  • Layer Offloading qui ne se comporte pas comme prévu sur Klein 9B dans certains setups
  • Erreurs d’entraînement edit‑mode / control‑image dans certaines configurations
  • GPU non utilisée dans des environnements spécifiques (notamment certains cas WSL2)

Workaround pratique

  • Si ça vous arrive et que vous avez besoin d’un run fiable aujourd’hui :
    • passez à 4B Base, ou
    • déplacez le run sur AI Toolkit cloud, ou
    • mettez AI Toolkit à jour, puis réessayez

8. Utiliser votre LoRA FLUX.2 Klein après l’entraînement (Entraînement LoRA FLUX.2 Klein)

Dans cet Entraînement LoRA FLUX.2 Klein, testez toujours avec des settings “Base”.

8.1 Testez avec des réglages “Base”

Quand vous testez votre LoRA sur Klein Base, démarrez (comme dans l’Entraînement LoRA FLUX.2 Klein) avec :

  • Steps : ~50
  • CFG : ~4
  • LoRA weight : 0.6 → 1.0 (testez plusieurs valeurs)

8.2 Test “pro” (rapide, répétable)

1) Générez sans LoRA (baseline)

2) Générez avec LoRA à 0.6 / 0.8 / 1.0

3) Gardez seed + steps + CFG constants

4) Jugez :

  • force d’activation (est‑ce visible ?)
  • contrôle (reste‑t‑elle off sans trigger ?)
  • généralisation (marche‑t‑elle sur de nouveaux prompts ?)

8.3 Workflows d’édition

Klein supporte aussi l’édition. Une fois la LoRA stable en génération, vous pouvez l’appliquer dans un pipeline d’édition pour conserver la cohérence identité/style/produit pendant les edits. C’est un bénéfice direct de l’Entraînement LoRA FLUX.2 Klein.

Plus de guides d'entraînement LoRA avec AI Toolkit

Prêt à commencer l'entraînement ?