FLUX.2 Klein 9B High‑Likeness Character LoRA (AI Toolkit) : quels réglages comptent vraiment (et quoi saisir)

Si vous entraînez une LoRA de personnage / d’identité sur FLUX.2 Klein 9B Base et que vous vous demandez sans arrêt :

« Que fait vraiment Num Repeats ? »
« Comment calculer Training Steps ? »
« Si je change Gradient Accumulation, dois‑je aussi changer Steps ? »
« Quels autres réglages comptent le plus pour un high likeness ? »

Ce tutoriel est la réponse “sans deviner”.

0) La raison n°1 de la confusion : il y a DEUX “steps”

AI Toolkit affiche Training Steps et vous verrez aussi Sample Steps (preview / inference).

Training → Steps = la durée pendant laquelle l’optimizer entraîne (c’est le compteur d’arrêt).
Sample Steps (preview / inference) = le nombre d’étapes de débruitage utilisées pour rendre les images de sample.

Ne les mélangez pas.

Si quelqu’un dit « 28 steps, c’est le sweet spot », il/elle parle peut‑être des inference/sample steps, pas de la durée d’entraînement.

Pour Base Klein, ne jugez pas votre LoRA avec un faible nombre de sample steps. Pour les previews, utilisez un sampling adapté à Base (plus bas).

1) La seule métrique à optimiser : “repeats per image” (dose d’entraînement)

Pour des LoRAs d’identité très ressemblantes, visez que chaque image d’entraînement soit “vue” environ :

50–90 répétitions par image = entraînement standard d’identité de personnage
90–120 répétitions par image = push haute ressemblance (verrouillage d’identité plus fort)

La formule (copy/paste)

Soit :

N = nombre d’images d’entraînement
B = batch size
G = gradient accumulation
S = training steps

Alors :

Repeats per image


repeats_per_image ≈ (S × B × G) / N

Steps you should enter


S ≈ ceil( N × target_repeats / (B × G) )

✅ Si vous changez Gradient Accumulation, vos Steps doivent changer pour garder la même dose d’entraînement.

2) « Qu’est‑ce que je dois saisir ? » (defaults best‑practice pour haute ressemblance)

A) Training panel (impact maximal)

Utilisez ceci comme point de départ :

Batch Size: 1
Gradient Accumulation: 1 (meilleure ressemblance)

Si la VRAM est limitée, utilisez 2–4 et baissez Steps proportionnellement.

Learning Rate: commencez à 1e-4

Si l’entraînement devient instable / “collapses”, essayez 5e-5

Steps: calculez‑les avec la formule ci‑dessus (ne devinez pas)
Optimizer / timestep settings: gardez les defaults au début (ne changez que si vous déboguez)

B) Target panel (capacité de la LoRA)

Linear Rank (9B Base): commencez à 16

Si la LoRA underfit clairement et que l’entraînement est stable, essayez 32
Si vous voyez instabilité/collapse, redescendez à 16

C) Dataset panel (supervision texte = contrôle d’identité)

Pour les LoRAs de personnage :

Default Caption: photo of [trigger]
Caption Dropout Rate: 0.05 (dans certains setups, aide à éviter le “caption overfitting”)
Resolutions: utilisez 1024 comme défaut pour Klein si possible

Ajoutez 768 seulement si vous voulez plus de flexibilité selon les tailles.

D) Sample panel (prévisualiser correctement)

Si votre LoRA paraît “faible” dans les samples, ce n’est souvent pas l’entraînement — c’est le sampling.

Pour Base Klein, utilisez des réglages de preview comme :

Sample Steps: ~50
Guidance / CFG: ~4

Puis comparez à nouveau les checkpoints.

3) L’exemple “55 images” (vrais chiffres)

Imaginons :

N = 55 images
target repeats = 100 (push haute ressemblance)
batch size B = 1

Option 1 (meilleure ressemblance) : Grad Accum = 1


Steps = 55 × 100 / (1 × 1) = 5500

Saisissez :

Gradient Accumulation: 1
Steps: 5500

Option 2 (VRAM‑friendly) : Grad Accum = 4


Steps = 55 × 100 / (1 × 4) = 1375  (~1400)

Saisissez :

Gradient Accumulation: 4
Steps: 1375 (ou 1400)

✅ Les deux options donnent ~100 répétitions par image.

La différence, c’est combien de mini‑batches sont agrégés dans chaque step.

4) Mini “cheat sheet” (LoRA de personnage haute ressemblance)

Si vous voulez juste quelque chose à copier :

Klein 9B Base – High Likeness Starter

Batch Size: 1
Grad Accum: 1 (ou 2–4 si besoin)
Target repeats per image: 90–110
Steps: ceil(N × repeats / (B × G))
LR: 1e-4 (descendez à 5e-5 si instable)
Rank: 16 (essayez 32 seulement si stable + underfitting)
Resolution: 1024
Default caption: photo of [trigger]
Caption dropout: 0.05
Preview sampling (Base): Sample steps ~50, Guidance ~4

5) Troubleshooting (correctifs rapides)

« Ma LoRA paraît faible / noisy, mais la loss baisse »

Vous prévisualisez très probablement avec le mauvais setup de sampling.

Mettez Sample Steps ~50 et Guidance ~4, puis re‑vérifiez.

« Ça devenait bien, puis d’un coup tout est devenu chaotique / pire » (9B “collapse”)

Essayez dans cet ordre :

1) Baissez LR (1e-4 → 5e-5)

2) Baissez Rank (32 → 16)

3) Ajoutez un petit dataset de régularisation à plus faible poids

4) Arrêtez tôt et utilisez le dernier checkpoint “bon”

« Est‑ce que j’ai une meilleure qualité si je réduis Gradient Accumulation ? »

Souvent oui pour l’identité/la ressemblance :

Baisser G peut aider la LoRA à rester plus “spécifique” (moins moyennée).
Mais vous devez augmenter Steps pour garder la même dose d’entraînement.

6) En bref

Pour la ressemblance de personnage avec FLUX.2 Klein 9B, les plus gros leviers sont :

1) Dose d’entraînement (Steps × Batch × Grad Accum par rapport au nombre d’images)

2) Learning rate

3) Rank

4) Resolution

5) Caption strategy

6) Sampling Base correct pour les previews

Si vous contrôlez ces points volontairement, vous arrêtez de deviner — et vos résultats deviennent consistants.