logo
RunComfy
Guias de treinamento LoRA com AI Toolkit

Treinamento LoRA FLUX.2 Klein 4B e 9B com Ostris AI Toolkit

Este guia mostra como treinar LoRAs FLUX.2 Klein práticas (4B e 9B Base) usando Ostris AI Toolkit. Você aprenderá a diferença crítica de amostragem Base vs Distilled, regras de compatibilidade 4B/9B, como construir datasets de personagem/estilo/produto, planejamento de VRAM de 24GB até H100/H200, e como resolver problemas específicos do Klein como collapse no 9B.

Treine modelos de difusão com Ostris AI Toolkit

← Role horizontalmente para ver o formulário completo →

Ostris AI ToolkitOstrisAI-Toolkit

New Training Job

Job

Model

Use a Hugging Face repo ID (e.g. owner/model-name).
⚠️ full URLs, .safetensors files, and local files are not supported.

Quantization

Target

Save

Training

Datasets

Dataset 1

Sample

Treinamento LoRA FLUX.2 Klein (4B e 9B) com Ostris AI Toolkit

FLUX.2 Klein é uma família de modelos unificada para texto‑para‑imagem + edição de imagens, disponível em dois tamanhos “Base” de pesos abertos: 4B e 9B. Este guia de Treinamento LoRA FLUX.2 Klein mostra como treinar LoRAs de FLUX.2 Klein usando o Ostris AI Toolkit, com foco no que é específico do Klein (expectativas Base vs Distilled, compatibilidade 4B vs 9B, realidade de VRAM e os modos de falha mais comuns no Klein).

Se você chegou aqui procurando variações como “Treinar LoRA FLUX2 Klein”, “Treinamento LoRA FLUX.2 Klein 4B”, “Treinamento LoRA FLUX.2 Klein 9B” ou “LoRA Base FLUX.2 Klein”, este Treinamento LoRA FLUX.2 Klein cobre exatamente esses cenários.

Ao final deste Treinamento LoRA FLUX.2 Klein, você vai conseguir:

  • Escolher corretamente FLUX.2 Klein 4B Base vs 9B Base (e evitar problemas de LoRA por “tamanho de modelo errado”).
  • Planejar VRAM e definir defaults de quantização + amostragem adequados para Klein Base.
  • Montar um dataset e uma estratégia de trigger para LoRAs de personagem, estilo ou produto/conceito.
  • Fazer um smoke test com amostragem correta para Base e depois escalar sem “chute”.
  • Corrigir os problemas mais comuns do Klein (gating de licença, mismatch de teste Base‑vs‑Distilled, padrões de “collapse” no 9B e edge cases atuais do AI Toolkit).
Este artigo faz parte da série de guias de treino de LoRA no AI Toolkit. Se você é novo no Ostris AI Toolkit, comece pelo overview antes deste Treinamento LoRA FLUX.2 Klein:
https://www.runcomfy.com/pt/trainer/ai-toolkit/getting-started

Índice

1. Visão geral do FLUX.2 Klein: o que muda entre 4B/9B (e por que a amostragem Base importa no Treinamento LoRA FLUX.2 Klein)

1.1 Klein é “um modelo para geração + edição”

Klein foi pensado como uma única família para geração texto‑para‑imagem e edição de imagens. Na prática, isso significa que uma LoRA de estilo/personagem/produto que você aprende no Treinamento LoRA FLUX.2 Klein costuma servir tanto para fluxos de “generate” quanto de “edit” — seus dados e captions determinam o que ela aprende.

1.2 4B vs 9B: escolha pelo objetivo e pelo hardware

  • 4B Base é o melhor começo para a maioria no Treinamento LoRA FLUX.2 Klein: iteração mais rápida, encaixa melhor em VRAM e tende a ser mais fácil de manter estável.
  • 9B Base pode entregar maior fidelidade ao prompt e mais detalhe se você consegue bancar VRAM e ajuste de estabilidade, mas é menos tolerante (e há mais relatos de “edge cases”).

Regra importante de compatibilidade:

Uma LoRA 4B não funciona no 9B, e uma LoRA 9B não funciona no 4B. No Treinamento LoRA FLUX.2 Klein e nos testes, sempre carregue a LoRA no mesmo tamanho de Klein em que ela foi treinada.

1.3 Base vs Distilled (e o que o AI Toolkit suporta hoje)

Klein costuma ser discutido em duas categorias de “comportamento”:

  • Base = checkpoints não destilados voltados para fine‑tuning / treinamento LoRA.
  • Distilled = comportamento de inferência acelerada (pouquíssimos steps).

No AI Toolkit, hoje você seleciona apenas: _FLUX.2 Klein 4B Base_ ou _FLUX.2 Klein 9B Base_.

Não existe opção Distilled no dropdown de Model Architecture, então este Treinamento LoRA FLUX.2 Klein é intencionalmente Base‑only.

1.4 O maior “gotcha” do Klein: Base precisa de mais steps de inferência

Muitos “minha LoRA está fraca” acontecem por amostrar Base como se fosse Distilled.

Se você pré-visualizar Klein Base em ~4–8 steps, vai parecer cru ou com ruído.

Para avaliar corretamente durante o Treinamento LoRA FLUX.2 Klein, use:

  • Sample Steps / Inference Steps: ~50
  • Guidance Scale (CFG): ~4

Só essa mudança elimina muitos falsos alarmes no Treinamento LoRA FLUX.2 Klein.

2. Opções de ambiente: AI Toolkit local vs AI Toolkit na nuvem no RunComfy (Treinamento LoRA FLUX.2 Klein)

Você pode rodar o AI Toolkit de duas formas para este Treinamento LoRA FLUX.2 Klein:

  • AI Toolkit local (sua GPU)

    Instale o AI Toolkit do repositório no GitHub, rode a Web UI e treine na sua máquina. É uma boa opção se você já tem uma GPU NVIDIA compatível e está confortável em gerenciar CUDA/drivers/disco.

  • AI Toolkit na nuvem no RunComfy (H100 / H200)

    Abra o AI Toolkit no navegador e treine em GPUs cloud (H100 80GB / H200 141GB). É o caminho mais simples para runs de 9B Base no Treinamento LoRA FLUX.2 Klein, datasets grandes ou treinamento high‑res sem compromissos de VRAM.

    https://www.runcomfy.com/trainer/ai-toolkit/app

O fluxo e a UI são os mesmos — a única diferença é onde a GPU está.

3. Planejamento de hardware e VRAM para treinamento LoRA FLUX.2 Klein 4B vs 9B

3.1 “Cabe na inferência” ≠ “cabe no treinamento”

Mesmo que um checkpoint “caiba” para inferência em BF16, treinar adiciona overhead (estados do otimizador, ativações, módulos LoRA e previews de amostragem). No Treinamento LoRA FLUX.2 Klein, planeje com folga.

3.2 Tiers práticos (o que esperar)

Uma forma útil de planejar o Treinamento LoRA FLUX.2 Klein:

  • 4B Base
    • Prático para treinar localmente em 24GB com configurações conservadoras (batch 1, ranks sensatos, quantização se necessário).
    • Às vezes dá para treinar em resoluções menores com menos VRAM, mas a iteração fica mais frágil.
  • 9B Base
    • Trate 32GB+ como o piso prático para um Treinamento LoRA FLUX.2 Klein confortável em local.
    • Para iterar com facilidade em alta resolução: GPUs cloud (H100/H200) são a opção “sem dor”.

3.3 Aviso específico do Klein: 9B + economia agressiva de memória pode ser mais instável

Relatos da comunidade mostram que alguns setups de treino 9B podem ser mais sensíveis, especialmente com estratégias pesadas de economia de memória. Se você precisa treinar com VRAM apertada, costuma ser mais produtivo:

1) treinar primeiro 4B Base no Treinamento LoRA FLUX.2 Klein, ou

2) mover o run para GPUs cloud,

em vez de brigar com runs 9B instáveis em local.

4. Construindo um dataset para o Treinamento LoRA FLUX.2 Klein (personagem vs estilo vs produto)

Mantenha o processo simples: primeiro dados limpos, depois ajuste de knobs. É assim que você anda mais rápido no Treinamento LoRA FLUX.2 Klein.

4.1 Regras universais de dataset (alto impacto)

  • Remova quase-duplicatas, a menos que você queira que uma imagem domine.
  • Evite marcas d’água, overlays de UI e blocos de texto, a menos que a LoRA seja sobre esses artefatos.
  • Mantenha um “sinal” consistente: o Treinamento LoRA FLUX.2 Klein deve ensinar identidade ou estilo ou produto, não coincidências aleatórias de fundo.

4.2 LoRAs de personagem / likeness

Objetivo: identidade consistente em muitos prompts.

  • Dataset típico: 20–60 imagens curadas
  • Variedade importa: ângulos, iluminação, expressões, distâncias focais
  • Captions: mantenha curto; não descreva demais partes do rosto

Trigger: recomendado

Use um token/nome único para controlar on/off com clareza no Treinamento LoRA FLUX.2 Klein.

4.3 LoRAs de estilo

Objetivo: um visual reutilizável sem destruir a fidelidade ao prompt.

  • Dataset típico: 50–200 imagens (mais variedade ajuda)
  • Misture assuntos: pessoas + objetos + cenas para que o estilo seja a constante
  • Captions: enfatize atributos de estilo (mídia, paleta, linguagem de luz)

Trigger: opcional

Se você quer um “estilo chamável”, adicione um trigger no Treinamento LoRA FLUX.2 Klein.

4.4 LoRAs de produto / conceito

Objetivo: geometria/materiais estáveis para um produto específico ou um novo conceito.

  • Dataset típico: 30–100 imagens
  • Mantenha enquadramento e escala relativamente consistentes no início
  • Use captions para nomear o produto e os atributos-chave que você quer preservar

Trigger: fortemente recomendado

Produtos/conceitos se beneficiam muito de controle explícito de ativação no Treinamento LoRA FLUX.2 Klein.

5. Passo a passo: treinar uma LoRA FLUX.2 Klein no AI Toolkit (Treinamento LoRA FLUX.2 Klein)

Este é o caminho rápido do Treinamento LoRA FLUX.2 Klein. Ele foca nos painéis que as pessoas realmente clicam.

Step 0 — Escolha onde você vai rodar o AI Toolkit

  • AI Toolkit local (sua GPU) — bom para 4B Base e runs menores no Treinamento LoRA FLUX.2 Klein.
  • AI Toolkit cloud no RunComfy — melhor para 9B Base e treinamento high‑res sem tuning de VRAM.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Step 1 — Crie um dataset no AI Toolkit

Na UI do AI Toolkit, abra a aba Datasets.

Crie um dataset (nome de exemplo):

  • klein_my_lora_v1

Faça upload das imagens e (opcionalmente) dos arquivos .txt de captions.

Se você ainda não vai captionar por imagem, no Treinamento LoRA FLUX.2 Klein dá para começar com:

  • uma Trigger Word (painel JOB), e
  • uma Default Caption curta (painel DATASETS).

Step 2 — Crie um novo Job (configure os painéis na ordem da UI)

Job panel

  • Training Name: algo descritivo (ex.: klein4b_character_lora_v1)
  • GPU ID: selecione sua GPU localmente; na nuvem deixe o padrão
  • Trigger Word:
    • Personagem/produto: recomendado (token único)
    • Estilo: opcional (recomendado se você quer um on/off bem limpo)

Model panel

  • Model Architecture: FLUX.2 Klein 4B Base ou FLUX.2 Klein 9B Base
  • Name or Path:
    • Use o repo oficial do tamanho escolhido para o Treinamento LoRA FLUX.2 Klein
    • Se você selecionar 9B e falhar o download: veja Troubleshooting (gating de licença)

Quantization panel

Quantização, no Treinamento LoRA FLUX.2 Klein, é principalmente sobre fazer caber e manter estabilidade.

  • Se você está com VRAM apertada (especialmente em 9B), habilite quantização para os componentes mais pesados.
  • Se aparecerem erros ligados à quantização, desabilite temporariamente para validar o pipeline e reabilite quando o treino estiver rodando.

Target panel

Aqui você decide a capacidade da LoRA no Treinamento LoRA FLUX.2 Klein.

  • Target Type: LoRA
  • Linear Rank (defaults iniciais):
    • 4B Base: comece em 16, suba para 32 se houver underfitting
    • 9B Base: comece em 16–32 (prefira 16 se você já viu instabilidade)

Se o run “colapsar” ou ficar instável, reduzir o rank é um dos estabilizadores mais rápidos no Treinamento LoRA FLUX.2 Klein.

Save panel

  • Data Type: BF16 é um default seguro para LoRAs de difusão modernas
  • Save Every: 250–500 steps é uma cadência prática
  • Max Step Saves to Keep: 3–6 (controla uso de disco)

Training panel

Para seu primeiro Treinamento LoRA FLUX.2 Klein, mantenha simples e conservador:

  • Batch Size: 1 (aumente só com folga)
  • Gradient Accumulation: 1–4 (aumenta batch efetivo sem pico de VRAM)
  • Learning Rate:
    • comece em 1e‑4 se estiver estável
    • se houver instabilidade/“collapse”, teste 5e‑5
  • Steps (faixas práticas):
    • datasets pequenos (20–40 imgs): 2000–4000
    • datasets médios (50–120 imgs): 3000–6000

Se estiver em dúvida, faça um smoke test no Treinamento LoRA FLUX.2 Klein:

  • rode ~1000 steps, confira samples e decida se continua ou reinicia com rank/LR ajustados.

Regularization (muito recomendado para Klein 9B se você observar collapse)

Se o dataset for estreito (um único personagem/produto), adicione um pequeno dataset de regularização (imagens genéricas da mesma classe, com peso menor). Isso ajuda a reduzir collapse/overfit e melhorar generalização no Treinamento LoRA FLUX.2 Klein.

Datasets panel

  • Target Dataset: selecione seu dataset
  • Default Caption (opcional):
    • Personagem: photo of [trigger]
    • Estilo: [trigger], watercolor illustration, soft edges, pastel palette
    • Produto: product photo of [trigger], clean background, studio lighting
  • Caption Dropout Rate: valores pequenos (como 0.05) podem ajudar a evitar “overfitting de caption” se você não estiver cacheando embeddings de texto
  • Cache Latents: habilite se disponível (grande ganho de velocidade)
  • Resolutions:
    • Comece com uma resolução principal (ex.: 1024) no Treinamento LoRA FLUX.2 Klein
    • Adicione mais buckets depois, se precisar de robustez em tamanhos

Sample panel (crítico para Klein)

Como você está treinando Klein Base, a amostragem no Treinamento LoRA FLUX.2 Klein deve ser como Base, não como Distilled.

Valores iniciais:

  • Sample Every: 250–500
  • Guidance Scale: ~4
  • Sample Steps: ~50
  • Seed: fixo (ex.: 42) para comparar progresso

Adicione 6–10 prompts que reflitam seus casos reais (personagem, estilo, produto). Assim o Treinamento LoRA FLUX.2 Klein fica alinhado ao uso.

Step 3 — Inicie o treino e monitore

Vá para Training Queue, inicie o job e observe:

  • Samples: julgue progresso apenas com steps adequados para Base (≈50) — caso contrário, o Treinamento LoRA FLUX.2 Klein vai parecer “pior” do que é
  • Stability: se as saídas piorarem depois de melhorar, pare e volte para um checkpoint anterior

6. Configurações recomendadas de LoRA FLUX.2 Klein por tier de VRAM (Treinamento LoRA FLUX.2 Klein)

São “bons defaults” para o Treinamento LoRA FLUX.2 Klein, não regras rígidas.

Tier A — 4B Base em 24GB (setup local comum)

  • Quantization: ON se necessário para caber
  • Batch size: 1
  • Rank: 16 (32 se underfitting)
  • Resolution: 768–1024
  • Sampling: steps 50, CFG ~4 (teste correto no Treinamento LoRA FLUX.2 Klein)

Tier B — 9B Base em 32–48GB (local “sério”)

  • Quantization: fortemente recomendado
  • Batch size: 1 (aumente só com folga)
  • Rank: primeiro 16 (32 só se estiver estável)
  • Adicione dataset de regularização se ficar instável ou “colapsar”
  • Sampling: steps 50, CFG ~4 (Base‑testing no Treinamento LoRA FLUX.2 Klein)

Tier C — Cloud H100/H200 (iteração rápida, configs simples)

  • Prefira 9B Base se você quer fidelidade máxima
  • Batch size: 2–4 costuma ser viável
  • Rank: 32 é razoável se o run estiver estável
  • Use 1024 como padrão; expanda buckets só se necessário
  • Sampling: steps 50, CFG ~4 (padrão do Treinamento LoRA FLUX.2 Klein)

7. Problemas comuns no Treinamento LoRA FLUX.2 Klein e como corrigir

Esta seção é específica do Klein (não é conselho genérico) e serve para destravar seu Treinamento LoRA FLUX.2 Klein rapidamente.

“Minha LoRA parece fraca / ruidosa” (mas a loss está caindo)

Causa mais provável: você está amostrando Klein Base no Treinamento LoRA FLUX.2 Klein com steps estilo Distilled.

Como corrigir

  • No painel Sample, ajuste Sample Steps ≈ 50 e Guidance Scale ≈ 4
  • Reavalie checkpoints só depois de mudar a amostragem (para o Treinamento LoRA FLUX.2 Klein ficar comparável)

9B Base não baixa / acesso negado

Causa mais provável: o modelo 9B é gated por licença e seu ambiente não está autenticado.

Como corrigir

  • Aceite a licença / solicite acesso na página do modelo: https://huggingface.co/black-forest-labs/FLUX.2-klein-base-9B
  • Adicione um Read token do Hugging Face nas Settings do AI Toolkit
  • Rode o job novamente após salvar o token (e continue o Treinamento LoRA FLUX.2 Klein)

(Se você quiser um checklist passo a passo, o RunComfy tem uma página dedicada: “Hugging Face token for FLUX”.)

“Treinei uma LoRA, mas ela não faz nada”

Causas mais prováveis (específicas do Klein)

  • Você treinou em 4B e testou em 9B (ou vice‑versa)
  • Você treinou em Base e testou em outro pipeline/variante

Como corrigir

  • Confirme que o tamanho coincide (LoRA 4B → 4B Base; LoRA 9B → 9B Base)
  • Mantenha pipeline e base consistentes para que o Treinamento LoRA FLUX.2 Klein seja comparável

Collapse no 9B (a qualidade piora de repente ou fica caótica)

É um padrão relatado com frequência em discussões de Treinamento LoRA FLUX.2 Klein com 9B.

Ordem de correção (mais efetivo primeiro)

1) Reduza o Learning Rate (tente 1e‑4 → 5e‑5)

2) Reduza o Rank (tente 32 → 16)

3) Adicione um dataset de regularização (imagens genéricas da mesma classe, com peso menor)

4) Encurte o run e use early stop (escolha o último checkpoint “bom”)

Se você quer avançar rápido sem brigar com collapse, treine primeiro 4B Base no Treinamento LoRA FLUX.2 Klein.

Edge cases atuais do AI Toolkit reportados para Klein

Alguns usuários relataram no Treinamento LoRA FLUX.2 Klein:

  • Layer Offloading não se comportando como esperado no Klein 9B em certos setups
  • Erros de treino em edit‑mode / control‑image em algumas configurações
  • GPU não sendo utilizada em ambientes específicos (notavelmente alguns casos no WSL2)

Workaround prático

  • Se você esbarrar nisso e precisa de um run confiável hoje:
    • troque para 4B Base, ou
    • mova o run para o AI Toolkit na nuvem, ou
    • atualize o AI Toolkit e tente novamente

8. Usando sua LoRA FLUX.2 Klein após o treinamento (Treinamento LoRA FLUX.2 Klein)

8.1 Teste com configurações de geração tipo Base

Ao testar sua LoRA no Klein Base, comece (como no Treinamento LoRA FLUX.2 Klein) com:

  • Steps: ~50
  • CFG: ~4
  • LoRA weight: 0.6 → 1.0 (varra alguns valores)

8.2 Teste “profissional” (rápido e repetível)

1) Gere sem LoRA (baseline)

2) Gere com LoRA em 0.6 / 0.8 / 1.0

3) Mantenha seed + steps + CFG constantes

4) Avalie:

  • força de ativação (aparece?)
  • controle (fica off quando não ativada?)
  • generalização (funciona em novos prompts?)

8.3 Fluxos de edição

Klein também suporta edição. Quando sua LoRA estiver estável em geração, aplique em um pipeline de edição para manter consistência de identidade/estilo/produto durante edits. Isso é um ganho direto do Treinamento LoRA FLUX.2 Klein.

Mais guias de treinamento LoRA no AI Toolkit

Pronto para começar o treinamento?