logo
RunComfy
AI Toolkit LoRA Training Guides

Обучение LoRA FLUX.2 Klein 4B и 9B в Ostris AI Toolkit

Это руководство показывает, как обучать практичные LoRA FLUX.2 Klein (4B и 9B Base) с помощью Ostris AI Toolkit. Вы узнаете критическую разницу сэмплинга Base vs Distilled, правила совместимости 4B/9B, как собирать датасеты для персонажей/стилей/продуктов, планировать VRAM от 24GB до H100/H200 и решать специфичные для Klein проблемы, включая collapse 9B.

Train Diffusion Models with Ostris AI Toolkit

← Прокрутите горизонтально, чтобы увидеть всю форму →

Ostris AI ToolkitOstrisAI-Toolkit

New Training Job

Job

Model

Use a Hugging Face repo ID (e.g. owner/model-name).
⚠️ full URLs, .safetensors files, and local files are not supported.

Quantization

Target

Save

Training

Datasets

Dataset 1

Sample

Обучение LoRA FLUX.2 Klein (4B и 9B) в Ostris AI Toolkit

FLUX.2 Klein — это семейство моделей, объединяющее text‑to‑image генерацию и редактирование изображений, доступное в двух “Base” размерах с открытыми весами: 4B и 9B. Это руководство по Обучение LoRA FLUX.2 Klein показывает, как обучать практичные LoRA для FLUX.2 Klein с помощью Ostris AI Toolkit, с акцентом на то, что важно именно для Klein (ожидания Base vs Distilled, совместимость 4B vs 9B, реальность VRAM и типовые “Klein‑only” ошибки).

Если вы пришли по запросам вроде «Как обучить LoRA для FLUX.2 Klein», «FLUX.2 Klein обучение LoRA», «FLUX2 Klein LoRA тренировка» или «LoRA FLUX.2 Klein 4B 9B», то этот материал — это то же самое Обучение LoRA FLUX.2 Klein, просто изложенное пошагово.

К концу этого Обучение LoRA FLUX.2 Klein вы сможете:

  • Правильно выбрать FLUX.2 Klein 4B Base vs 9B Base (и избежать проблем “не тот размер модели — LoRA не работает”).
  • Спланировать VRAM и выставить корректные дефолты квантования + сэмплинга для Klein Base.
  • Собрать датасет и стратегию триггера для LoRA под персонажа, стиль или продукт/концепт.
  • Сделать smoke‑test с правильным Base‑сэмплингом, а затем масштабироваться без угадываний.
  • Исправлять типичные проблемы Klein (лицензионное gating, несоответствие Base‑vs‑Distilled при тесте, паттерны “collapse” на 9B и текущие edge cases AI Toolkit).
Эта статья — часть серии про обучение LoRA в AI Toolkit. Если вы новичок в Ostris AI Toolkit, начните с overview, прежде чем переходить к этому Обучение LoRA FLUX.2 Klein:
https://www.runcomfy.com/ru/trainer/ai-toolkit/getting-started

Содержание

1. Обзор FLUX.2 Klein: чем отличаются 4B/9B (и почему Base‑сэмплинг важен в Обучение LoRA FLUX.2 Klein)

1.1 Klein — “одна модель для генерации + редактирования”

Klein задуман как одно семейство для text‑to‑image генерации и редактирования изображений. Практически это означает, что LoRA (стиль/персонаж/продукт), которую вы делаете через Обучение LoRA FLUX.2 Klein, часто полезна и в “generate”, и в “edit” сценариях — что именно будет выучено, определяют данные и подписи (captions).

1.2 4B vs 9B: выбирайте по цели и железу

  • 4B Base — лучший старт для большинства в Обучение LoRA FLUX.2 Klein: быстрее итерации, проще уложиться в VRAM, обычно стабильнее.
  • 9B Base может дать лучшую точность по промпту и детали, если вы можете позволить себе VRAM и настройку стабильности, но модель менее “прощает” ошибки (и в сообществе больше сообщений про edge cases).

Важное правило совместимости:

LoRA для 4B не работает на 9B, а LoRA для 9B не работает на 4B. В Обучение LoRA FLUX.2 Klein и при тестировании всегда грузите LoRA на тот же размер Klein, на котором она обучалась.

1.3 Base vs Distilled (и что сейчас доступно в AI Toolkit)

Про Klein часто говорят как про два “режима поведения”:

  • Base = недистиллированные чекпойнты для fine‑tuning / обучения LoRA.
  • Distilled = ускоренное поведение инференса (очень малое число steps).

В AI Toolkit сейчас выбирается только: _FLUX.2 Klein 4B Base_ или _FLUX.2 Klein 9B Base_.

Опции Distilled в выпадающем списке Model Architecture нет, поэтому это Обучение LoRA FLUX.2 Klein намеренно только про Base.

1.4 Главная ловушка Klein: Base требует больше шагов инференса

Многие жалобы “LoRA плохая” возникают из‑за того, что Base сэмплируют как Distilled.

Если вы превьювите Klein Base на ~4–8 шагах, картинка будет “недоваренной” или шумной.

Для оценки в Обучение LoRA FLUX.2 Klein используйте:

  • Sample Steps / Inference Steps: ~50
  • Guidance Scale (CFG): ~4

Одна эта настройка убирает массу ложных тревог в Обучение LoRA FLUX.2 Klein.

2. Варианты окружения: локальный AI Toolkit vs облачный AI Toolkit на RunComfy (Обучение LoRA FLUX.2 Klein)

Для этого Обучение LoRA FLUX.2 Klein есть два варианта запуска AI Toolkit:

  • Локальный AI Toolkit (ваш GPU)

    Установите AI Toolkit из GitHub‑репозитория, запустите Web UI и обучайте на своей машине. Подходит, если у вас есть совместимая NVIDIA‑карта и вы готовы управлять CUDA/драйверами/диском.

  • Облачный AI Toolkit на RunComfy (H100 / H200)

    Откройте AI Toolkit в браузере и обучайте на облачных GPU (H100 80GB / H200 141GB). Это самый простой путь для 9B Base в Обучение LoRA FLUX.2 Klein, больших датасетов и high‑res обучения без компромиссов по VRAM.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Пайплайн и UI одинаковые — отличается только “где живёт” GPU.

Для Обучение LoRA FLUX.2 Klein это означает: шаги и панели те же, меняется только железо.

3. Планирование железа и VRAM для обучения LoRA FLUX.2 Klein 4B vs 9B

3.1 “Влезает для инференса” ≠ “влезает для обучения”

Даже если чекпойнт “влезает” для инференса в BF16, обучение добавляет накладные расходы (optimizer states, активации, LoRA‑модули, превью‑сэмплинг). В Обучение LoRA FLUX.2 Klein закладывайте запас.

3.2 Практические уровни (что ожидать)

Удобная схема планирования Обучение LoRA FLUX.2 Klein:

Эти уровни — удобная стартовая точка для Обучение LoRA FLUX.2 Klein.

  • 4B Base
    • Реалистично для локального обучения на 24GB при консервативных настройках (batch 1, разумные rank, квантование при необходимости).
    • Иногда можно обучать меньшие разрешения и на меньшей VRAM, но итерации становятся хрупкими.
  • 9B Base
    • Считайте 32GB+ практическим минимумом для комфортного Обучение LoRA FLUX.2 Klein локально.
    • Для спокойной high‑res итерации: облачные GPU (H100/H200) — “без драмы”.

3.3 Специфичное предупреждение Klein: 9B + агрессивная экономия памяти

По отзывам сообщества, некоторые конфигурации обучения 9B могут быть более ломкими, особенно при сильных memory‑saving настройках. Если VRAM “впритык”, часто продуктивнее:

1) сначала обучить 4B Base в Обучение LoRA FLUX.2 Klein, или

2) перенести запуск на облачные GPU,

чем пытаться стабилизировать локальный 9B любой ценой.

4. Датасет для Обучение LoRA FLUX.2 Klein (персонаж vs стиль vs продукт)

Держите процесс простым: сначала чистые данные, затем “крутилки”. Это самый быстрый путь в Обучение LoRA FLUX.2 Klein.

В Обучение LoRA FLUX.2 Klein качество датасета обычно важнее большинства “тонких” настроек.

4.1 Универсальные правила датасета (сильное влияние)

  • Убирайте почти дубликаты, если только вы намеренно не хотите, чтобы один кадр доминировал.
  • Избегайте водяных знаков, UI‑оверлеев и больших текстовых блоков, если LoRA не должна учить эти артефакты.
  • Держите сигнал стабильным: в Обучение LoRA FLUX.2 Klein LoRA должна учить идентичность или стиль или продукт, а не случайные совпадения фона.

4.2 LoRA на персонажа / likeness

Цель: стабильная идентичность на множестве промптов.

  • Типичный датасет: 20–60 тщательно отобранных изображений
  • Важна вариативность: ракурсы, свет, выражения, фокусные расстояния
  • Подписи: короче; не “разбирайте” лицо на части в описании

Триггер: рекомендуется

Используйте уникальный токен/имя, чтобы удобно включать/выключать в Обучение LoRA FLUX.2 Klein.

4.3 LoRA стиля

Цель: переиспользуемый визуальный стиль без разрушения точности промпта.

  • Типичный датасет: 50–200 изображений (разнообразие помогает)
  • Мешайте сюжеты: люди + объекты + сцены, чтобы стиль был единственной константой
  • Подписи: делайте упор на стиль (медиум, палитра, язык света)

Триггер: опционально

Если хотите “вызываемый стиль”, добавьте триггер в Обучение LoRA FLUX.2 Klein.

4.4 LoRA продукта / концепта

Цель: стабильная геометрия/материалы конкретного продукта или нового концепта.

  • Типичный датасет: 30–100 изображений
  • В начале держите кадрирование и масштаб относительно стабильными
  • В подписях указывайте название продукта и ключевые атрибуты, которые нужно сохранить

Триггер: настоятельно рекомендуется

Для продуктов/концептов явный контроль активации сильно помогает в Обучение LoRA FLUX.2 Klein.

5. Пошагово: обучаем LoRA FLUX.2 Klein в AI Toolkit (Обучение LoRA FLUX.2 Klein)

Это “быстрый путь” Обучение LoRA FLUX.2 Klein. Он сфокусирован на реальных кликах в UI.

Следуя шагам ниже, вы сделаете Обучение LoRA FLUX.2 Klein повторяемым и понятным.

Step 0 — Решите, где запускать AI Toolkit

  • Локально (ваш GPU) — хорошо для 4B Base и небольших запусков Обучение LoRA FLUX.2 Klein.
  • В облаке на RunComfy — лучший вариант для 9B Base и high‑res без ручного VRAM‑тюнинга.

    https://www.runcomfy.com/trainer/ai-toolkit/app

Step 1 — Создайте датасет в AI Toolkit

В UI AI Toolkit откройте вкладку Datasets.

Создайте датасет (пример имени):

  • klein_my_lora_v1

Загрузите изображения и (опционально) соответствующие .txt файлы с подписями.

Если вы ещё не готовы подписывать каждый файл, в Обучение LoRA FLUX.2 Klein можно начать с:

  • Trigger Word (панель JOB), и
  • короткой Default Caption (панель DATASETS).

Step 2 — Создайте новый Job (настраиваем панели по порядку UI)

Job panel

  • Training Name: понятное имя (например, klein4b_character_lora_v1)
  • GPU ID: локально выберите GPU; в облаке оставьте default
  • Trigger Word:
    • Персонаж/продукт: рекомендуется (уникальный токен)
    • Стиль: опционально (рекомендуется для чистого on/off)

Model panel

  • Model Architecture: FLUX.2 Klein 4B Base или FLUX.2 Klein 9B Base
  • Name or Path:
    • Используйте официальный репозиторий для выбранного размера в Обучение LoRA FLUX.2 Klein
    • Если выбрали 9B и загрузка не идёт — см. Troubleshooting (лицензионное gating)

Quantization panel

Квантование в Обучение LoRA FLUX.2 Klein — это в основном про влезть и сохранить стабильность.

  • Если VRAM ограничена (особенно 9B), включайте квантование для тяжёлых компонентов.
  • Если ловите ошибки, связанные с квантованием, временно выключите его, чтобы проверить пайплайн, а затем включите обратно, когда обучение запустится.

Target panel

Здесь вы задаёте “ёмкость” LoRA в Обучение LoRA FLUX.2 Klein.

  • Target Type: LoRA
  • Linear Rank (стартовые значения):
    • 4B Base: начните с 16, поднимите до 32 при недообучении
    • 9B Base: начните с 16–32 (если видите нестабильность — лучше 16)

Если обучение “collapses” или становится нестабильным, снижение rank — один из самых быстрых стабилизаторов в Обучение LoRA FLUX.2 Klein.

Save panel

  • Data Type: BF16 — безопасный дефолт
  • Save Every: 250–500 steps — удобная частота
  • Max Step Saves to Keep: 3–6 (контролирует диск)

Training panel

В первом Обучение LoRA FLUX.2 Klein держите настройки простыми:

  • Batch Size: 1 (увеличивайте только при запасе)
  • Gradient Accumulation: 1–4 (растит эффективный batch без VRAM‑скачков)
  • Learning Rate:
    • начните с 1e‑4, если всё стабильно
    • при нестабильности/“collapse” попробуйте 5e‑5
  • Steps (практичные диапазоны):
    • маленький датасет (20–40 img): 2000–4000
    • средний датасет (50–120 img): 3000–6000

Если сомневаетесь, сначала сделайте smoke test в Обучение LoRA FLUX.2 Klein:

  • прогоните ~1000 steps, посмотрите samples, затем решите — продолжать или перезапустить с другим rank/LR.

Regularization (особенно полезно для Klein 9B при collapse)

Если датасет узкий (один персонаж/один продукт), добавьте небольшой регуляризационный датасет (общие изображения того же класса с меньшим весом). Это часто снижает collapse/overfit и улучшает обобщение в Обучение LoRA FLUX.2 Klein.

Datasets panel

  • Target Dataset: выберите датасет
  • Default Caption (опционально):
    • Персонаж: photo of [trigger]
    • Стиль: [trigger], watercolor illustration, soft edges, pastel palette
    • Продукт: product photo of [trigger], clean background, studio lighting
  • Caption Dropout Rate: небольшие значения (например 0.05) помогают против “caption overfitting”, если вы не кешируете текстовые эмбеддинги
  • Cache Latents: включайте, если доступно (ускоряет)
  • Resolutions:
    • Начните с одного основного разрешения (например 1024) в Обучение LoRA FLUX.2 Klein
    • Добавляйте buckets позже, если нужна устойчивость к разным размерам

Sample panel (критично для Klein)

Поскольку вы тренируете Klein Base, сэмплинг в Обучение LoRA FLUX.2 Klein должен быть “как Base”, а не “как Distilled”.

Стартовые значения:

  • Sample Every: 250–500
  • Guidance Scale: ~4
  • Sample Steps: ~50
  • Seed: фиксированный (например 42) для сравнимости прогресса

Добавьте 6–10 промптов под реальные кейсы (персонаж, стиль, продукт), чтобы Обучение LoRA FLUX.2 Klein было “про практику”.

Step 3 — Запустите обучение и мониторьте

Откройте Training Queue, запустите job и смотрите:

  • Samples: оценивайте прогресс только с Base‑подходящими steps (≈50), иначе Обучение LoRA FLUX.2 Klein будет казаться “хуже”
  • Stability: если после улучшения качество резко падает — остановитесь и откатитесь на более ранний чекпойнт

6. Рекомендованные конфиги LoRA FLUX.2 Klein по уровню VRAM (Обучение LoRA FLUX.2 Klein)

Это “хорошие дефолты” для Обучение LoRA FLUX.2 Klein, а не строгие правила.

Если вы сомневаетесь, начните с этих значений и настройте Обучение LoRA FLUX.2 Klein по результатам samples.

Tier A — 4B Base на 24GB (частый локальный сетап)

  • Quantization: ON при необходимости
  • Batch size: 1
  • Rank: 16 (32 при underfitting)
  • Resolution: 768–1024
  • Sampling: steps 50, CFG ~4 (правильный тест в Обучение LoRA FLUX.2 Klein)

Tier B — 9B Base на 32–48GB (локальный “серьёзный” сетап)

  • Quantization: настоятельно рекомендуется
  • Batch size: 1 (увеличивайте только при запасе)
  • Rank: сначала 16 (32 только если стабильно)
  • Добавляйте регуляризацию, если обучение нестабильно или “collapses”
  • Sampling: steps 50, CFG ~4 (Base‑тест в Обучение LoRA FLUX.2 Klein)

Tier C — Облако H100/H200 (быстрая итерация, простейшие конфиги)

  • Если хотите максимум fidelity — выбирайте 9B Base
  • Batch size: 2–4 часто реалистично
  • Rank: 32 разумно при стабильном запуске
  • 1024 как default; расширяйте buckets только при необходимости
  • Sampling: steps 50, CFG ~4 (стандарт Обучение LoRA FLUX.2 Klein)

7. Частые проблемы в Обучение LoRA FLUX.2 Klein и как их исправить

Этот раздел про Klein, а не про общие советы. Он помогает быстро стабилизировать ваше Обучение LoRA FLUX.2 Klein.

Это сэкономит время и сделает Обучение LoRA FLUX.2 Klein предсказуемее.

“LoRA слабая / шумная” (но loss падает)

Самая вероятная причина: вы сэмплируете Klein Base в Обучение LoRA FLUX.2 Klein с “Distilled‑шагами”.

Фикс

  • В панели Sample поставьте Sample Steps ≈ 50 и Guidance Scale ≈ 4
  • Пересмотрите чекпойнты только после смены сэмплинга (чтобы Обучение LoRA FLUX.2 Klein было корректно оценено)

9B Base не скачивается / access denied

Самая вероятная причина: модель 9B закрыта лицензией (gated) и вы не авторизованы.

Фикс

  • Примите лицензию / запросите доступ: https://huggingface.co/black-forest-labs/FLUX.2-klein-base-9B
  • Добавьте Hugging Face Read token в Settings AI Toolkit
  • Перезапустите job после сохранения токена (и продолжайте Обучение LoRA FLUX.2 Klein)

(Если нужен пошаговый чек‑лист, у RunComfy есть отдельная страница: “Hugging Face token for FLUX”.)

“Я обучил LoRA, но она ничего не меняет”

Вероятные причины (Klein‑специфичные)

  • Обучили на 4B, тестируете на 9B (или наоборот)
  • Обучили на Base, тестируете на другом варианте/пайплайне

Фикс

  • Проверьте совпадение размера (4B LoRA → 4B Base; 9B LoRA → 9B Base)
  • Держите тестовый пайплайн согласованным с базой обучения, иначе Обучение LoRA FLUX.2 Klein не сравнимо

“Collapse” на 9B (качество резко деградирует или становится хаотичным)

Это часто обсуждаемый паттерн в сообществах вокруг Обучение LoRA FLUX.2 Klein на 9B.

Порядок фиксов (самые эффективные сначала)

1) Понизить Learning Rate (например 1e‑4 → 5e‑5)

2) Понизить Rank (например 32 → 16)

3) Добавить регуляризационный датасет (общие изображения того же класса с меньшим весом)

4) Сократить обучение и сделать early stop (взять последний “хороший” чекпойнт)

Чтобы быстро прогрессировать без борьбы с collapse, сначала обучите 4B Base в Обучение LoRA FLUX.2 Klein.

Edge cases AI Toolkit для Klein (известные текущие боли)

Некоторые пользователи сообщают в контексте Обучение LoRA FLUX.2 Klein:

  • Layer Offloading ведёт себя не так, как ожидается, на Klein 9B в некоторых сетапах
  • Ошибки обучения edit‑mode / control‑image в некоторых конфигурациях
  • GPU не используется в отдельных средах (особенно некоторые случаи WSL2)

Практический workaround

  • Если вам нужен надёжный запуск “сегодня”:
    • переключитесь на 4B Base, или
    • перенесите запуск в облачный AI Toolkit, или
    • обновите AI Toolkit до последней версии и повторите попытку

8. Как использовать LoRA FLUX.2 Klein после обучения (Обучение LoRA FLUX.2 Klein)

8.1 Тестируйте с Base‑настройками генерации

При тестировании LoRA на Klein Base начните (как и в Обучение LoRA FLUX.2 Klein) с:

  • Steps: ~50
  • CFG: ~4
  • LoRA weight: 0.6 → 1.0 (прогоните несколько значений)

8.2 Тест “как у профи” (быстро и повторяемо)

1) Сгенерируйте без LoRA (baseline)

2) Сгенерируйте с LoRA на 0.6 / 0.8 / 1.0

3) Держите seed + steps + CFG постоянными

4) Оцените:

  • силу активации (видно ли влияние?)
  • контроль (выключается ли без триггера?)
  • обобщение (работает ли на новых промптах?)

8.3 Сценарии редактирования

Klein поддерживает и редактирование. Когда LoRA стабильна в генерации, применяйте её в edit‑пайплайне, чтобы сохранять идентичность/стиль/продукт при правках. Это практичный результат Обучение LoRA FLUX.2 Klein.

Больше руководств по обучению LoRA в AI Toolkit

Ready to start training?