logo
RunComfy
AI Toolkit LoRA Training Guides

Open‑source AI Toolkit inference pipeline (Diffusers)

Чтобы исправить дрейф «AI Toolkit samples vs inference», есть референсный Diffusers‑пайплайн, совпадающий с AI Toolkit sampling. Open‑source. repo: runcomfy-com/ai-toolkit-inference

Train Diffusion Models with Ostris AI Toolkit

Если вы тренируете LoRA в Ostris AI Toolkit, то наверняка сталкивались с таким:

  • Samples / Previews во время обучения в AI Toolkit выглядят отлично.
  • Та же LoRA даёт другой результат при инференсе в ComfyUI, Diffusers или другом стеке.

В большинстве случаев LoRA не «сломана» — просто пайплайн инференса отличается от пайплайна превью.

Мелочи быстро складываются: точная версия базовой модели, семантика scheduler/steps, дефолты VAE/CLIP, правила “snapping” (округления) разрешения и даже как применяется LoRA (adapter vs merge/fuse, нюансы разных семейств).

Чтобы инференс в стиле AI Toolkit было легче воспроизвести, проверить и отладить, RunComfy публикует эталонную реализацию инференса для AI Toolkit LoRA как open source, на базе Hugging Face Diffusers.

GitHub: runcomfy-com/ai-toolkit-inference

Для чего нужен этот open‑source репозиторий

Используйте его, если хотите:

  • Воспроизвести Samples/Previews AI Toolkit вне AI Toolkit (с той же логикой инференса)
  • Отладить “drift” между превью обучения и инференсом, контролируя каждый элемент пайплайна
  • Собрать свой сервис инференса (например, за API) на базе Diffusers

Если цель — просто “запустить LoRA и попасть в результаты Samples”, код читать необязательно: RunComfy также даёт такое же preview‑matching поведение через managed‑inference (Playground/API) и ComfyUI‑воркфлоу.

Что внутри репозитория

Проект сделан так, чтобы поведение AI Toolkit превью было аудируемым и воспроизводимым. Обычно там есть:

  • Diffusers‑пайплайны под конкретные базовые модели (image, edit/control, video — зависит от семейства)
  • YAML обучения AI Toolkit → настройки инференса (YAML как “контракт”)
  • Загрузка и применение LoRA (adapter vs merge/fuse; особенности биндинга по семействам)
  • Правила snapping/округления разрешения для совпадения с Samples/Previews
  • Опционально: пример асинхронного сервера (например, FastAPI) для инференса за API

Как это связано с RunComfy Trainer Inference

RunComfy использует ту же идею preview‑matching:

  • Зафиксировать точную версию/вариант базовой модели
  • Согласовать дефолты инференса для конкретного семейства
  • Сохранить то же поведение пайплайна, которое рисует Samples/Previews в обучении

Этот выровненный пайплайн можно использовать двумя удобными для разработчика способами:

  • Playground / API (быстрая проверка + интеграция)
  • ComfyUI (воркфлоу под каждую базовую модель — загрузите LoRA и получайте preview‑matching результат)

Гайды:

Ready to start training?