Ostris AI Toolkit으로 LoRA를 학습하다 보면 이런 경험을 한 번쯤 하게 됩니다:
- AI Toolkit 학습 Samples/Previews는 매우 잘 나오는데,
- 같은 LoRA를 ComfyUI, Diffusers 등 다른 환경에서 추론하면 결과가 달라 보이는 경우.
대부분 LoRA가 “망가진” 게 아니라, 추론 파이프라인이 학습 프리뷰와 같지 않아서 생깁니다.
베이스 모델 변형(버전), scheduler/step 의미, VAE/CLIP 기본값, 해상도 스냅(배수로 맞춤), 그리고 LoRA 적용 방식(어댑터 vs merge/fuse, 모델 패밀리 특성) 같은 작은 차이가 빠르게 큰 차이로 누적됩니다.
AI Toolkit 스타일 추론을 더 재현 가능/검증 가능/디버깅 가능하게 만들기 위해, RunComfy는 AI Toolkit LoRA용으로 사용하는 레퍼런스 추론 구현을 Hugging Face Diffusers 기반 오픈소스로 공개했습니다.
GitHub repo: runcomfy-com/ai-toolkit-inference
이 오픈소스 레포의 목적
다음이 필요할 때 사용하세요:
- AI Toolkit 밖에서 Samples/Previews를 같은 추론 로직으로 재현
- “학습 프리뷰 vs 추론” 드리프트를 파이프라인 단위로 점검/디버깅
- Diffusers 기반으로 자체 추론 서비스(예: API 뒤에서) 구축
목표가 단순히 “LoRA를 돌려서 학습 Samples와 맞추기”라면 코드를 꼭 읽을 필요는 없습니다. RunComfy는 동일한 preview‑matching 동작을 관리형 추론(Playground/API)과 ComfyUI 워크플로로도 제공합니다.
레포 안에는 무엇이 있나
AI Toolkit 프리뷰 동작을 감사 가능하고 재현 가능하게 만드는 구조입니다. 보통 다음이 포함됩니다:
- 베이스 모델별 Diffusers 파이프라인(이미지, 편집/컨트롤, 비디오 — 모델 패밀리에 따라)
- AI Toolkit 학습 YAML → 추론 설정(YAML을 “계약”으로 취급)
- LoRA 로딩/적용 로직(어댑터 vs merge/fuse, 패밀리별 바인딩 특성)
- AI Toolkit Samples/Previews에 맞추는 해상도 스냅 규칙
- 옵션: API 뒤에서 돌릴 수 있는 비동기 서버 예시(예: FastAPI)
RunComfy Trainer Inference와의 관계
RunComfy도 같은 preview‑matching 원칙을 사용합니다:
- 정확한 베이스 모델/변형 고정
- 모델 패밀리 추론 기본값 일치
- 학습 Samples/Previews를 만든 것과 같은 파이프라인 동작 유지
이 정렬된 파이프라인은 개발자 친화적으로 두 가지 방식으로 사용할 수 있습니다:
- Playground / API 추론(빠른 검증 + 통합)
- ComfyUI 추론(베이스 모델별 워크플로 — LoRA를 로드하고 프리뷰 매칭 결과 생성)
가이드:
- Playground/API 패리티: AI Toolkit Inference: Get Results That Match Your Training Samples
- ComfyUI preview‑match 워크플로: AI Toolkit Inference in ComfyUI: Get Results That Match Your Training Samples
- 드리프트 디버깅: AI Toolkit Preview vs Inference Mismatch
학습을 시작할 준비가 되셨나요?