Ostris AI Toolkit으로 LoRA를 학습했는데 이런 문제를 겪고 있나요?
- “AI Toolkit LoRA가 ComfyUI에서 다르게 나온다”
- “AI Toolkit 프리뷰와 ComfyUI 추론 결과가 안 맞는다”
- “왜 학습 샘플이 ComfyUI보다 더 좋아 보이지?”
- “AI Toolkit으로 학습한 LoRA가 ComfyUI에서 제대로 안 먹는다”
…그렇다면 이 가이드가 도움이 됩니다.
이 글은 AI Toolkit으로 학습한 LoRA를 ComfyUI에서 실행할 때, AI Toolkit 학습 Samples/Previews와 최대한 비슷한 결과를 내도록 맞추는 방법에 초점을 둡니다.
ComfyUI가 아닌 방식(Playground / API)으로 추론하려면?
참고: AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API)
AI Toolkit 샘플이 ComfyUI와 안 맞는 ‘진짜’ 이유
ComfyUI 그래프는 AI Toolkit이 학습 샘플을 렌더링할 때 쓰는 추론 파이프라인과 다릅니다.
그리고 문제의 핵심이 파이프라인 레벨이라서, 보이는 설정(프롬프트, 시드, 스텝, CFG/가이던스, 해상도)만 복사해도 보통은 같은 결과가 나오지 않습니다.
실제로 “pipeline mismatch”가 의미하는 것들:
- 샘플러/스케줄러의 의미가 다름
많은 AI Toolkit 타깃은 flow‑matching 스타일 샘플링과 모델별 스케줄러 동작에 의존합니다. ComfyUI의 “비슷한” 샘플러가 동일하지 않은 경우가 많습니다.
- steps/CFG로 드러나지 않는 숨은 파라미터
예: 최신 아키텍처에서 흔한 sampling patch / shift 파라미터.
- LoRA 적용 방식이 다름
“Load LoRA”는 아키텍처에 따라 다른 의미일 수 있습니다(어댑터 vs 가중치 패치, 주입 위치).
- 키/모듈 이름 매핑 불일치
LoRA가 “로드”되어도 예상 모듈에 바인딩되지 않으면 효과가 약하거나 없는 것처럼 보입니다.
- 베이스 모델/변형 드리프트
dev vs turbo, 4B vs 14B, de‑turbo vs turbo, 양자화 차이처럼 작은 차이도 결과를 크게 바꿉니다.
결론: AI Toolkit 프리뷰와 맞추려면, 보이는 설정이 아니라 추론 파이프라인 전체를 맞춰야 합니다.
RunComfy가 ComfyUI 사용자를 위해 한 일
RunComfy는 AI Toolkit 학습 샘플(“Samples/Preview”)을 만들 때 쓰는 추론 파이프라인을 가져와, 베이스 모델별로 ComfyUI 추론과 정렬했습니다.
그리고 그 로직을:
- ComfyUI 노드(AI Toolkit 프리뷰 파이프라인 동작을 그래프 안에서 사용)
- Training Preview‑Match 워크플로(베이스 모델별 실행용 그래프)
로 패키징했습니다.
결과:
- 베이스 모델 1개 = ComfyUI 워크플로 1개
- AI Toolkit 학습 LoRA(
.safetensors)를 넣고 - 무작정 그래프를 튜닝하는 것보다 훨씬 안정적으로 학습 프리뷰와 가까운 결과를 얻습니다
Training Preview‑Match 워크플로 라이브러리 (베이스 모델 1개 = 워크플로 1개)
학습에 사용한 베이스 모델과 동일한 워크플로를 선택하세요.
첫 릴리스는 아래 모델을 지원합니다. 이후 AI Toolkit의 모든 베이스 모델을 커버할 때까지 추가됩니다.
트러블슈팅 (AI Toolkit LoRA in ComfyUI)
자주 나오는 “AI Toolkit → ComfyUI” 문제와 가장 빠른 해결책입니다.
“AI Toolkit 학습 샘플은 좋은데, ComfyUI 추론은 더 나쁘거나 다르게 나온다.”
원인: ComfyUI에서 AI Toolkit 프리뷰 파이프라인을 쓰지 않았습니다.
해결: 베이스 모델에 맞는 Training Preview‑Match 워크플로를 사용하세요.
이동: Training Preview‑Match 라이브러리
“프롬프트/시드/스텝/CFG를 맞췄는데도 안 맞는다.”
원인: 샘플러/스케줄러 + 파이프라인 로직이 다르면 파라미터 매칭만으로는 부족합니다.
해결: 수동으로 “맞춰보려” 하지 말고, 베이스 모델 preview‑match 워크플로를 쓰세요.
이동: Training Preview‑Match 라이브러리
“ComfyUI에서 LoRA는 로드되는데, 거의 변화가 없다.”
원인: 보통 다음 중 하나입니다:
- 베이스 모델 워크플로가 틀림(아키텍처/변형 불일치)
- 키/모듈 매핑 불일치(생각한 모듈에 적용되지 않음)
- LoRA 가중치(스케일)가 너무 낮음
해결: 올바른 워크플로에서 0.9–1.0으로 재테스트하세요.
이동: Training Preview‑Match 라이브러리
“Flux/FlowMatch는 AI Toolkit에서 좋은데, ComfyUI에서 Euler/DPM을 쓰면 likeness가 떨어진다.”
원인: FLUX 계열 AI Toolkit 프리뷰는 flow‑matching 샘플링 동작에 의존하는 경우가 많습니다. 샘플러를 바꾸면(스텝이 같아도) 구조/likeness가 달라질 수 있습니다.
해결: AI Toolkit 샘플링 파이프라인에 맞춰 만든 FLUX preview‑match 워크플로를 사용하세요.
이동:
“Z‑Image Turbo는 AI Toolkit에서 맞는데, ComfyUI에서는 품질이 떨어진다.”
원인: Z‑Image 추론은 모델별 샘플링 패치/파라미터에 민감하며, 커스텀 그래프에서 빠지기 쉽습니다.
해결: Z‑Image preview‑match 워크플로를 사용하세요(Turbo vs De‑Turbo 중요).
이동:
- ComfyUI Workflow: Z‑Image Turbo LoRA Inference (AI Toolkit Preview‑Match)
- ComfyUI Workflow: Z‑Image De‑Turbo LoRA Inference (AI Toolkit Preview‑Match)
관련 가이드: ComfyUI 없이 맞추기 (Playground/API)
ComfyUI가 필요 없고, 학습 프리뷰와 일치하는 추론을 가장 빠르게 얻고 싶다면(또는 앱에 통합하려면) 아래를 참고하세요:
- AI Toolkit Inference: Get Results That Match Your Training Samples (Playground/API) → link
학습을 시작할 준비가 되셨나요?