SDXL LoRA 추론: AI Toolkit LoRA를 ComfyUI에서 훈련 일치 결과로 실행하기#
SDXL LoRA 추론: ComfyUI에서 더 적은 단계로 훈련 일치 결과. 이 워크플로우는 Stable Diffusion XL (SDXL)을 RunComfy의 RC SDXL (RCSDXL) 커스텀 노드를 통해 AI Toolkit–훈련된 LoRA와 함께 실행합니다 (오픈소스로 runcomfy-com GitHub 조직 리포지토리에서 제공). 일반 샘플러 그래프 대신 SDXL-특화 파이프라인을 감싸고 LoRA 로딩 및 스케일링 (lora_path / lora_scale)을 SDXL-정확한 기본값으로 표준화하여, ComfyUI 출력이 훈련 미리보기에서 본 것과 훨씬 더 가깝게 유지되도록 합니다.
AI Toolkit (RunComfy Trainer 또는 기타)에서 SDXL LoRA를 훈련했으며 ComfyUI 결과가 훈련 미리보기와 비교하여 "이상하게" 보인다면, 이 워크플로우는 훈련 일치 동작으로 돌아가는 가장 빠른 방법입니다.
SDXL LoRA 추론 워크플로우 사용 방법#
Step 1: 워크플로우 열기#
RunComfy SDXL LoRA 추론 워크플로우를 엽니다.
Step 2: LoRA 가져오기 (2가지 옵션)#
- 옵션 A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
- 옵션 B (RunComfy 외부에서 AI Toolkit LoRA 훈련): 직접
.safetensors다운로드 링크를 복사하여lora_path에 붙여넣습니다.
Step 3: SDXL LoRA 추론을 위한 RCSDXL 구성#
RCSDXL SDXL LoRA 추론 노드 UI에서 나머지 매개변수를 설정합니다:
prompt: 기본 텍스트 프롬프트 (훈련 중 사용한 트리거 토큰 포함)negative_prompt: 선택 사항; 훈련 미리보기에서 사용하지 않았다면 비워둡니다width/height: 출력 해상도sample_steps: 샘플링 단계 (결과 비교 시 훈련 미리보기 설정과 일치시킵니다)guidance_scale: CFG / 가이드 (훈련 미리보기 CFG와 일치)seed: 재현 가능성을 위한 고정 시드; 변화를 탐색하려면 변경합니다lora_scale: LoRA 강도/강렬도
훈련 중 샘플링을 조정했다면, AI Toolkit 훈련 YAML을 열어 동일한 값을 여기로 복사하세요—특히 width, height, sample_steps, guidance_scale, seed를 중요하게 복사하세요. RunComfy에서 훈련했다면, Trainer → LoRA Assets에서 LoRA Config를 열고 미리보기/샘플 값을 복사할 수 있습니다.
Step 4: SDXL LoRA 추론 실행#
- Queue/Run 클릭 → 출력이 SaveImage를 통해 자동으로 저장됩니다
왜 SDXL LoRA 추론이 ComfyUI에서 자주 다르게 보이는지 & RCSDXL 커스텀 노드가 하는 일#
대부분의 SDXL LoRA 불일치는 잘못된 노브 하나 때문이 아닌 추론 파이프라인 변경으로 인해 발생합니다. AI Toolkit 훈련 미리보기는 모델-특화 SDXL 추론 구현을 통해 생성되지만, 많은 ComfyUI 그래프는 일반적인 구성 요소에서 재구성됩니다. 동일한 프롬프트, 단계, CFG, 시드를 사용하더라도 다른 파이프라인(및 LoRA 주입 경로)이 눈에 띄게 다른 결과를 생성할 수 있습니다.
RC SDXL (RCSDXL) 노드는 SDXL-특화 추론 파이프라인을 감싸서 SDXL LoRA 추론이 AI Toolkit 훈련 미리보기 파이프라인과 일치하도록 유지하고 SDXL에 대한 일관된 LoRA 주입 동작을 사용합니다. 참조 구현: `src/pipelines/sdxl.py`
SDXL LoRA 추론 문제 해결#
대부분의 "훈련 미리보기 vs ComfyUI 추론" 문제는 파이프라인 불일치에서 발생하며, 단일 매개변수가 잘못된 것은 아닙니다. AI Toolkit (SDXL)로 LoRA를 훈련했다면, ComfyUI에서 훈련 일치 동작을 복구하는 가장 신뢰할 수 있는 방법은 RunComfy의 RCSDXL 커스텀 노드를 통해 추론을 실행하여 SDXL 샘플링 + LoRA 주입을 파이프라인 수준에서 정렬하는 것입니다.
(1) lora .safetensor 파일에서의 추론이 sdxl 모델의 샘플과 훈련에서 일치하지 않음#
이유
LoRA가 로드되더라도, ComfyUI 그래프가 훈련 미리보기 파이프라인과 일치하지 않으면 결과가 여전히 드리프트할 수 있습니다 (다른 SDXL 기본값, 다른 LoRA 주입 경로, 다른 정제기 처리).
해결 방법 (권장)
- RCSDXL을 사용하고 직접
.safetensors링크를lora_path에 붙여넣습니다. - AI Toolkit 훈련 구성에서 샘플링 값을 복사합니다 (또는 RunComfy Trainer → LoRA Assets Config):
width,height,sample_steps,guidance_scale,seed. - "추가 속도 스택" (LCM/Lightning/Turbo)을 비교에서 제외하십시오, 훈련/샘플링에서 사용하지 않았다면.
(2) SDXL lora 키가 로드되지 않음 "lora_te2_text_projection.*"#
이유
LoRA에 SDXL 텍스트 인코더 2 프로젝션 키가 포함되어 있고, 현재 로딩 경로가 이를 적용하지 않기 때문에 발생 (SDXL의 이중 인코더 설정과 일치하지 않을 때 주입/키 매핑이 발생하기 쉬움).
해결 방법 (가장 신뢰할 수 있는 방법)
- RCSDXL을 사용하고 노드 내에서
lora_path를 통해 LoRA를 로드합니다 (파이프라인 수준 주입). lora_scale을 일관되게 유지하고, 훈련 중 사용한 동일한 트리거 토큰을 포함합니다.- 경고가 지속되면, 훈련에 사용된 정확한 기본 체크포인트를 시도하십시오 (일치하지 않는 SDXL 변형이 누락/무시된 키를 생성할 수 있음).
(3) 더 이상 SDXL에서 LoRA를 사용할 수 없음#
이유
ComfyUI / 커스텀 노드를 업데이트한 후, SDXL LoRA 적용이 변경될 수 있습니다 (로더 동작, 캐싱, 메모리 동작), 이전에 작동하던 그래프가 실패하거나 드리프트할 수 있습니다.
해결 방법 (권장)
- SDXL 추론 경로를 안정적이고 훈련에 맞게 유지하기 위해 RCSDXL을 사용합니다.
- 업데이트 후 모델/노드 캐시를 지우거나 세션을 다시 시작합니다 (특히 LoRA/로더 설정을 조정한 후에만 동작이 변경될 때).
- 디버깅을 위해, 최소한의 기본-전용 SDXL 워크플로우를 먼저 실행한 다음 복잡성을 추가합니다.
(4) 값 변경 후 후속 실행에서 잘못된 CLIP 캐시로 인한 Scheduling Hook LoRA 오류#
이유
훅/스케줄링 워크플로우는 매개변수 변경 후 캐시된 CLIP 상태를 재사용할 수 있으며, 이는 재현성을 깨고 LoRA 동작을 실행 간 불일치하게 만듭니다.
해결 방법 (권장)
- 훈련 일치 추론을 위해, 간단한
lora_path/lora_scale로 RCSDXL을 우선 사용합니다 (기본값이 일치할 때까지 훅/스케줄링 레이어를 피하십시오). - 훅/스케줄링 노드를 사용해야 하는 경우, 캐시를 지우거나 (또는 재시작) 후 훅 매개변수를 변경한 후 동일한 시드로 다시 실행합니다.
(5) 인페인팅 SDXL에서 LORA를 사용하려 할 때 Ksampler 오류 발생#
이유
인페인팅 스택은 샘플링 중에 모델을 패치합니다. 설정을 세션 중간에 변경할 때 일부 커스텀 노드/도우미 래퍼가 LoRA 패치와 충돌하여 KSampler/인페인트 워커 오류를 트리거할 수 있습니다.
해결 방법 (권장)
- 일반 txt2img 워크플로우에서 RCSDXL에서 LoRA가 작동하는지 확인합니다 (파이프라인 수준의 기본값).
- 인페인팅을 한 번에 하나의 구성 요소로 다시 추가합니다. 오류가 편집 후에만 나타나면, 다시 실행하기 전에 캐시를 지우거나 재시작합니다.
- 특정 도우미 노드에서만 문제가 발생하면, 기본 인페인트 경로를 시도하거나 충돌하는 커스텀 노드를 업데이트/비활성화합니다.
(6) 이 오류 발생 clip 누락: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']#
이유
이는 일반적으로 로드된 CLIP/텍스트-인코더 자산이 실행 중인 SDXL 체크포인트와 일치하지 않음을 의미합니다 (기대되는 SDXL CLIP 가중치가 누락됨), 이는 또한 LoRA 동작이 "이상하게" 보이게 할 수 있습니다.
해결 방법 (권장)
- 올바른 SDXL 텍스트 인코더/CLIP 구성 요소와 함께 적절한 SDXL 체크포인트 설정을 사용하고 있는지 확인합니다.
- 그런 다음 RCSDXL을 통해 LoRA 추론을 실행하여 SDXL 조건 경로가 끝에서 끝까지 일관되게 유지되도록 합니다.
지금 SDXL LoRA 추론 실행하기#
RunComfy SDXL LoRA 추론 워크플로우를 열고, lora_path에 LoRA를 붙여넣고 ComfyUI에서 훈련 일치 SDXL LoRA 추론을 위해 RCSDXL을 실행하세요.
