SDXL LoRA 추론: AI Toolkit LoRA를 ComfyUI에서 훈련 일치 결과로 실행하기

SDXL LoRA 추론: ComfyUI에서 더 적은 단계로 훈련 일치 결과. 이 워크플로우는 Stable Diffusion XL (SDXL)을 RunComfy의 RC SDXL (RCSDXL) 커스텀 노드를 통해 AI Toolkit–훈련된 LoRA와 함께 실행합니다 (오픈소스로 runcomfy-com GitHub 조직 리포지토리에서 제공). 일반 샘플러 그래프 대신 SDXL-특화 파이프라인을 감싸고 LoRA 로딩 및 스케일링 (lora_path / lora_scale)을 SDXL-정확한 기본값으로 표준화하여, ComfyUI 출력이 훈련 미리보기에서 본 것과 훨씬 더 가깝게 유지되도록 합니다.

AI Toolkit (RunComfy Trainer 또는 기타)에서 SDXL LoRA를 훈련했으며 ComfyUI 결과가 훈련 미리보기와 비교하여 "이상하게" 보인다면, 이 워크플로우는 훈련 일치 동작으로 돌아가는 가장 빠른 방법입니다.

SDXL LoRA 추론 워크플로우 사용 방법

Step 1: 워크플로우 열기

RunComfy SDXL LoRA 추론 워크플로우를 엽니다.

Step 2: LoRA 가져오기 (2가지 옵션)

• 옵션 A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
  
• 옵션 B (RunComfy 외부에서 AI Toolkit LoRA 훈련): 직접 .safetensors 다운로드 링크를 복사하여 lora_path에 붙여넣습니다.
  

Step 3: SDXL LoRA 추론을 위한 RCSDXL 구성

RCSDXL SDXL LoRA 추론 노드 UI에서 나머지 매개변수를 설정합니다:

• prompt: 기본 텍스트 프롬프트 (훈련 중 사용한 트리거 토큰 포함)
• negative_prompt: 선택 사항; 훈련 미리보기에서 사용하지 않았다면 비워둡니다
• width / height: 출력 해상도
• sample_steps: 샘플링 단계 (결과 비교 시 훈련 미리보기 설정과 일치시킵니다)
• guidance_scale: CFG / 가이드 (훈련 미리보기 CFG와 일치)
• seed: 재현 가능성을 위한 고정 시드; 변화를 탐색하려면 변경합니다
• lora_scale: LoRA 강도/강렬도

훈련 중 샘플링을 조정했다면, AI Toolkit 훈련 YAML을 열어 동일한 값을 여기로 복사하세요—특히 width, height, sample_steps, guidance_scale, seed를 중요하게 복사하세요. RunComfy에서 훈련했다면, Trainer → LoRA Assets에서 LoRA Config를 열고 미리보기/샘플 값을 복사할 수 있습니다.

Step 4: SDXL LoRA 추론 실행

• Queue/Run 클릭 → 출력이 SaveImage를 통해 자동으로 저장됩니다

왜 SDXL LoRA 추론이 ComfyUI에서 자주 다르게 보이는지 & RCSDXL 커스텀 노드가 하는 일

대부분의 SDXL LoRA 불일치는 잘못된 노브 하나 때문이 아닌 추론 파이프라인 변경으로 인해 발생합니다. AI Toolkit 훈련 미리보기는 모델-특화 SDXL 추론 구현을 통해 생성되지만, 많은 ComfyUI 그래프는 일반적인 구성 요소에서 재구성됩니다. 동일한 프롬프트, 단계, CFG, 시드를 사용하더라도 다른 파이프라인(및 LoRA 주입 경로)이 눈에 띄게 다른 결과를 생성할 수 있습니다.

RC SDXL (RCSDXL) 노드는 SDXL-특화 추론 파이프라인을 감싸서 SDXL LoRA 추론이 AI Toolkit 훈련 미리보기 파이프라인과 일치하도록 유지하고 SDXL에 대한 일관된 LoRA 주입 동작을 사용합니다. 참조 구현: `src/pipelines/sdxl.py`

SDXL LoRA 추론 문제 해결

대부분의 "훈련 미리보기 vs ComfyUI 추론" 문제는 파이프라인 불일치에서 발생하며, 단일 매개변수가 잘못된 것은 아닙니다. AI Toolkit (SDXL)로 LoRA를 훈련했다면, ComfyUI에서 훈련 일치 동작을 복구하는 가장 신뢰할 수 있는 방법은 RunComfy의 RCSDXL 커스텀 노드를 통해 추론을 실행하여 SDXL 샘플링 + LoRA 주입을 파이프라인 수준에서 정렬하는 것입니다.

(1) lora .safetensor 파일에서의 추론이 sdxl 모델의 샘플과 훈련에서 일치하지 않음

이유

LoRA가 로드되더라도, ComfyUI 그래프가 훈련 미리보기 파이프라인과 일치하지 않으면 결과가 여전히 드리프트할 수 있습니다 (다른 SDXL 기본값, 다른 LoRA 주입 경로, 다른 정제기 처리).

해결 방법 (권장)

• RCSDXL을 사용하고 직접 .safetensors 링크를 lora_path에 붙여넣습니다.
• AI Toolkit 훈련 구성에서 샘플링 값을 복사합니다 (또는 RunComfy Trainer → LoRA Assets Config): width, height, sample_steps, guidance_scale, seed.
• "추가 속도 스택" (LCM/Lightning/Turbo)을 비교에서 제외하십시오, 훈련/샘플링에서 사용하지 않았다면.

(2) SDXL lora 키가 로드되지 않음 "lora_te2_text_projection.*"

이유

LoRA에 SDXL 텍스트 인코더 2 프로젝션 키가 포함되어 있고, 현재 로딩 경로가 이를 적용하지 않기 때문에 발생 (SDXL의 이중 인코더 설정과 일치하지 않을 때 주입/키 매핑이 발생하기 쉬움).

해결 방법 (가장 신뢰할 수 있는 방법)

• RCSDXL을 사용하고 노드 내에서 lora_path를 통해 LoRA를 로드합니다 (파이프라인 수준 주입).
• lora_scale을 일관되게 유지하고, 훈련 중 사용한 동일한 트리거 토큰을 포함합니다.
• 경고가 지속되면, 훈련에 사용된 정확한 기본 체크포인트를 시도하십시오 (일치하지 않는 SDXL 변형이 누락/무시된 키를 생성할 수 있음).

(3) 더 이상 SDXL에서 LoRA를 사용할 수 없음

이유

ComfyUI / 커스텀 노드를 업데이트한 후, SDXL LoRA 적용이 변경될 수 있습니다 (로더 동작, 캐싱, 메모리 동작), 이전에 작동하던 그래프가 실패하거나 드리프트할 수 있습니다.

해결 방법 (권장)

• SDXL 추론 경로를 안정적이고 훈련에 맞게 유지하기 위해 RCSDXL을 사용합니다.
• 업데이트 후 모델/노드 캐시를 지우거나 세션을 다시 시작합니다 (특히 LoRA/로더 설정을 조정한 후에만 동작이 변경될 때).
• 디버깅을 위해, 최소한의 기본-전용 SDXL 워크플로우를 먼저 실행한 다음 복잡성을 추가합니다.

(4) 값 변경 후 후속 실행에서 잘못된 CLIP 캐시로 인한 Scheduling Hook LoRA 오류

이유

훅/스케줄링 워크플로우는 매개변수 변경 후 캐시된 CLIP 상태를 재사용할 수 있으며, 이는 재현성을 깨고 LoRA 동작을 실행 간 불일치하게 만듭니다.

해결 방법 (권장)

• 훈련 일치 추론을 위해, 간단한 lora_path / lora_scale로 RCSDXL을 우선 사용합니다 (기본값이 일치할 때까지 훅/스케줄링 레이어를 피하십시오).
• 훅/스케줄링 노드를 사용해야 하는 경우, 캐시를 지우거나 (또는 재시작) 후 훅 매개변수를 변경한 후 동일한 시드로 다시 실행합니다.

(5) 인페인팅 SDXL에서 LORA를 사용하려 할 때 Ksampler 오류 발생

이유

인페인팅 스택은 샘플링 중에 모델을 패치합니다. 설정을 세션 중간에 변경할 때 일부 커스텀 노드/도우미 래퍼가 LoRA 패치와 충돌하여 KSampler/인페인트 워커 오류를 트리거할 수 있습니다.

해결 방법 (권장)

• 일반 txt2img 워크플로우에서 RCSDXL에서 LoRA가 작동하는지 확인합니다 (파이프라인 수준의 기본값).
• 인페인팅을 한 번에 하나의 구성 요소로 다시 추가합니다. 오류가 편집 후에만 나타나면, 다시 실행하기 전에 캐시를 지우거나 재시작합니다.
• 특정 도우미 노드에서만 문제가 발생하면, 기본 인페인트 경로를 시도하거나 충돌하는 커스텀 노드를 업데이트/비활성화합니다.

(6) 이 오류 발생 clip 누락: ['clip_l.logit_scale', 'clip_l.transformer.text_projection.weight']

이유

이는 일반적으로 로드된 CLIP/텍스트-인코더 자산이 실행 중인 SDXL 체크포인트와 일치하지 않음을 의미합니다 (기대되는 SDXL CLIP 가중치가 누락됨), 이는 또한 LoRA 동작이 "이상하게" 보이게 할 수 있습니다.

해결 방법 (권장)

• 올바른 SDXL 텍스트 인코더/CLIP 구성 요소와 함께 적절한 SDXL 체크포인트 설정을 사용하고 있는지 확인합니다.
• 그런 다음 RCSDXL을 통해 LoRA 추론을 실행하여 SDXL 조건 경로가 끝에서 끝까지 일관되게 유지되도록 합니다.

지금 SDXL LoRA 추론 실행하기

RunComfy SDXL LoRA 추론 워크플로우를 열고, lora_path에 LoRA를 붙여넣고 ComfyUI에서 훈련 일치 SDXL LoRA 추론을 위해 RCSDXL을 실행하세요.