SD 1.5 LoRA 추론: ComfyUI에서 훈련 일치 Stable Diffusion 1.5 생성

SD 1.5 LoRA 추론은 AI Toolkit에서 훈련한 LoRA를 Stable Diffusion 1.5에서 ComfyUI로 훈련 일치 동작으로 실행하기 위한 생산 준비된 RunComfy 워크플로우입니다. 이것은 RC SD 1.5 (RCSD15)—RunComfy가 구축한 오픈 소스 사용자 정의 노드(source)에 의해 구동되며, SD1.5 파이프라인(일반 샘플러 그래프가 아님)을 통해 추론을 라우팅하고 lora_path 및 lora_scale을 사용하여 어댑터를 주입합니다.

왜 SD 1.5 LoRA 추론이 ComfyUI에서 다르게 보이는가

SD1.5에 대한 AI Toolkit 미리보기 샘플은 모델 특정 추론 파이프라인에 의해 생성되며, 스케줄러 기본값 및 LoRA가 스택에 적용되는 위치를 포함합니다. 실행을 "표준" ComfyUI SD 그래프로 재구성하면 작은 차이점(샘플러/스케줄러 선택, 조건 흐름, LoRA 로더 패치 포인트)이 누적될 수 있으며, 프롬프트, 시드 및 단계가 일치해도 동일한 모양을 보장하지 않습니다. 대부분의 "미리보기 대 추론" 보고서에서 근본 원인은 파이프라인 불일치이며, 누락된 조절기가 아닙니다.

RCSD15 사용자 정의 노드가 수행하는 작업

RCSD15는 Stable Diffusion 1.5 파이프라인을 노드 내부에서 실행하고 lora_path / lora_scale을 통해 AI Toolkit LoRA를 일관되게 적용하여 SD1.5 기본값(8픽셀 해상도 나누기 및 부정적 프롬프트 지원)을 사용하여 SD 1.5 LoRA 추론을 정렬 상태로 유지합니다. 출처 (RunComfy 오픈 소스): runcomfy-com repositories

SD 1.5 LoRA 추론 워크플로우 사용 방법

Step 1: LoRA 가져오기 (2가지 옵션)

• 옵션 A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → 당신의 LoRA 찾기 → ⋮ → LoRA 링크 복사
  
• 옵션 B (RunComfy 외부에서 훈련한 AI Toolkit LoRA): LoRA의 직접 .safetensors 다운로드 링크를 복사하여 lora_path에 붙여 넣습니다 (ComfyUI/models/loras에 다운로드할 필요 없음)

Step 2: SD 1.5 LoRA 추론을 위한 RCSD15 사용자 정의 노드 구성

RC SD 1.5 (RCSD15)의 lora_path에 LoRA 링크를 붙여 넣습니다 (옵션 A의 RunComfy LoRA 링크 또는 옵션 B의 직접 .safetensors URL 중 하나).

그런 다음 나머지 노드 매개변수를 설정합니다 (훈련 미리보기/샘플 값에 맞춰 시작하여 정렬을 확인한 후 조정):

• prompt: 긍정적 프롬프트 (훈련 시 사용한 트리거 토큰을 그대로 유지)
• negative_prompt: 선택 사항; 샘플링 중 부정적 사용하지 않았다면 비워 둡니다
• width / height: 출력 크기 (SD1.5에 대해 8로 나누어 떨어져야 함; 512×512는 일반적인 기준선)
• sample_steps: 추론 단계 (25는 SD 1.5 LoRA 추론의 일반적인 시작점)
• guidance_scale: 가이드 강도 (미리보기 값을 먼저 맞추고 점차 조정)
• seed: 미리보기와 ComfyUI 추론을 비교하는 동안 고정 유지; 기준선이 맞으면 무작위화
• lora_scale: LoRA 강도 (미리보기 값에서 시작한 후 작은 증가로 조정)

훈련 정렬 참고: 훈련 중 샘플링을 사용자 정의했다면 AI Toolkit 훈련 YAML을 열고 width, height, sample_steps, guidance_scale, seed, lora_scale을 반영하십시오. RunComfy에서 훈련했다면 Trainer → LoRA Assets → Config를 열고 미리보기/샘플 값을 RCSD15에 복사하십시오.

Step 3: SD 1.5 LoRA 추론 실행

Queue/Run을 클릭하십시오. SaveImage 노드는 생성된 이미지를 표준 ComfyUI 출력 폴더에 씁니다.

SD 1.5 LoRA 추론 문제 해결

RunComfy의 RC SD 1.5 (RCSD15) 사용자 정의 노드는 훈련 일치 기준선으로 돌아가도록 설계되었으며, SD1.5 Diffusers 파이프라인을 노드 내부에서 실행하고 AI Toolkit 샘플링과 정렬된 DDPMScheduler 구성을 포함하여 lora_path / lora_scale을 통해 어댑터를 파이프라인 수준에서 주입합니다. 먼저 RCSD15를 기준선으로 사용한 후 조정하십시오.

(1) Lora 키가 로드되지 않음

이유

SD 1.5 워크플로우에서 이 경고는 거의 항상 LoRA에 현재 패치 중인 모듈에 깨끗하게 매핑되지 않는 키가 포함되어 있음을 의미합니다. 가장 자주 나타나는 SD1.5 특정 원인은 다음과 같습니다:

• LoRA가 비 SD1.5 기반(예: SDXL) 또는 불일치한 SD1.5 구성 요소에 대해 적용되고 있습니다.
• LoRA가 AI Toolkit의 미리보기 샘플러에서 사용한 경로와 다른 경로로 주입되고 있습니다 (그래서 패치 포인트와 기본값이 다릅니다).
• 로드 중인 LoRA 키 형식에 비해 로컬 ComfyUI/사용자 정의 노드 스택이 오래되었습니다.

수정 방법 (사용자 신뢰할 수 있는 SD1.5 접근법)

• 파이프라인 정렬 기준선에서 시작: LoRA를 RCSD15를 통해 실행하고 lora_path + lora_scale을 통해서만 로드하십시오 (디버깅 중 추가 LoRA 로더 노드 쌓기를 피하십시오).
• 전체 스택을 SD 1.5로 유지: 사용 중인 추론의 기본 체크포인트가 Stable Diffusion 1.5인지 확인하십시오 (SD1.5 LoRA는 SDXL 모듈에 완전히 매핑되지 않습니다).
• 업데이트 후 다시 테스트: ComfyUI 및 사용자 정의 노드를 업데이트한 후 동일한 RCSD15 실행 (동일한 프롬프트/시드/단계)를 다시 시도하여 불일치가 도구 관련인지 자산 관련인지 확인하십시오.

(2) 내 AI Toolkit 미리보기는 좋지만, 동일한 프롬프트/시드/단계로도 ComfyUI 출력이 드리프트함

이유

SD 1.5의 경우 "동일한 프롬프트 + 동일한 시드 + 동일한 단계"는 스케줄러/샘플러 기본값이 다르면 여전히 드리프트할 수 있습니다. AI Toolkit의 SD1.5 샘플링은 Diffusers SD1.5 파이프라인 설정에 묶여 있으며, "표준" ComfyUI SD 그래프는 다른 샘플러/스케줄러 동작 및 조건 기본값을 사용할 수 있으므로 디노이징 경로가 변경됩니다.

수정 방법 (파이프라인 수준 정렬 먼저)

• 먼저 RCSD15를 사용하여 비교: RCSD15는 노드 내부에서 SD1.5 파이프라인 (Diffusers StableDiffusionPipeline)을 실행하고 DDPMScheduler 구성을 통해 샘플링 동작을 정렬한 후, 동일한 파이프라인 내에서 lora_path / lora_scale을 통해 LoRA를 적용합니다.
• AI Toolkit 미리보기 값을 정확히 반영하며 비교: width, height (SD1.5는 /8로 나누어 떨어짐을 기대), sample_steps, guidance_scale, seed, lora_scale.
• 검증 중 변수 고정: 기준선이 맞을 때까지 seed를 고정한 후 한 번에 하나의 매개변수만 조정하십시오.

(3) LoRA가 로드되지만 효과가 AI Toolkit 샘플보다 훨씬 약하거나 강함

이유

SD 1.5에서 느껴지는 LoRA 강도는 파이프라인 + 스케줄러 + CFG + 해상도에 매우 민감합니다. 추론 파이프라인이 미리보기 샘플러와 일치하지 않으면 동일한 lora_scale이 눈에 띄게 다르게 느껴질 수 있습니다.

수정 방법 (안정적인 SD1.5 튜닝 순서)

• 정렬 전에 튜닝하지 마십시오: 먼저 RCSD15를 통해 기준선을 확인한 후 (파이프라인 정렬), 튜닝하십시오.
• 고정된 seed로 lora_scale 튜닝: 모든 것이 고정된 상태에서 작은 변경이 판단하기 쉬워집니다.
• SD1.5 해상도 규칙 일관성 유지: width/height가 8로 나누어 떨어지도록 하여 의도하지 않은 리사이징 아티팩트가 세부 사항과 인식된 강도를 변경하지 않도록 하십시오.

지금 SD 1.5 LoRA 추론 실행

워크플로우를 열고, lora_path에 LoRA를 붙여 넣고, 미리보기 샘플링 값을 맞춘 후 RCSD15를 실행하여 ComfyUI에서 훈련 일치 Stable Diffusion 1.5 LoRA 추론을 얻으십시오.