Qwen Image LoRA 추론: 훈련-일치 AI Toolkit 추론 in ComfyUI

Qwen Image LoRA 추론은 AI Toolkit으로 훈련된 LoRA를 ComfyUI에서 Qwen Image에 적용하기 위한 생산 준비 완료 RunComfy 워크플로우입니다. 이는 RC Qwen Image (RCQwenImage)에 중점을 두고 있으며, Qwen Image 전용 추론 파이프라인(일반적인 샘플러 그래프가 아님)을 실행하고 lora_path와 lora_scale을 통해 어댑터를 주입하는 오픈 소스 사용자 정의 노드입니다 (source).

ComfyUI에서 Qwen Image LoRA 추론이 종종 다르게 보이는 이유

AI Toolkit 미리보기는 모델 전용 추론 파이프라인에 의해 생성되며, Qwen Image 자체의 컨디셔닝 및 가이드 구현을 포함합니다. Qwen Image 샘플링을 일반적인 ComfyUI 그래프로 재구성하면 파이프라인 기본값(및 LoRA가 적용되는 정확한 경로)이 변경되므로 동일한 프롬프트/단계/시드가 여전히 드리프트할 수 있습니다. 출력이 일치하지 않는 경우, 이는 보통 파이프라인 수준의 불일치이며 단일 "잘못된 노브" 문제가 아닙니다.

RCQwenImage 사용자 정의 노드가 하는 일

RCQwenImage는 Qwen Image 추론을 미리보기와 일치하는 파이프라인으로 래핑하고 AI Toolkit LoRA를 lora_path / lora_scale을 통해 해당 파이프라인 내부에 적용하여 이 모델 가족에 대한 샘플링 동작을 일관되게 유지합니다. 참조 구현: `src/pipelines/qwen_image.py`.

Qwen Image LoRA 추론 워크플로우 사용 방법

Step 1: 워크플로우 열기

ComfyUI에서 클라우드 저장된 워크플로우 열기

Step 2: LoRA 가져오기 (2가지 옵션)

• 옵션 A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
  
• 옵션 B (RunComfy 외부에서 AI Toolkit LoRA 훈련): LoRA에 대한 직접 .safetensors 다운로드 링크를 복사하여 lora_path에 붙여넣기 ( ComfyUI/models/loras에 다운로드할 필요 없음)

Step 3: Qwen Image LoRA 추론을 위한 RCQwenImage 사용자 정의 노드 구성

나머지 노드 매개변수 설정 (결과를 비교할 때 AI Toolkit 미리보기 샘플링에 사용한 값과 일치해야 함):

• prompt: 텍스트 프롬프트 (훈련 중 사용한 트리거 토큰이 있다면 포함)
• negative_prompt: 선택 사항; 훈련 미리보기에서 네거티브를 사용하지 않았다면 비워 두세요
• width / height: 출력 해상도 (Qwen Image에는 32의 배수 권장)
• sample_steps: Qwen Image 파이프라인에서 사용된 추론 단계 수
• guidance_scale: 가이드 강도 (Qwen Image는 "진정한 CFG" 스케일을 사용; 미리보기 값을 반영한 후 조정 시작)
• seed: 반복 가능성을 위한 고정 시드; 기준이 검증된 후에만 변경
• lora_scale: LoRA 강도 (미리보기 강도에서 시작하여 작은 단위로 조정)

훈련 정렬 참고: 훈련 샘플 설정을 조정한 경우, AI Toolkit 훈련 YAML을 열고 width, height, sample_steps, guidance_scale, 및 seed를 반영하세요. RunComfy에서 훈련한 경우, Trainer → LoRA Assets → 설정에서 동일한 미리보기 값을 RCQwenImage에 복사하세요.

Step 4: Qwen Image LoRA 추론 실행

워크플로우를 큐에 넣고 실행하세요. SaveImage 노드는 생성된 이미지를 표준 ComfyUI 출력 디렉토리에 기록합니다.

Qwen Image LoRA 추론 문제 해결

Ostris AI Toolkit에서 Qwen Image LoRA를 훈련한 후 ComfyUI에서 실행하려고 할 때 발생하는 대부분의 문제는 파이프라인 + LoRA 주입 불일치로 귀결됩니다.

RunComfy의 RC Qwen Image (RCQwenImage) 사용자 정의 노드는 AI Toolkit 미리보기 샘플링과 일치하도록 추론을 파이프라인에 맞춘 상태로 유지하도록 설계되었으며, Qwen Image 전용 추론 파이프라인(일반적인 샘플러 그래프가 아님)을 실행하고 lora_path / lora_scale을 통해 어댑터를 해당 파이프라인 내에 주입합니다.

（1）Qwen-Image Loras가 comfyui에서 작동하지 않음

이유

이는 일반적으로 다음과 같이 보고됩니다:

• 많은 lora key not loaded 경고, 또는
• LoRA가 "실행"되지만 AI Toolkit 샘플링에서처럼 출력이 변경되지 않음.

실제로 사용자들은 ComfyUI가 최신 Qwen LoRA 키 매핑을 포함한 빌드에 있지 않거나, 워크플로우가 사용하는 Qwen Image 모듈 이름과 일치하지 않는 일반적인 경로를 통해 LoRA를 로딩하는 것이 원인이라고 발견했습니다.

해결 방법

• ComfyUI를 "nightly / development" 채널로 전환하고 업데이트한 후, 동일한 워크플로우를 다시 실행하세요. 여러 사용자가 이 방법으로 lora key not loaded 스팸이 제거되고 Qwen-Image LoRAs가 올바르게 적용된다고 보고했습니다.
• RCQwenImage를 사용하고 LoRA를 lora_path / lora_scale을 통해서만 전달하세요 (추가 LoRA 로더 노드를 쌓지 마세요). RCQwenImage는 AI Toolkit 스타일의 추론과 일치하는 파이프라인 수준의 LoRA 주입 지점을 유지합니다.
• AI Toolkit 미리보기와 비교할 때, 미리보기 샘플러 값을 정확히 반영하세요: width, height, sample_steps, guidance_scale, seed, 및 lora_scale.

（2）Qwen 이미지 생성 및 Qwen 조명 8단계 Lora를 사용하는 품질 출력 문제

이유

ComfyUI를 업데이트한 후, Qwen Image 출력이 왜곡되거나 "이상하게" 보이며, 콘솔에 Qwen-Image Lightning 8단계 LoRA에 대해 lora key not loaded가 표시된다고 보고되었습니다. 이는 속도/품질 LoRA가 실제로 적용되지 않고, 이미지가 여전히 생성된다는 것을 의미합니다.

해결 방법 (사용자 검증 + 훈련 일치)

• ComfyUI nightly로 전환하고 업데이트하세요. 이는 Qwen-Image Lightning LoRAs에서 lora key not loaded를 해결하는 가장 일관되게 보고된 방법입니다.
• 네이티브 Comfy 워크플로우를 사용하는 경우, 최신 nightly에서 LoraLoaderModelOnly를 모델 로더와 모델 샘플링 노드 사이에 삽입하여 성공을 보고했습니다.
• 훈련-미리보기 일치 (AI Toolkit)에서, RCQwenImage를 통해 먼저 검증한 후 (파이프라인에 맞추어), 기준이 일치한 후에만 lora_scale을 조정하세요.

（3）Qwen Image Characer LoRA가 훈련 샘플과 다르게 보임

이유

일반적으로 보고되는 것은: AI Toolkit 훈련 샘플은 괜찮지만, ComfyUI에서는 LoRA가 "거의 영향을 미치지 않는" 경우입니다. Qwen Image의 경우, 이는 보통 다음을 의미합니다:

• LoRA가 실제로 적용되지 않음 (종종 lora key not loaded / 구식 Qwen 지원과 수반됨), 또는
• LoRA가 Qwen Image가 모듈을 패치하기를 기대하는 방식과 일치하지 않는 그래프/로더 경로를 통해 로드됨.

해결 방법 (사용자 검증 + 훈련 일치)

• RCQwenImage를 통해 LoRA를 검증하세요 (단일 노드, 파이프라인에 맞춘 주입을 lora_path / lora_scale을 통해). 여기서 LoRA 효과가 나타나지만 수동 그래프에서는 나타나지 않는다면, 이는 파이프라인/로더 불일치를 확인한 것이며, 훈련 실패가 아닙니다.
• AI Toolkit 미리보기 샘플과 일치시킬 때, 진단 중 해상도/단계/가이드/시드를 변경하지 마세요. 먼저 미리보기 샘플러 값을 맞춘 후, lora_scale을 작은 단위로 조정하세요.

Qwen Image LoRA 추론 지금 실행

RunComfy 워크플로우를 열고 lora_path를 설정한 후, RCQwenImage를 실행하여 Qwen Image LoRA 추론을 ComfyUI에서 AI Toolkit 훈련 미리보기와 일치시킵니다.