Qwen Edit 2511 LoRA 추론: ComfyUI에서 훈련 일치 AI Toolkit 편집
Qwen Edit 2511 LoRA 추론은 AI Toolkit에서 훈련된 LoRA를 ComfyUI 내에서 Qwen Image Edit Plus 2511에 적용하기 위한 준비된 RunComfy 워크플로우입니다. 이는 RC Qwen Image Edit Plus 2511 (RCQwenImageEditPlus2511)을 중심으로 구축된 오픈 소스 사용자 정의 노드 (source)로, 일반적인 샘플러 그래프 대신 Qwen 특정 추론 파이프라인을 통해 편집을 라우팅하며, lora_path 및 lora_scale을 통해 어댑터를 로드합니다.
왜 Qwen Edit 2511 LoRA 추론이 ComfyUI에서 다르게 보일 수 있는가
AI Toolkit 미리보기 이미지는 Qwen Image Edit Plus 2511에 특정한 편집 파이프라인에서 오며, 여기에는 프롬프트가 제어 이미지에 대해 어떻게 인코딩되고 가이드가 어떻게 적용되는지가 포함됩니다. 동일한 작업을 일반적인 ComfyUI 샘플러 그래프로 재구성하면 기본값이 변경될 수 있으며, LoRA가 스택의 다른 부분을 패치할 수 있어 프롬프트/단계/시드를 일치시켜도 편집이 일치하지 않을 수 있습니다. 결과가 드리프트하면, 이는 일반적으로 누락된 단일 매개변수보다는 파이프라인 수준의 불일치입니다.
RCQwenImageEditPlus2511 사용자 정의 노드의 역할
RCQwenImageEditPlus2511은 Qwen Image Edit Plus 2511 편집을 미리보기와 일치하는 추론 파이프라인을 통해 라우팅하고, lora_path / lora_scale을 통해 AI Toolkit 어댑터를 파이프라인 내에 적용하여 추론이 훈련 미리보기와 일치하도록 유지합니다. 참조 구현: `src/pipelines/qwen_image.py`.
Qwen Edit 2511 LoRA 추론 워크플로우 사용 방법
Step 1: LoRA 가져오기 (2가지 옵션)
- Option A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
- Option B (RunComfy 외부에서 AI Toolkit LoRA 훈련): LoRA에 대한 직접
.safetensors다운로드 링크를 복사하여lora_path에 붙여넣습니다 (ComfyUI/models/loras에 다운로드할 필요 없음).
Step 2: Qwen Edit 2511 LoRA 추론을 위한 RCQwenImageEditPlus2511 사용자 정의 노드 구성
LoRA 링크를 RCQwenImageEditPlus2511의 lora_path에 붙여넣습니다 (옵션 A의 RunComfy LoRA 링크 또는 옵션 B의 직접 .safetensors URL 중 하나).
그런 다음 노드 매개변수를 설정합니다 (결과를 비교할 때 AI Toolkit 미리보기/샘플 값을 일치시킵니다):
prompt: 편집 지침 (훈련 트리거 토큰이 LoRA에 사용된 경우 포함)negative_prompt: 선택 사항; 미리보기에서 부정적인 것을 사용하지 않은 경우 비워 둡니다width/height: 출력 크기 (이 파이프라인에는 32의 배수를 권장)sample_steps: 추론 단계 (미리보기 단계 수를 반영하며 시작; 25가 일반적인 기준)guidance_scale: 가이드 강도 (Qwen은 "true CFG" 스케일을 사용합니다; 미리보기-일치 값을 검증한 후 튜닝)seed: 고정 시드로 반복 가능한 편집을 수행하며, 제어_after_generate를 '고정'으로 설정하여 정렬을 진단합니다lora_scale: LoRA 강도 (미리보기 강도에서 시작하여 점진적으로 조정)
이 워크플로우는 이미지 편집 설정이므로 입력 이미지가 필요합니다:
control_image(필수 입력): LoadImage 노드를control_image에 연결하고 샘플 이미지를 교체하여 편집할 사진으로 대체합니다.
훈련 정렬 참고: 훈련 중 샘플링 설정을 변경한 경우, AI Toolkit 훈련 YAML을 열어 width, height, sample_steps, guidance_scale, seed, 및 lora_scale을 반영합니다. RunComfy에서 훈련한 경우 Trainer → LoRA Assets → 구성으로 이동하여 미리보기 값을 RCQwenImageEditPlus2511에 복사합니다.
Step 3: Qwen Edit 2511 LoRA 추론 실행
Queue/Run을 클릭합니다. SaveImage 노드는 편집된 결과를 표준 ComfyUI 출력 디렉토리에 저장합니다.
Qwen Edit 2511 LoRA 추론 문제 해결
대부분의 문제는 Qwen-Image-Edit-2511 LoRA를 Ostris AI Toolkit에서 훈련한 후 추론 시 발생하며, 이는 파이프라인 불일치 때문입니다. AI Toolkit의 미리보기 샘플러는 모델/파이프라인에 특화되어 있으며, 많은 ComfyUI 그래프(또는 가속화된 백엔드)는 그렇지 않습니다.
RunComfy의 RC Qwen Image Edit Plus 2511 (RCQwenImageEditPlus2511) 사용자 정의 노드는 AI Toolkit 스타일 미리보기 샘플링과 파이프라인 정렬을 유지하도록 구축되었습니다.
（1）qwen image edit가 Lora 로딩을 지원하지 않음
왜 이런 일이 발생하는가
일부 가속화된 Qwen Image Edit 경로 (예: Nunchaku의 Qwen Image Edit 경로)는 현재 공식 Qwen 편집 파이프라인이 기대하는 방식으로 LoRA 가중치를 패치하지 않습니다. 일반적인 증상은 가중치 로딩 실패 / lora 키가 로드되지 않음이며, 어댑터가 거의 눈에 띄지 않는 효과를 발휘합니다.
수정 방법 (훈련 일치 접근 방식)
- Nunchaku를 통해 Qwen Image Edit를 실행 중인 경우, LoRA 검증을 위해 비-Nunchaku Qwen Image Edit 2511 워크플로우로 전환합니다 (이 문제에서 LoRA 로딩을 지원하지 않는 것으로 보고됨).
- RunComfy에서 RCQwenImageEditPlus2511을 통해 어댑터를 먼저 검증하고, LoRA를
lora_path+lora_scale을 통해 단독으로 주입합니다 (RC 노드 위에 추가 LoRA 로더 경로를 쌓지 않음). - 동일한 제어 이미지,
seed,sample_steps,guidance_scale, 및width/height를 고정하여 AI Toolkit 미리보기와 비교합니다.
（2）qwen-image-edit-2511 로딩 경고에 대한 질문
왜 이런 일이 발생하는가
Qwen-Image-Edit-2511은 새로운 구성 필드를 도입합니다 (특히 zero_cond_t). 로컬 런타임이 모델의 예상 라이브러리 지원보다 뒤처져 있는 경우 다음과 같은 경고를 볼 수 있습니다: config attribute zero_cond_t was passed ... but is ignored 이것은 파이프라인 기본값이 훈련/검증에 사용된 미리보기 샘플러와 일치하지 않을 강력한 신호입니다.
수정 방법 (작동하는 업그레이드 경로)
- Qwen-Image-Edit-2511 지원이 포함된 Diffusers/스택 빌드로 업그레이드합니다. AI Toolkit 생태계에서 널리 공유된 수정 방법은 GitHub main에서 Diffusers를 설치하여 Qwen Edit 2511 호환성을 확보하는 것입니다 (지원 PR 참조): https://github.com/ostris/ai-toolkit/pull/611
- 그런 다음 RCQwenImageEditPlus2511을 통해 (파이프라인 정렬) 미리보기 값 (
sample_steps,guidance_scale,seed,lora_scale,width/height)을 반영하여 다시 테스트합니다.
（3）--zero_cond_t # 이는 Qwen-Image-Edit-2511에 의해 도입된 특별한 매개변수입니다. 이 모델에 대해 활성화하십시오.
왜 이런 일이 발생하는가
일부 Qwen Edit 2511 훈련/추론 스택은 zero_cond_t가 활성화되어야 의도된 컨디셔닝/가이드 동작과 일치합니다. 훈련 미리보기가 하나의 구성으로 생성되고 ComfyUI 추론이 다른 구성으로 실행되는 경우, 프롬프트/시드/단계가 일치해도 편집이 "이상하게" 보일 수 있습니다.
수정 방법 (훈련 일치 행동)
- 훈련 미리보기 샘플러와 추론 파이프라인이 동일한 Qwen Edit 2511 구성을 사용하도록 하십시오 (스택에서 노출될 때
zero_cond_t포함). - ComfyUI 추론의 경우 RCQwenImageEditPlus2511을 선호하여 편집 파이프라인이 파이프라인 정렬 상태를 유지하고, LoRA가 미리보기 스타일의 파이프라인이 기대하는 곳에 주입되도록 합니다 (
lora_path/lora_scale를 통해).
（4）Qwen Image Edit 2511 - 단일 이미지 편집 시 정사각형 출력 열화
왜 이런 일이 발생하는가
사용자들은 정사각형 출력 (예: 1024×1024)에서 Qwen-Image-Edit-2511이 특정 편집에서 일관성을 잃을 수 있으며, 비정사각형 종횡비에서는 동일한 시드/프롬프트/설정에서도 눈에 띄게 더 깨끗하고 충실한 결과를 생성한다고 보고합니다.
수정 방법 (사용자 보고 워크어라운드)
- LoRA를 검증할 때 비정사각형 출력을 테스트합니다 (예: 832×1216 또는 1216×832) 동일한
seed,sample_steps,guidance_scale, 및 제어 이미지를 유지하면서. - 미리보기 기대치와 일치하는 종횡비를 찾으면 그 비율을 고정하고 그때만
lora_scale을 조정하기 시작합니다.
지금 Qwen Edit 2511 LoRA 추론 실행
워크플로우를 열고 lora_path를 설정하며, control_image를 연결하고 RCQwenImageEditPlus2511을 실행하여 ComfyUI 편집을 AI Toolkit 훈련 미리보기와 일치시킵니다.
