ComfyUI를 위한 Qwen 이미지 편집: 프롬프트 기반 사진 편집, 교체 및 재조명
이 워크플로우는 Qwen 패밀리에 의해 구동되는 빠르고 제어 가능한 이미지 편집을 제공합니다. 단일 프롬프트로 인페인팅, 배경 교체, 객체 삽입 또는 제거 및 영화 같은 재조명을 로컬 세부사항을 보존하면서 적용할 수 있습니다. Qwen 이미지 편집은 복잡한 노드 그래프와 씨름하지 않고 정밀한 변형을 원하는 아티스트와 창작자에게 이상적입니다.
그래프는 간단한 단계로 구성되어 있습니다: 모델 로드, 이미지 업로드, 프롬프트 작성, 샘플링 및 저장. 초고속 4단계 편집을 위한 선택적 Lightning LoRA가 포함되어 있어 빠르게 반복하고 원하는 모습을 고정할 수 있습니다.
Comfyui Qwen 이미지 편집 워크플로우의 주요 모델
- Qwen 이미지 편집 확산 모델 지침 기반 편집을 위한 핵심 이미지 편집 UNet.
qwen_image_edit_fp8_e4m3fn.safetensors로 ComfyUI에 패키지화 되어 있으며, Comfy-Org/Qwen-Image-Edit_ComfyUI에 있습니다. - Qwen 2.5 VL 7B 텍스트 인코더 편집 지침을 해석하고 모델을 조절하는 멀티모달 텍스트 인코더.
qwen_2.5_vl_7b_fp8_scaled.safetensors로 제공되며, Comfy-Org/Qwen-Image_ComfyUI에 있습니다. - Qwen 이미지 VAE Qwen 이미지 모델에 맞춘 잠재 코덱으로 재구성 품질을 향상시킵니다.
qwen_image_vae.safetensors로 배포되며, Comfy-Org/Qwen-Image_ComfyUI에 있습니다. - Qwen-Image-Lightning LoRA (선택 사항) 고품질 편집을 4단계만에 가능하게 하는 속도 최적화된 LoRA.
Qwen-Image-Lightning-4steps-V1.0.safetensors로 lightx2v/Qwen-Image-Lightning에 있습니다.
Comfyui Qwen 이미지 편집 워크플로우 사용 방법
Step 1 – 모델 로드
그래프는 UNETLoader (#37)로 편집 UNet을 로드하고, CLIPLoader (#38)로 텍스트 인코더를 로드하며, VAELoader (#39)로 잠재 코덱을 로드합니다. 빠른 반복을 원한다면 선택적인 LoraLoaderModelOnly (#89)를 전환하여 기본 모델 위에 Lightning LoRA를 적용하세요. ModelSamplingAuraFlow (#66) 및 CFGNorm (#75)는 샘플러를 준비하여 Qwen 이미지 편집 모델이 프롬프트를 깔끔하게 따르도록 합니다.
Step 2 – 편집할 이미지 업로드
수정할 사진을 선택하려면 LoadImage (#78)를 사용하세요. 이미지는 ImageScaleToTotalPixels (#93)를 통해 품질 친화적인 범위의 해상도를 유지하여 매우 큰 입력에서 발생할 수 있는 아티팩트를 피합니다. VAEEncode (#88)는 효율적인 편집을 위해 픽셀을 구조를 보존하면서 잠재로 변환합니다.
Step 3 – 프롬프트
TextEncodeQwenImageEdit (#76)에 긍정적 지시로 지침을 작성하세요. 예를 들어 "배경을 일몰 도시 풍경으로 교체," "뒤에 있는 사람 제거," "왼쪽에서 부드러운 황금색 키 라이트" 등이 있습니다. 두 번째 TextEncodeQwenImageEdit (#77)를 부정적 지침으로 사용하여 변경을 피해야 할 때, 예를 들어 "피사체의 얼굴을 변경하지 마세요" 또는 "재킷의 색상을 유지하세요"처럼 사용하세요. 두 인코더는 업로드된 이미지와 VAE를 모두 보며 콘텐츠와 조절이 일치하도록 합니다.
샘플링 및 출력
KSampler (#3)는 패치된 모델과 당신의 조절을 사용하여 편집을 실행합니다. Lightning LoRA가 활성화되면 매우 적은 단계로 수렴할 수 있으며, 그렇지 않으면 최대 충실도를 위해 더 많은 단계가 필요합니다. 편집된 잠재는 VAEDecode (#8)에 의해 디코딩되고 SaveImage (#60)를 통해 디스크에 기록됩니다.
Comfyui Qwen 이미지 편집 워크플로우의 주요 노드
TextEncodeQwenImageEdit (#76)
편집을 주도하는 주요 지시를 인코딩합니다. "교체," "삽입," "제거," "재색칠," "재조명"과 같은 직접적인 동사를 선호하세요. 변경이 국소적이어야 한다면 영역이나 객체를 명확히 명명하세요. 프롬프트는 간결하게 유지하세요; 스타일 태그의 긴 목록은 거의 필요하지 않습니다.
TextEncodeQwenImageEdit (#77)
부정적 또는 보호적 지침을 제공합니다. 모델이 피해야 할 것 또는 주요 속성을 보존할 것을 알려주세요. 좋은 패턴: "피부 톤 유지," "구성을 변경하지 마세요," "배경 텍스트 무시."
LoraLoaderModelOnly (#89)
빠른 반복을 위한 Qwen-Image-Lightning LoRA를 적용합니다. 즉각적인 결과가 필요할 때 켜세요. 이 LoRA가 활성화된 경우 샘플러 단계를 크게 줄여 선명한 편집을 유지하세요.
ImageScaleToTotalPixels (#93)
과대 입력을 목표 메가픽셀 예산으로 다운스케일하여 품질을 안정화합니다. 소스 이미지가 매우 크거나 압축이 심할 때 사용하세요; 이는 가장자리 부드러움을 개선하고 할로를 줄이는 경우가 많습니다.
CFGNorm (#75)
분류기 자유 지시 동작을 정상화하여 모델이 아티팩트를 밀어내지 않고 프롬프트를 따르도록 합니다. 과포화 또는 "과편집"이 보이면 강도를 약간 낮추세요; 편집이 소극적으로 느껴지면 약간 높이세요.
KSampler (#3)
확산 루프를 실행합니다. fp8에 대해 적당한 단계로 시작하고 편집이 완료되지 않은 경우에만 증가시키세요. 지시를 중간으로 유지하세요; 매우 높은 값은 보존된 영역을 씻어낼 수 있습니다. Lightning LoRA가 켜져 있을 때는 그 속도 이점을 포착하기 위해 매우 적은 단계로 사용하세요.
선택적 추가 사항
- 편집을 간단히 설명하세요. Qwen 이미지 편집은 "하늘을 흐리게 하고 비를 추가" 또는 "광고판 텍스트를 'RunComfy'로 흰색으로 교체"와 같은 짧고 실행 가능한 지침에 가장 잘 반응합니다.
- 배경 교체의 경우, 새로운 장면과 분위기를 지정하세요. 예를 들어 "배경을 황혼의 스카이라인, 주황색 안개, 희미한 도시 불빛으로 교체"처럼 하세요.
- 객체 작업의 경우, 행동과 위치를 결합하세요: "피사체의 오른손에 빨간 우산 삽입," 또는 "왼쪽의 쓰레기통 제거"처럼 하세요.
- 재조명의 경우, 방향, 품질 및 강도를 지정하세요: "카메라 오른쪽에서 부드러운 키 라이트, 미세한 림 라이트, 따뜻한 톤."
- 결과가 과도하게 처리된 것처럼 보이면, 지시를 낮추거나 LoRA를 비활성화하세요; 편집이 너무 약하면 단계를 약간 증가시키거나 지시를 강화하세요.
감사의 말
이 워크플로우는 다음 작업 및 리소스를 구현하고 이를 기반으로 합니다. 우리는 QwenLM의 Qwen-Image-Edit, QwenLM의 Qwen-Image, 그리고 ComfyOrg의 ComfyUI Native Workflow Example에 대해 그들의 기여와 유지보수에 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원본 문서 및 리포지토리를 참조하세요.
리소스
- Comfy/Qwen 이미지 편집 참조
- GitHub: QwenLM/Qwen-Image
- Hugging Face: Qwen/Qwen-Image-Edit
- arXiv: Qwen-Image 기술 보고서
- 문서 / 릴리스 노트: Qwen-Image-Edit ComfyUI Native Workflow Example
참고: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.
