ICEdit | Nunchaku를 활용한 빠른 AI 이미지 편집

1. ComfyUI ICEdit 워크플로우란?

ComfyUI ICEdit-Nunchaku 워크플로우는 혁신적인 In-Context Edit (ICEdit) 프레임워크와 Nunchaku 최적화를 결합하여 초고속 이미지 편집을 제공합니다. Zhejiang University와 Harvard University의 연구진이 개발한 ICEdit는 놀라운 효율성으로 고품질의 지시적 이미지 편집을 가능하게 합니다. FLUX diffusion transformer에 기반하여 ICEdit의 in-context 학습 원칙을 활용한 이 워크플로우는 자연어 지시를 기반으로 유연한 수정이 가능하면서도 정체성을 유지합니다. ICEdit 워크플로우는 AI 이미지 편집을 위한 최적의 솔루션을 제공하며, 최소한의 GPU 자원으로 정밀한 결과를 제공합니다.

2. ComfyUI ICEdit의 장점:

• 뛰어난 효율성: ICEdit는 이전 방법이 요구하는 매개변수의 1%와 학습 데이터의 0.5%만으로 양질의 편집을 달성합니다.
• 초고속 성능: ICEdit-Nunchaku 통합은 4GB VRAM만 있는 시스템에서도 고속 편집을 가능하게 합니다.
• 정체성 보존: ICEdit는 스타일이나 속성의 큰 수정에도 불구하고 주체의 정체성을 유지합니다.
• 자연어 지시: ICEdit의 직관적인 지시 시스템을 사용하여 간단한 텍스트 프롬프트로 이미지를 편집합니다.
• 다중 턴 편집: ICEdit는 동일한 이미지에서 복잡한 변환을 위한 연속 편집 작업을 지원합니다.
• 고해상도 출력: ICEdit 워크플로우는 고품질 결과를 위한 세 가지 다른 업스케일링 방법을 포함합니다.

3. 이미지 편집을 위한 ICEdit 사용

시작하기:

1. 이미지 입력:
   • ICEdit 워크플로우의 왼쪽 하단에 위치한 주요 Load Image 노드를 사용하여 소스 이미지를 업로드합니다
   • 이것은 ICEdit로 편집하고자 하는 이미지의 기본 입력입니다
   • ICEdit 워크플로우는 자동으로 이미지를 필요한 크기(512px 너비)로 처리합니다
   • 가능한 경우 정사각형 이미지를 사용하는 것이 가장 좋습니다. 비정사각형 이미지는 처리 중에 중앙 크롭될 수 있습니다
   • 전문가 팁: ICEdit 성공률을 높이기 위해 Load Image 노드를 오른쪽 클릭하고 "Open in MaskEditor"를 선택하여 편집하고자 하는 영역 주위에 마스크를 수동으로 생성하십시오
   
2. ICEdit와 함께 마스크 에디터 사용(선택사항이지만 권장됨):
   • MaskEditor에서 브러시 도구를 사용하여 ICEdit로 수정하고자 하는 특정 영역 주위에 마스크를 그립니다
   • 이것은 이미지의 관련 부분으로 ICEdit의 주의를 집중시키는 데 도움이 됩니다
   • 정밀한 제어를 위해 다른 브러시 설정(두께, 불투명도, 경도)을 사용합니다
   • "Save"를 클릭하여 사용자 지정 마스크를 ICEdit 워크플로우에 적용합니다
   • 이 단계는 세부적이거나 특정 변경 사항에 대한 ICEdit의 성공률을 크게 향상시킵니다
3. ICEdit 지시 입력:
   • ICEdit 워크플로우의 중앙에 빨간색으로 강조된 String 입력 노드를 찾습니다
   • 이 필드에 원하는 ICEdit 지시를 입력합니다
   • 스타일 전환의 경우 "Convert the image into Ghibli style" 또는 "Convert to anime illustration and maintain shirt be pink, hair be brown"와 같은 지시를 입력하세요
   • 고정된 접두사가 포함된 다른 String 노드는 변경 없이 그대로 두십시오 - 이것은 ICEdit가 제대로 작동하기 위해 필요한 컨텍스트를 포함합니다
   • 워크플로우는 최적의 ICEdit 처리를 위해 귀하의 지시를 필요한 접두사와 자동으로 결합합니다
   
4. ICEdit 워크플로우 실행:
   • 이미지를 업로드하고 편집 지시를 입력한 후 run을 클릭하여 ICEdit 처리를 시작합니다
   • ICEdit 워크플로우는 여러 처리 단계를 통해 편집된 이미지를 생성합니다

4. ICEdit의 매개변수 참조

ICEdit 매개변수 설정:

1. ICEdit를 위한 Nunchaku FLUX.1 LoRA 로더:
   • lora_strength: 1.00-1.18 (ICEdit 효과 강도를 조정할 수 있으며, 1.18은 전체적으로 최고의 결과를 제공합니다)
2. ICEdit KSamplerAdvanced 설정:
   • 첫 번째 KSampler: 기본 30단계, euler 샘플러, CFG 7
     • CFG 조정: 높은 값(8-15)은 지시를 더 엄격하게 따르며, 낮은 값(3-5)은 창의성을 증가시킵니다
     • 단계 조정: 더 많은 단계는 세부 사항을 향상시키지만 처리 시간을 증가시킵니다
   • 두 번째 KSampler: 베타 스케줄러로 업스케일링을 위한 기본 25단계
   • 세 번째 KSampler: 얼굴 세부 사항과 텍스처를 보존하기 위한 기본 30단계, kl_optimal 샘플러
     • 이러한 매개변수는 특정 편집 요구에 따라 조정할 수 있습니다
3. ICEdit 업스케일링 구성:
   • ICEdit 워크플로우는 세 가지 업스케일링 방법을 포함합니다:
     • 2xNomosUni와 같은 특수 모델을 사용한 모델 기반 업스케일링
     • lanczos 스케일링으로 세부 사항을 향상시키기 위한 ImageScaleBy
     • 고충실도 ICEdit 복원을 위한 KL-optimal 샘플링(얼굴 특징을 보존하는 데 도움)
   • 4배 확대 모델을 사용할 경우, 큰 ICEdit 결과에서 아티팩트를 방지하기 위해 스케일링 팩터를 0.5로 변경하는 것을 고려하십시오
4. ICEdit의 FluxGuidance:
   • ICEdit 워크플로우에는 여러 FluxGuidance 노드가 있으며, 다른 섹션에서 안내 강도를 제어합니다
   • 스타일 전환 FluxGuidance: ICEdit 스타일 전환이 귀하의 지시를 얼마나 잘 따르는지를 제어합니다
   • 이미지 편집 FluxGuidance: 오른쪽에 품질과 ICEdit 정밀성을 균형 있게 유지하는 4.0 값이 표시됩니다
   • 높은 값은 ICEdit가 지시를 더 정확하게 따르게 하지만 이미지 품질에 영향을 미칠 수 있습니다
   • 낮은 값은 더 많은 창의적 자유를 제공하지만 ICEdit 결과가 덜 정확할 수 있습니다
5. ICEdit와 Redux 통합(선택사항):
   • ICEdit 워크플로우에는 Redux 스타일 세부 조정 기능이 포함되어 있지만 선택 사항입니다
   • ICEdit 스타일 전환을 위해 Redux를 사용할 때, get_condition1로 변경할 수 있지만 결과는 다를 수 있습니다

5. ICEdit 편집 작업 예시

ICEdit는 다양한 편집 작업에서 뛰어난 성능을 발휘합니다, 다음을 포함한:

• ICEdit 스타일 전환: "이미지를 애니메이션 일러스트로 변환"
• ICEdit를 사용한 색상 변경: "파란 셔츠를 초록색으로 변경"
• ICEdit를 통한 의상 수정: "파란 셔츠를 데님 재킷으로 변경"
• ICEdit를 통한 액세서리 추가: "선글라스 추가", "이 소녀는 흰색 시계를 착용합니다"
• ICEdit를 통한 액세서리 제거: "벽에 있는 그림 제거"
• ICEdit를 사용한 배경 변경: "소녀는 해변에 있으며, 하늘에 색색의 구름이 있다"
• ICEdit를 통한 객체 조작: "두리안을 들고 있는 손"
• ICEdit를 사용한 텍스트/워터마크 작업: "벽에 'from me'라는 파란색 워터마크 추가", "'from aha'라는 텍스트 제거"
• ICEdit를 통한 다중 요소 편집: "Ghibli 스타일로 변환"

6. 더 나은 ICEdit 결과를 위한 고급 팁

ICEdit 프롬프트 엔지니어링:

• ICEdit 지시를 구체적이고 간결하게 작성하십시오
• ICEdit 스타일 전환의 경우, 보존하고자 하는 세부 사항을 포함하십시오
• 최고의 ICEdit 결과를 위해 명확하고 설명적인 언어를 사용하십시오
• ICEdit로 배경을 변경할 때, 배치에 대해 구체적으로 설명하십시오

ICEdit 최적화 팁:

• 만족스럽지 않은 ICEdit 결과가 발생하면, 시드 값을 변경해 보십시오(성공에 매우 중요)
• 복잡한 ICEdit 편집의 경우, 여러 개의 간단한 편집 단계로 나누는 것을 고려하십시오
• ICEdit 효과의 강도를 제어하기 위해 lora_strength를 조정하십시오

ICEdit 실패 처리:

• ICEdit는 현실적인 사진과 가장 잘 작동합니다. 비현실적인 입력에서는 결과가 다를 수 있습니다
• ICEdit의 객체 제거 작업은 추가나 수정 작업보다 성공률이 낮습니다
• ICEdit 시도가 실패하면, 지시를 다시 표현하거나 다른 시드를 사용해 보십시오

7. 크레딧 및 감사의 글

이 워크플로우는 Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, Yi Yang가 개발한 ICEdit 프레임워크에 기반을 두고 있으며, ReLER, CCAI, Zhejiang University 및 Harvard University에서 개발되었습니다. ComfyUI 통합은 커뮤니티 기여를 통해 가능했으며, judian17에게 및 최적화 작업에 특별히 감사드립니다.

워크플로우는 호환성을 위해 전문가 레이어를 가중 평균화한 ICEdit-MoE-LoRA의 특별히 조정된 버전을 사용하여, 최소한의 계산 자원으로 고품질 ICEdit 처리를 가능하게 합니다.

추가 정보는 ICEdit에 대한 다음 페이지를 방문하십시오:

• 프로젝트 페이지: