ICEdit | Nunchaku와 함께하는 빠른 AI 이미지 편집

1. ComfyUI ICEdit Workflow란 무엇인가?

ComfyUI ICEdit-Nunchaku 워크플로우는 혁신적인 In-Context Edit (ICEdit) 프레임워크를 Nunchaku 최적화와 통합하여 초고속 이미지 편집을 제공합니다. Zhejiang University와 Harvard University의 연구자들이 개발한 ICEdit는 뛰어난 효율성으로 고품질의 지시적 이미지 편집을 가능하게 합니다. FLUX diffusion transformer에 기반하며 ICEdit의 in-context 학습 원리를 활용하여, 자연어 지시에 따라 유연한 수정을 허용하면서 정체성을 유지합니다. ICEdit 워크플로우는 AI 이미지 편집에 최적화된 솔루션으로, 최소한의 GPU 리소스로 정밀한 결과를 제공합니다.

2. ComfyUI ICEdit의 이점:

• 뛰어난 효율성: ICEdit는 이전 방법에 비해 0.5%의 훈련 데이터와 1%의 매개변수만으로 양질의 편집을 달성합니다.
• 초고속 성능: ICEdit-Nunchaku 통합은 4GB VRAM만으로도 고속 편집을 가능하게 합니다.
• 정체성 보존: ICEdit는 스타일이나 속성 수정에도 주체의 정체성을 유지합니다.
• 자연어 지시: ICEdit의 직관적인 지시 시스템으로 간단한 텍스트 프롬프트를 사용하여 이미지를 편집합니다.
• 다중 회차 편집: ICEdit는 동일한 이미지에 대해 복잡한 변환을 위한 연속 편집 작업을 지원합니다.
• 고해상도 출력: ICEdit 워크플로우는 고품질 결과를 위한 세 가지 다른 업스케일링 방법을 포함합니다.

3. 이미지 편집을 위한 ICEdit 사용

시작하기:

1. 이미지 입력:
   • ICEdit 워크플로우의 왼쪽 하단에 위치한 주 Load Image 노드를 사용하여 소스 이미지를 업로드합니다
   • 이 노드는 ICEdit로 편집하려는 이미지의 주요 입력입니다
   • ICEdit 워크플로우는 자동으로 이미지를 필요한 크기(512px 너비)로 처리합니다
   • 가능한 경우 정사각형 이미지를 사용하여 ICEdit의 최적 결과를 얻으십시오. 비정사각형 이미지는 처리 중 중앙 크롭될 수 있습니다
   • 프로 팁: ICEdit 성공률을 높이려면 Load Image 노드를 마우스 오른쪽 버튼으로 클릭하고 "Open in MaskEditor"를 선택하여 편집하려는 영역 주위에 수동으로 마스크를 만드십시오
   
2. ICEdit와 함께 마스크 편집기 사용(선택 사항이지만 권장):
   • MaskEditor에서 브러시 도구를 사용하여 ICEdit로 수정하려는 특정 영역 주위에 마스크를 그립니다
   • 이는 이미지의 관련 부분에 ICEdit의 주의를 집중시키는 데 도움이 됩니다
   • 정밀한 제어를 위해 다양한 브러시 설정(두께, 불투명도, 경도)을 사용합니다
   • 완료되면 "Save"를 클릭하여 사용자 정의 마스크를 ICEdit 워크플로우에 적용합니다
   • 이 단계는 세부적이거나 특정한 변경에 대한 ICEdit의 성공률을 크게 향상시킵니다
3. ICEdit 지시 사항 입력:
   • ICEdit 워크플로우의 중앙에 빨간색으로 강조 표시된 String 입력 노드를 찾으십시오
   • 이 필드에 원하는 ICEdit 지시를 입력하십시오
   • 스타일 전환의 경우 "이미지를 Ghibli 스타일로 변환" 또는 "애니메이션 일러스트로 변환하고 셔츠는 핑크, 머리는 갈색으로 유지"와 같은 지시를 입력하십시오
   • 고정된 접두사가 포함된 다른 String 노드는 변경하지 마십시오 - 이는 ICEdit가 올바르게 작동하도록 하는 데 필요한 컨텍스트를 포함합니다
   • 워크플로우는 최적의 ICEdit 처리를 위해 귀하의 지시를 필수 접두사와 자동으로 결합합니다
   
4. ICEdit 워크플로우 실행:
   • 이미지를 업로드하고 편집 지시를 입력한 후 run을 클릭하여 ICEdit 처리를 시작합니다
   • ICEdit 워크플로우는 여러 처리 단계를 통해 편집된 이미지를 생성합니다

4. ICEdit의 매개변수 참조

ICEdit 매개변수 설정:

1. Nunchaku FLUX.1 LoRA Loader for ICEdit:
   • lora_strength: 1.00-1.18 (ICEdit 효과 강도를 조정할 수 있으며, 1.18이 전체적으로 가장 좋은 결과를 제공합니다)
2. ICEdit KSamplerAdvanced 설정:
   • 첫 번째 KSampler: 기본 30단계, euler 샘플러, CFG 7
     • CFG 조정: 높은 값(8-15)은 지시를 더 엄격하게 따르고, 낮은 값(3-5)은 창의성을 높입니다
     • 단계 조정: 더 많은 단계는 세부사항을 개선하지만 처리 시간을 증가시킵니다
   • 두 번째 KSampler: 베타 스케줄러를 사용한 업스케일링을 위한 기본 25단계
   • 세 번째 KSampler: 얼굴 세부사항과 질감을 보존하기 위한 기본 30단계, kl_optimal 샘플러
     • 이러한 매개변수는 특정 편집 요구에 따라 조정할 수 있습니다
3. ICEdit 업스케일링 구성:
   • ICEdit 워크플로우에는 세 가지 업스케일링 방법이 포함되어 있습니다:
     • 2xNomosUni와 같은 전문 모델을 사용한 모델 기반 업스케일링
     • lanczos 스케일링으로 세부사항 향상을 위한 ImageScaleBy
     • 고충실도 ICEdit 복원을 위한 KL-optimal 샘플링 (얼굴 특징 보존에 도움)
   • 4x 확대 모델을 사용할 경우, 큰 ICEdit 결과에서 아티팩트를 방지하기 위해 스케일링 팩터를 0.5로 변경하는 것을 고려하십시오
4. FluxGuidance in ICEdit:
   • ICEdit 워크플로우에는 여러 FluxGuidance 노드가 있으며, 다양한 섹션에서 가이드 강도를 제어합니다
   • 스타일 전환 FluxGuidance: ICEdit 스타일 전환이 지시를 얼마나 밀접하게 따르는지를 제어합니다
   • 이미지 편집 FluxGuidance: 오른쪽에 4.0의 값이 표시되어 있으며, 품질과 ICEdit 정밀성을 균형 있게 유지합니다
   • 높은 값은 ICEdit가 지시를 더 정밀하게 따르지만 이미지 품질에 영향을 미칠 수 있습니다
   • 낮은 값은 더 많은 창의적 자유를 제공하지만 덜 정밀한 ICEdit 결과를 초래할 수 있습니다
5. Redux Integration with ICEdit (Optional):
   • ICEdit 워크플로우에는 Redux 스타일 미세 조정 기능이 포함되어 있지만, 선택 사항입니다
   • Redux를 ICEdit 스타일 전환에 사용할 경우, 결과에 따라 get_condition1로 변경할 수 있습니다

5. ICEdit 편집 작업 예제

ICEdit는 다양한 편집 작업에 뛰어납니다, 예를 들어:

• ICEdit를 사용한 스타일 전환: "이미지를 애니메이션 일러스트로 변환"
• ICEdit를 사용한 색상 변경: "파란 셔츠를 녹색으로 변경"
• ICEdit를 사용한 의상 수정: "파란 셔츠를 데님 재킷으로 변경"
• ICEdit를 통한 액세서리 추가: "선글라스를 추가", "이 소녀는 흰 시계를 착용"
• ICEdit를 사용한 액세서리 제거: "벽의 그림 제거"
• ICEdit를 사용한 배경 변경: "소녀가 해변에 있으며 하늘에는 알록달록한 구름이 있습니다"
• ICEdit를 통한 객체 조작: "손에 두리안을 들고 있음"
• ICEdit를 사용한 텍스트/워터마크 작업: "벽에 파란 워터마크 'from me' 추가", "텍스트 'from aha' 제거"
• ICEdit를 통한 다중 요소 편집: "Ghibli 스타일로 변환"

6. 더 나은 ICEdit 결과를 위한 고급 팁

ICEdit 프롬프트 엔지니어링:

• ICEdit 지시사항을 구체적이고 간결하게 작성하십시오
• ICEdit 스타일 전환의 경우, 보존하고 싶은 세부 사항을 포함하십시오
• 최상의 ICEdit 결과를 위해 명확하고 설명적인 언어를 사용하십시오
• ICEdit로 배경을 변경할 때는 배치에 대해 구체적으로 설명하십시오

ICEdit 최적화 팁:

• 만족스럽지 않은 ICEdit 결과가 나올 경우, 시드 값을 변경해 보십시오 (성공에 중요)
• 복잡한 ICEdit 편집의 경우, 여러 개의 간단한 편집 단계로 나누는 것을 고려하십시오
• ICEdit 효과의 강도를 조절하기 위해 lora_strength를 조정하십시오

ICEdit 실패 처리:

• ICEdit는 현실적인 사진에서 가장 잘 작동하며, 비현실적인 입력에서는 결과가 달라질 수 있습니다
• ICEdit로 객체 제거 작업은 추가나 수정 작업에 비해 성공률이 낮습니다
• ICEdit 시도가 실패할 경우, 지시를 다시 표현하거나 다른 시드를 사용해 보십시오

7. 크레딧 및 감사

이 워크플로우는 ReLER, CCAI, Zhejiang University 및 Harvard University의 Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, Yi Yang에 의해 개발된 ICEdit에 의해 구동됩니다. ICEdit의 ComfyUI 통합은 커뮤니티 기여를 통해 가능해졌으며, judian17에게 및 최적화 작업에 대해 특별히 감사드립니다.

이 워크플로우는 전문가 레이어가 호환성을 위해 가중치 평균화된 ICEdit-MoE-LoRA의 특별히 조정된 버전을 사용하여, 최소한의 계산 자원으로 고품질 ICEdit 처리를 가능하게 합니다.

ICEdit에 대한 추가 정보는 다음을 방문하십시오:

• 프로젝트 페이지: