JoyAI 이미지 편집 ComfyUI: 구조를 보존하는 명령 기반 이미지 편집
이 워크플로우는 ComfyUI 내부에서 단일 참조 이미지에 빠르고 명령 기반의 편집을 제공합니다. JoyAI-Image-Edit 스택을 기반으로 하여, 객체 및 색상 교체, 공간 조정, 깨끗한 텍스트 렌더링과 같은 프롬프트 기반의 변화를 수행하면서 원본 구성을 그대로 유지합니다. JoyAI 이미지 편집 ComfyUI는 수작업 마스킹 없이 제어된 편집이 필요한 디자이너, 제품팀, 크리에이터에게 이상적입니다.
하나의 이미지를 제공하고 "접시를 파란색으로 바꾸세요."와 같은 간단한 명령을 입력합니다. 워크플로우는 JoyAI 이미지 편집 변환기, 텍스트 인코더, VAE를 통해 요청을 라우팅한 후, 레이아웃 및 콘텐츠 경계를 존중하는 편집된 이미지를 반환합니다. 예측 가능한 결과와 재현성을 중시하는 컴팩트한, 모델 특정 ComfyUI 설정입니다.
Comfyui JoyAI 이미지 편집 ComfyUI 워크플로우의 주요 모델
- JoyAI-Image-Edit 변환기. 명령과 참조 이미지를 조건으로 하여 구조를 보존하는 변화를 생성하는 핵심 편집 모델입니다. 모델 카드: jdopensource/JoyAI-Image-Edit.
- JoyAI-Image-Edit 텍스트 인코더 및 토크나이저. 변환기가 따를 수 있는 임베딩으로 편집 명령을 인코딩합니다. 구현 및 사용은 JoyAI 이미지 코드베이스에 있습니다: jd-opensource/JoyAI-Image.
- JoyAI 이미지 편집용 VAE. 편집 및 디코딩을 위한 이미지 압축 및 재구성을 담당하며, 색상 충실도와 세부 사항 보존에 기여합니다. 워크플로우는 JoyAI 스택에 번들로 제공되는 Wan 2.1 VAE 체크포인트를 참조합니다.
Comfyui JoyAI 이미지 편집 ComfyUI 워크플로우 사용 방법
파이프라인은 왼쪽에서 오른쪽으로 흐릅니다: 소스 이미지를 로드하고, 명령을 작성하고, JoyAI 스택을 로드하고, 편집을 실행한 후 저장합니다. 일반적인 편집에는 마스크가 필요하지 않으며, 워크플로우는 재현 가능한 결과를 위해 설계되었습니다.
- 소스 이미지 준비
LoadImage(#6)를 사용하여 참조를 로드합니다. 최상의 결과를 위해 깨끗하고 잘 조명된 이미지를 사용하고, 피사체를 적절히 중앙에 배치하십시오. 프레임을 정확히 보존하려면 나중에 캔버스 크기를 변경하는 대신 미리 소스를 자르십시오. 워크플로우는 이 이미지를 직접 편집 단계로 전달하여 결과의 구조를 고정합니다.
- 편집 명령 작성
Prompt(#4)에 요청을 입력하고,Negative Prompt(#5)에 제외할 내용을 정의할 수 있습니다. 명령은 짧고 구체적이며 실행 가능한 형태로 유지하세요. 예를 들어 "컵을 빨간색으로 만들기", "하늘을 일몰로 교체하기", "노트북에 JOYAI 텍스트 추가하기" 등입니다. 네거티브 프롬프트는 원치 않는 색상, 객체 또는 스타일을 피하는 데 도움이 됩니다. JoyAI 이미지 편집 ComfyUI는 원본과의 레이아웃 일관성을 유지하면서 명령을 존중합니다.
- JoyAI 스택 로드
- 모델 구성 요소는
JoyAIImageEditTransformerLoader(#1),JoyAIImageEditTextEncoderLoader(#2),JoyAIImageEditVAELoader(#3)에 의해 로드됩니다. 이 노드는 변환기 가중치, 텍스트 인코더 플러스 토크나이저, 이미지 인코딩 및 디코딩을 관리하는 VAE를 가져옵니다. 다른 모습이나 동작을 위해 체크포인트를 교체하지 않는 한 보통 변경할 필요는 없습니다. 이 삼중 조합을 일관되게 유지하면 명령 의미, 기하학, 색상 공간이 안정적으로 유지됩니다.
- 모델 구성 요소는
- 편집 실행
JoyAIImageEditPipeline(#7)은 소스 이미지와 명령 임베딩을 융합하여 편집된 결과를 생성합니다. 파이프라인은 구조적 충실도를 유지하면서 명령 강도를 조절하여 객체가 제자리에 있으면서 요청에 따라 속성이 변경되도록 균형을 맞춥니다. 재현성을 위해 고정된 시드를 사용하거나 시드를 전환하여 변화를 탐색하십시오. 더 선명한 레터링이나 세밀한 가장자리가 필요하면 샘플러의 품질 설정을 증가시키면서 소스에 비해 이미지 크기를 적절히 유지하십시오.
- 저장 및 검토
SaveImage(#8)는 편집된 출력을 기록합니다. 실행을 나란히 비교할 수 있도록 버전화된 이름을 사용하고, 좋아하는 결과를 재현할 수 있도록 파일 이름이나 노트에 시드를 기록하십시오. 반복 시, 명확한 원인과 결과를 보기 위해 한 번에 하나의 제어만 조정하십시오.
Comfyui JoyAI 이미지 편집 ComfyUI 워크플로우의 주요 노드
JoyAIImageEditPipeline(#7)- JoyAI 변환기, 텍스트 인코더 및 VAE를 사용하여 참조 이미지에 명령을 적용하는 중앙 오케스트레이터입니다. 먼저
prompt및negative_prompt를 조정하십시오. 결정론적 재실행을 위해 고정된seed를 사용하고, 대안을 탐색하려면 시드를 변경하십시오. 명령 강도와 샘플링 품질을 균형 있게 조정하여 속도와 충실도를 교환하고, 출력 크기를 소스의 종횡비에 가깝게 유지하여 레이아웃을 보존하십시오.
- JoyAI 변환기, 텍스트 인코더 및 VAE를 사용하여 참조 이미지에 명령을 적용하는 중앙 오케스트레이터입니다. 먼저
JoyAIImageEditTransformerLoader(#1)- 텍스트를 따라 편집이 얼마나 강력하고 깔끔하게 수행될지를 결정하는 JoyAI-Image-Edit 변환기 체크포인트를 로드합니다. 이 가중치를 교체하면 스타일과 반응성이 의미 있게 변화할 수 있습니다. 같은 릴리스 패밀리에서 변환기와 텍스트 인코더를 짝지어 임베딩 불일치를 피하십시오.
JoyAIImageEditTextEncoderLoader(#2)- 명령을 모델 읽기 가능한 임베딩으로 변환하는 텍스트 인코더 및 토크나이저를 제공합니다. 명확하고 간결한 문구는 임베딩 품질을 향상시킵니다. 정밀도 설정은 VRAM 사용량과 속도에 영향을 미칠 수 있으므로, 하드웨어와 배치 크기에 맞는 모드를 선택하십시오.
JoyAIImageEditVAELoader(#3)- 편집 주변에서 이미지가 인코딩되고 디코딩되는 방식을 제어하는 VAE를 로드합니다. 다른 VAEs는 색상과 대비를 미묘하게 변화시킬 수 있으므로, 프롬프트를 평가할 때 실험 전반에 걸쳐 이를 일관되게 유지하십시오. VAE를 변경하면 색상 표현을 재조정하기 위해 프롬프트를 다시 살펴보십시오.
선택적 추가 사항
- 프롬프트 제작
- "접시를 파란색으로 만들기"와 같은 단일의 명확한 동작을 다단계 단락보다 선호하십시오. 속성을 편집할 때는 보이는 객체를 정확하게 이름짓고 단수 명사를 사용하십시오. 공간 편집의 경우 "테이블 위에", "배경에", "벽에"와 같은 전치사로 요청을 구체화하십시오.
- 해상도 및 구성
- 기하학을 유지하기 위해 소스의 종횡비를 보존하십시오. 더 큰 결과물이 필요하면 편집 후 업스케일하십시오.
- 재현성
- 프롬프트 변형을 비교할 때 고정된 시드를 유지하고, 만족스러울 때 시드를 해제하여 대안을 샘플링하십시오.
- 참조 및 소스
- 모델 카드 및 가중치: jdopensource/JoyAI-Image-Edit
- 구현 세부 사항 및 업데이트: jd-opensource/JoyAI-Image
- 이 프로젝트에서 사용된 ComfyUI 그래프 템플릿: joyai_image_comfyui
감사의 글
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. JoyAI-Image 리포지토리, JoyAI-Image ComfyUI 워크플로우, JoyAI-Image-Edit 모델에 대한 기여 및 유지보수를 위해 jd-opensource에 감사드립니다. 권위 있는 세부 사항은 아래 링크된 원본 문서 및 리포지토리를 참조하시기 바랍니다.
리소스
- jd-opensource/JoyAI-Image
- GitHub: jd-opensource/JoyAI-Image
- jd-opensource/joyai_image_comfyui
- GitHub: jd-opensource/JoyAI-Image
- jdopensource/JoyAI-Image-Edit
- Hugging Face: jdopensource/JoyAI-Image-Edit
참고: 참조된 모델, 데이터셋, 코드의 사용은 저자 및 유지보수자가 제공한 각 라이선스 및 조건에 따릅니다.
