OmniGen2 | 텍스트-이미지 및 편집

OmniGen2 ComfyUI 작업 흐름이란?

OmniGen2 ComfyUI 작업 흐름은 통합 멀티모달 생성을 손끝에 제공합니다. 텍스트-이미지 합성 및 명령 기반 이미지 편집을 단일 강력한 프레임워크로 결합합니다. 이는 텍스트 설명에서 놀라운 이미지를 생성할 뿐만 아니라 복잡한 편집 명령을 놀라운 정밀도로 이해하고 실행하는 창의적인 AI 어시스턴트를 갖는 것과 같습니다.

이 작업 흐름은 Qwen 2.5 VL 기반에서 구축된 정교한 7B 매개변수 모델을 활용하며, 독특한 이중 경로 Transformer 아키텍처를 특징으로 합니다. 이 모델의 특별한 점은 텍스트와 이미지 생성을 위한 별도의 경로를 사용하는 분리된 설계로, 예외적인 언어 이해를 유지하면서 창의적 비전을 충실히 반영하는 고품질 시각적 출력을 제공합니다.

OmniGen2의 주요 특징 및 이점

이중 생성 모드: OmniGen2는 직관적인 인터페이스를 통해 텍스트로부터 새 이미지를 생성하거나 자연어 명령으로 기존 이미지를 편집합니다.

고급 아키텍처: OmniGen2 이중 경로 설계는 최적의 성능을 위해 텍스트와 이미지 처리를 분리합니다.

구성 이해: OmniGen2는 복잡한 다중 요소 프롬프트를 매 생성마다 탁월한 정확도로 처리합니다.

정밀한 이미지 편집: OmniGen2의 고급 알고리즘을 사용하여 나머지 이미지를 완벽하게 보존하면서 목표 변경을 수행합니다.

멀티모달 반영: OmniGen2는 스스로 분석하고 출력을 개선합니다.

ComfyUI에서 OmniGen2 사용법

OmniGen2 텍스트-이미지 작업 흐름

이미지 크기 설정

• OmniGen2의 출력 크기를 정의하려면 EmptySD3LatentImage 노드를 사용하세요:
  • OmniGen2의 요구에 따라 너비와 높이를 조정하세요
  • 단일 이미지 생성을 위해 batch_size를 1로 유지하세요

텍스트 프롬프트 작성

• OmniGen2의 CLIP Text Encode (Prompt) 노드에서:
  • 첫 번째 인코더에 자세하고 설명적인 프롬프트를 작성하세요
  • 두 번째 인코더는 비워 두거나 부정적인 프롬프트를 추가하세요
  • OmniGen2는 복잡한 구성 설명에 뛰어납니다

생성 및 저장

• Run을 눌러 OmniGen2 이미지를 생성하세요
• VAE Decode는 잠재 공간을 최종 이미지로 변환합니다
• Save Image는 자동으로 OmniGen2 생성물을 출력 폴더에 저장합니다

OmniGen2 이미지 편집 작업 흐름

원본 이미지 업로드

• OmniGen2로 편집할 이미지를 가져오려면 Load Image 노드를 사용하세요

편집 지침 작성

• OmniGen2의 CLIP Text Encode (Prompt) 노드에서:
  • 변경하고자 하는 내용을 명확하고 구체적으로 설명하세요
  • 예: "캐릭터의 머리 색상을 자연스러운 은백색으로 변환", "비행사 선글라스 추가"
  • 자연어 명령은 OmniGen2와 완벽하게 작동합니다

OmniGen2 편집 매개변수 구성

• Scale Image to Total Pixels 노드:
  • upscale_method: area (크기 조정 중 품질 유지)
  • megapixels: 2.00 (전체 픽셀 수 제어)
    • 이는 이미지를 약 200만 픽셀로 크기 조정합니다
    • 예: 1920x1080 이미지를 ~2MP로 유지
    • 값이 높을수록 더 많은 세부 사항을 제공하지만 처리 속도가 느려집니다
    • 값이 낮을수록 더 빠른 생성이 가능하지만 세부 사항이 적습니다
    • 2.00은 편집 기능에 최적입니다
    
• VAE Encode는 크기 조정된 이미지를 잠재 공간으로 변환합니다

선택 사항: 두 번째 이미지 입력 활성화

• 보라색 (우회된) 노드는 다중 이미지 작업을 허용합니다:
  • Ctrl+B를 눌러 우회 모드를 전환하세요
  • 스타일 전송 또는 객체 삽입을 위해 두 번째 이미지를 업로드하세요
  • "이미지 1과 이미지 2의 요소 결합"과 같은 작업에 적합합니다
  

편집된 결과 생성

• OmniGen2 작업 흐름을 실행하여 적용된 편집을 확인하세요
• 결과는 높은 충실도를 유지하면서 지침을 정확하게 따릅니다

감사의 말

이 ComfyUI 작업 흐름은 Beijing Academy of Artificial Intelligence의 연구원들이 개발한 혁신적인 OmniGen2 모델을 통합합니다. 7B 매개변수 모델로 가능한 것의 경계를 넓히는 이 통합 멀티모달 생성 시스템을 만든 팀에게 특별한 감사를 드립니다. 아키텍처는 모델 효율성과 생성 품질의 균형을 맞추는 데 있어 중요한 발전을 나타냅니다.

OmniGen2에 대한 추가 리소스

OmniGen2는 오픈 소스 라이선싱 하에 출시되어 연구 및 상업적 응용 프로그램 모두에 무료로 제공됩니다. OmniGen2에 대한 자세한 정보:

• GitHub Repository - 공식 구현 및 모델 아키텍처 세부 사항:
• Project Page - 데모 및 기술적 통찰력을 포함한 종합 개요:
• ComfyUI Examples - 단계별 튜토리얼 및 추가 작업 흐름: