Janus-Pro | T2I + I2T 모델

Janus-Pro는 다중 모달 이해와 생성을 통합하여 이전 접근 방식의 주요 한계를 해결하는 최첨단 오토리그레시브 프레임워크입니다. 시각적 인코딩을 별도의 경로로 분리하면서 단일 변환기 아키텍처를 유지하여 Janus-Pro는 인식과 합성 간의 충돌을 제거하고 다중 모달 AI에서 유연성과 성능을 향상시킵니다. Janus-Pro를 통해 사용자는 시각적 이해와 콘텐츠 생성 간의 보다 정제된 균형을 달성할 수 있으며, Janus-Pro는 차세대 AI 솔루션을 위한 탁월한 선택입니다.

Janus-Pro 설계의 핵심은 혁신적인 이중 경로 시각적 인코딩 전략으로, Janus-Pro가 생성 능력을 희생하지 않고 시각적 입력을 보다 효과적으로 처리할 수 있게 합니다. 이해와 생성의 균형을 맞추기 어려운 전통적인 통합 모델과 달리, Janus-Pro는 전용 인코딩 경로를 할당하여 두 작업을 최적화하면서도 강력한 단일 변환기를 처리에 활용합니다. 이 접근 방식은 이미지 합성부터 텍스트 기반 생성에 이르기까지 다양한 다중 모달 작업에 걸쳐 Janus-Pro가 원활하게 적응할 수 있게 하며, Janus-Pro의 기존 AI 프레임워크를 능가하는 능력을 강화합니다.

통합 다중 모달 모델에서 주요 과제는 작업별 아키텍처 없이 광범위한 작업에서 높은 성능을 유지하는 것입니다. Janus-Pro는 간소화되었지만 매우 적응 가능한 프레임워크로 이를 극복하며, 이전의 통합 모델을 능가하고 심지어 작업별 솔루션의 성능과도 일치하거나 이를 초과합니다. 그 단순성, 유연성 및 뛰어난 효과성으로 Janus-Pro는 다중 모달 AI의 중요한 진전을 대표합니다. Janus-Pro는 차세대 통합 모델의 새로운 기준을 설정하여 Janus-Pro가 다중 모달 AI 기술의 미래임을 증명하고 있습니다.

1.1 Janus-Pro 워크플로우를 사용하는 방법?

Janus-Pro 워크플로우를 사용하는 두 가지 방법:

1. Janus-Pro 이미지 생성
2. Janus-Pro 이미지 설명 (OCR, 캡션, 설명 등)

1.2 Janus-Pro 이미지 생성

• Janus 이미지 생성 샘플러를 통해 프롬프트를 입력할 수 있습니다.
• Janus-Pro-1B 또는 Janus-Pro-7B 모델을 사용할 수 있습니다.
• Janus-Pro 이미지 생성은 현재 1:1 정사각형 (384*384 px) 비율로 제한되어 있습니다.

Janus-Pro 모델은 처음 실행 시 귀하의 클라우드 runcomfy 기계에 자동으로 다운로드됩니다. 첫 번째 대기열 시 2-5분이 소요될 수 있습니다. 모델 링크 -

• Janus-Pro-1B - https://huggingface.co/deepseek-ai/Janus-Pro-1B
• Janus-Pro-7B - https://huggingface.co/deepseek-ai/Janus-Pro-7B

모델은 다음에 다운로드됩니다: Comfyui/models/Janus-Pro

1.3 Janus-Pro 이미지 설명

• Janus-Pro 처리용으로 로드 이미지 노드에 이미지를 클릭하여 업로드하십시오.
• Janus-Pro 이미지 이해 노드를 사용하여 OCR, 캡션, 상세 설명을 수행할 수 있습니다. 노드에 제공된 입력 상자에 요청을 입력하십시오.

예제 질문: "이 이미지를 자세히 설명하세요, 어디에 위치해 있나요, 무엇이 쓰여 있나요 등"

Janus-Pro는 통합 프레임워크 내에서 이해와 생성을 매끄럽게 통합함으로써 다중 모달 AI의 새로운 표준을 설정합니다. Janus-Pro의 혁신적인 이중 경로 인코딩은 유연성을 향상시키고 전통적인 모델을 방해하는 충돌을 해결합니다. 이전의 통합 아키텍처를 능가하고 작업별 솔루션과 경쟁함으로써 Janus-Pro는 보다 효율적이고 다재다능한 AI 시스템의 길을 닦습니다. 강력하고 적응 가능한 프레임워크로서 Janus-Pro는 차세대 다중 모달 인텔리전스의 최전선에 서 있으며, Janus-Pro가 다중 모달 AI의 미래임을 증명하고 있습니다.