BAGEL AI | T2I + I2T + I2I

BAGEL AI: Мультимодальная основная модель для ComfyUI

BAGEL (BAndwidth-efficient Generalist Expert Learner) AI — это мощная мультимодальная основная модель, предназначенная для генерации изображений и понимания визуально-языковых данных. Основанная на архитектуре Mixture-of-Transformer-Experts (MoT) с 14B параметрами — 7B активных при выводе — BAGEL AI обеспечивает передовые результаты в задачах генерации изображений по тексту, редактирования изображений и понимания изображений.

Интегрированная напрямую в ComfyUI, BAGEL AI позволяет создателям генерировать детализированные изображения из текстовых подсказок, редактировать визуальные материалы с помощью текстовых инструкций и выполнять мультимодальные задачи, такие как визуальные вопросы и ответы, создание подписей и пошаговое рассуждение. BAGEL AI сочетает качество моделей диффузии (как Stable Diffusion 3) с аналитической мощью ведущих VLM (превосходя модели, такие как Qwen2.5-VL и InternVL-2.5).

Почему использовать BAGEL AI?

Рабочий процесс BAGEL AI предлагает:

• Генерация изображений по тексту: Создавайте высококачественные изображения из текстовых подсказок с помощью BAGEL AI
• Редактирование изображений через текст: Изменяйте существующие изображения, используя описательные инструкции с BAGEL AI
• Понимание изображений: Выполняйте задачи по созданию подписей к изображениям, вопросам и ответам и визуальному анализу в BAGEL AI
• Мультимодальное мышление: Включайте пошаговое объяснение или анализ визуальных данных через BAGEL AI
• Универсальная основная модель: Используйте единую архитектуру MoT на 14B для разнообразных мультимодальных задач в BAGEL AI

С BAGEL AI художники, исследователи и разработчики могут исследовать как генеративные, так и аналитические возможности мультимодального AI, используя единый и расширяемый интерфейс ComfyUI, поддерживаемый технологией BAGEL AI.

1 - Генерация изображений по тексту с BAGEL AI

Генерация изображений с использованием текстовых подсказок

BAGEL AI позволяет создавать высококачественные изображения непосредственно из текстовых вводов. Чтобы начать работу с BAGEL AI:

1. Введите детализированную текстовую подсказку в узел Prompt в BAGEL AI.
2. При необходимости настройте параметры, такие как seed, соотношение сторон или шаги декодирования в BAGEL AI.
3. Запустите рабочий процесс BAGEL AI для генерации нового изображения с помощью модели BAGEL.

Эта функция BAGEL AI идеально подходит для концептуального искусства, визуальных идей, повествования или быстрого прототипирования, используя исключительно описания на естественном языке.

2 - Понимание изображений и визуальные вопросы и ответы с BAGEL AI

Анализ и понимание изображений с использованием языка

BAGEL AI включает продвинутые функции мультимодального мышления и понимания, делая BAGEL AI идеальным для создания подписей к изображениям, анализа и вопросов и ответов:

1. Загрузите изображение для анализа в BAGEL AI.
2. Введите вопрос или подсказку о изображении в BAGEL AI (например, "Что держит мужчина?", "Опишите эту сцену.").
3. Система BAGEL AI возвращает визуальный ответ или трассировку рассуждений на основе содержимого изображения.
   Эта функция BAGEL AI особенно полезна для образования, тегирования контента, рабочих процессов по доступности или AI-агентов, нуждающихся в визуальной привязке через возможности BAGEL AI.

3 - Редактирование изображений с текстовыми инструкциями в BAGEL AI

Изменение существующих изображений через редактирование на основе подсказок

BAGEL AI также поддерживает редактирование изображений на основе подсказок через свой продвинутый интерфейс BAGEL AI. Вот как использовать BAGEL AI:

1. Загрузите ваше оригинальное изображение в узел ввода BAGEL AI.
2. Предоставьте текстовую инструкцию, описывающую желаемое изменение в BAGEL AI (например, "добавьте фон заката", "сделайте снег", и т.д.).
3. Запустите группу узлов, чтобы применить желаемые изменения с помощью обработки BAGEL AI.

Это позволяет художникам и дизайнерам недеструктивно преобразовывать изображения через простые текстовые инструкции без необходимости в ручном редактировании фотографий, все это с поддержкой технологии BAGEL AI.

Признание

Рабочий процесс BAGEL AI для ComfyUI основан на модели с открытым исходным кодом BAGEL-7B-MoT от ByteDance Seed.
Интеграция ComfyUI и настройка рабочего процесса BAGEL AI были разработаны neverbiasu, обеспечивая бесшовный доступ к возможностям генерации изображений, редактирования и понимания в едином интерфейсе BAGEL AI.

Репозиторий GitHub: https://github.com/neverbiasu/ComfyUI-BAGEL

Информация о модели BAGEL AI

• Имя модели: ComfyUI BAGEL-7B-MoT
• Архитектура: Mixture-of-Transformer-Experts (MoT), оптимизированная для BAGEL AI
• Общее количество параметров: 14B (7B активных) в BAGEL AI
• Путь ComfyUI: models/bagel/ComfyUI-BAGEL-7B-MoT/
• Автоматическая загрузка: Включена для BAGEL AI
• Ручная загрузка: https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT