OmniGen2 | Текст в изображение и редактирование

Что такое рабочий процесс OmniGen2 ComfyUI?

Рабочий процесс OmniGen2 ComfyUI приносит унифицированную мультимодальную генерацию на ваши пальцы, объединяя синтез текста в изображение и редактирование изображений на основе инструкций в единой мощной структуре. Думайте об этом как о творческом AI-помощнике, который не только создает потрясающие изображения из ваших текстовых описаний, но и понимает и выполняет сложные команды редактирования с замечательной точностью.

Этот рабочий процесс использует сложную модель с 7B параметрами, построенную на основе Qwen 2.5 VL, с уникальной архитектурой Transformer с двумя путями. Что делает эту модель особенной, так это ее развязанная конструкция - использование отдельных путей для генерации текста и изображений, что позволяет ей поддерживать исключительное понимание языка, предоставляя высококачественные визуальные результаты, которые остаются верными вашему творческому видению.

Основные функции и преимущества OmniGen2

Два режима генерации: OmniGen2 создает новые изображения из текста или редактирует существующие с помощью команд на естественном языке через интуитивно понятный интерфейс.

Продвинутая архитектура: Дизайн с двумя путями OmniGen2 разделяет обработку текста и изображений для оптимальной производительности.

Композиционное понимание: OmniGen2 справляется со сложными многокомпонентными подсказками с исключительной точностью в каждой генерации.

Точное редактирование изображений: Вносите целенаправленные изменения, сохраняя остальную часть изображения идеально с помощью продвинутых алгоритмов OmniGen2.

Мультимодальное отражение: OmniGen2 самостоятельно анализирует и уточняет результаты для улучшения.

Как использовать OmniGen2 в ComfyUI

Рабочий процесс текста в изображение OmniGen2

Установите размеры изображения

• Используйте узел EmptySD3LatentImage для определения размера выходного изображения для OmniGen2:
  • Настройте ширину и высоту в зависимости от ваших нужд OmniGen2
  • Оставьте batch_size равным 1 для генерации одного изображения

Создайте текстовую подсказку

• В узлах CLIP Text Encode (Prompt) для OmniGen2:
  • Пишите подробные, описательные подсказки в первом энкодере
  • Оставьте второй энкодер пустым или добавьте негативные подсказки
  • OmniGen2 превосходит в сложных композиционных описаниях

Генерация и сохранение

• Нажмите Run, чтобы создать изображение OmniGen2
• VAE Decode преобразует латенты в финальное изображение
• Save Image автоматически сохраняет ваше создание OmniGen2 в выходную папку

Рабочий процесс редактирования изображений OmniGen2

Загрузите исходное изображение

• Используйте узел Load Image для импорта изображения, которое вы хотите отредактировать с помощью OmniGen2

Напишите инструкцию по редактированию

• В узле CLIP Text Encode (Prompt) для OmniGen2:
  • Опишите, какие изменения вы хотите внести четко и конкретно
  • Примеры: "Преобразовать цвет волос персонажа в натуральный серебристо-белый", "Добавить авиаторские солнцезащитные очки"
  • Команды на естественном языке идеально работают с OmniGen2

Настройте параметры редактирования OmniGen2

• Узел Scale Image to Total Pixels:
  • upscale_method: area (сохраняет качество при изменении размера)
  • megapixels: 2.00 (контролирует общее количество пикселей)
    • Это изменяет размер вашего изображения примерно до 2 миллионов пикселей в целом
    • Например: масштабирует изображение 1920x1080, чтобы сохранить ~2МП
    • Более высокие значения = больше деталей, но медленная обработка
    • Более низкие значения = быстрая генерация, но меньше деталей
    • 2.00 оптимально для возможностей редактирования
    
• VAE Encode преобразует ваше масштабированное изображение в латентное пространство

Опционально: Включите второй вход изображения

• Фиолетовые (обходные) узлы позволяют операции с несколькими изображениями:
  • Нажмите Ctrl+B, чтобы переключить режим обхода
  • Загрузите второе изображение для переноса стиля или вставки объекта
  • Идеально для задач, таких как "объединение элементов из изображения 1 и изображения 2"
  

Создание отредактированного результата

• Выполните рабочий процесс OmniGen2, чтобы увидеть примененные редактирования
• Результаты сохраняют высокую точность, следуя инструкциям точно

Благодарности

Этот рабочий процесс ComfyUI интегрирует передовую модель OmniGen2, разработанную исследователями из Пекинской академии искусственного интеллекта. Особое признание команде за создание этой унифицированной мультимодальной генерационной системы, которая расширяет границы возможного с моделью на 7B параметров. Архитектура представляет собой значительное достижение в балансировке эффективности модели с качеством генерации.

Дополнительные ресурсы об OmniGen2

OmniGen2 выпущен под лицензией с открытым исходным кодом, что делает его свободно доступным как для исследований, так и для коммерческих приложений. Для получения дополнительной информации об OmniGen2:

• GitHub Repository - Официальная реализация и детали архитектуры модели:
• Project Page - Комплексный обзор с демонстрациями и техническими инсайтами:
• ComfyUI Examples - Пошаговые руководства и дополнительные рабочие процессы: