Что такое рабочий процесс OmniGen2 ComfyUI?#
Рабочий процесс OmniGen2 ComfyUI приносит унифицированную мультимодальную генерацию на ваши пальцы, объединяя синтез текста в изображение и редактирование изображений на основе инструкций в единой мощной структуре. Думайте об этом как о творческом AI-помощнике, который не только создает потрясающие изображения из ваших текстовых описаний, но и понимает и выполняет сложные команды редактирования с замечательной точностью.
Этот рабочий процесс использует сложную модель с 7B параметрами, построенную на основе Qwen 2.5 VL, с уникальной архитектурой Transformer с двумя путями. Что делает эту модель особенной, так это ее развязанная конструкция - использование отдельных путей для генерации текста и изображений, что позволяет ей поддерживать исключительное понимание языка, предоставляя высококачественные визуальные результаты, которые остаются верными вашему творческому видению.
Основные функции и преимущества OmniGen2#
Два режима генерации: OmniGen2 создает новые изображения из текста или редактирует существующие с помощью команд на естественном языке через интуитивно понятный интерфейс.
Продвинутая архитектура: Дизайн с двумя путями OmniGen2 разделяет обработку текста и изображений для оптимальной производительности.
Композиционное понимание: OmniGen2 справляется со сложными многокомпонентными подсказками с исключительной точностью в каждой генерации.
Точное редактирование изображений: Вносите целенаправленные изменения, сохраняя остальную часть изображения идеально с помощью продвинутых алгоритмов OmniGen2.
Мультимодальное отражение: OmniGen2 самостоятельно анализирует и уточняет результаты для улучшения.
Как использовать OmniGen2 в ComfyUI#
Рабочий процесс текста в изображение OmniGen2#
Установите размеры изображения
- Используйте узел EmptySD3LatentImage для определения размера выходного изображения для OmniGen2:
- Настройте ширину и высоту в зависимости от ваших нужд OmniGen2
- Оставьте batch_size равным 1 для генерации одного изображения
Создайте текстовую подсказку
- В узлах CLIP Text Encode (Prompt) для OmniGen2:
- Пишите подробные, описательные подсказки в первом энкодере
- Оставьте второй энкодер пустым или добавьте негативные подсказки
- OmniGen2 превосходит в сложных композиционных описаниях
Генерация и сохранение
- Нажмите
Run, чтобы создать изображение OmniGen2 - VAE Decode преобразует латенты в финальное изображение
- Save Image автоматически сохраняет ваше создание OmniGen2 в выходную папку
Рабочий процесс редактирования изображений OmniGen2#
Загрузите исходное изображение
- Используйте узел Load Image для импорта изображения, которое вы хотите отредактировать с помощью OmniGen2
Напишите инструкцию по редактированию
- В узле CLIP Text Encode (Prompt) для OmniGen2:
- Опишите, какие изменения вы хотите внести четко и конкретно
- Примеры: "Преобразовать цвет волос персонажа в натуральный серебристо-белый", "Добавить авиаторские солнцезащитные очки"
- Команды на естественном языке идеально работают с OmniGen2
Настройте параметры редактирования OmniGen2
- Узел Scale Image to Total Pixels:
- upscale_method: area (сохраняет качество при изменении размера)
- megapixels: 2.00 (контролирует общее количество пикселей)
- Это изменяет размер вашего изображения примерно до 2 миллионов пикселей в целом
- Например: масштабирует изображение 1920x1080, чтобы сохранить ~2МП
- Более высокие значения = больше деталей, но медленная обработка
- Более низкие значения = быстрая генерация, но меньше деталей
- 2.00 оптимально для возможностей редактирования <img src="https://cdn.runcomfy.net/workflow_assets/1247/readme01.webp" alt="OmniGen2" width="650"/>
- VAE Encode преобразует ваше масштабированное изображение в латентное пространство
Опционально: Включите второй вход изображения
- Фиолетовые (обходные) узлы позволяют операции с несколькими изображениями:
- Нажмите Ctrl+B, чтобы переключить режим обхода
- Загрузите второе изображение для переноса стиля или вставки объекта
- Идеально для задач, таких как "объединение элементов из изображения 1 и изображения 2" <img src="https://cdn.runcomfy.net/workflow_assets/1247/readme02.webp" alt="OmniGen2" width="650"/>
Создание отредактированного результата
- Выполните рабочий процесс OmniGen2, чтобы увидеть примененные редактирования
- Результаты сохраняют высокую точность, следуя инструкциям точно
Благодарности#
Этот рабочий процесс ComfyUI интегрирует передовую модель OmniGen2, разработанную исследователями из Пекинской академии искусственного интеллекта. Особое признание команде за создание этой унифицированной мультимодальной генерационной системы, которая расширяет границы возможного с моделью на 7B параметров. Архитектура представляет собой значительное достижение в балансировке эффективности модели с качеством генерации.
Дополнительные ресурсы об OmniGen2#
OmniGen2 выпущен под лицензией с открытым исходным кодом, что делает его свободно доступным как для исследований, так и для коммерческих приложений. Для получения дополнительной информации об OmniGen2:
- GitHub Repository - Официальная реализация и детали архитектуры модели: VectorSpaceLab/OmniGen2
- Project Page - Комплексный обзор с демонстрациями и техническими инсайтами: Official Page
- ComfyUI Examples - Пошаговые руководства и дополнительные рабочие процессы: ComfyUI Examples
