Узлы OmniGen-ComfyUI и связанный с ними рабочий процесс полностью разработаны AIFSH и saftle. Мы выражаем полное уважение AIFSH и saftle за эту инновационную работу. На платформе RunComfy мы просто представляем вклад AIFSH и saftle в сообщество. Важно отметить, что в настоящее время нет официальной связи или партнерства между RunComfy и AIFSH или saftle. Мы глубоко ценим работу AIFSH и saftle!
Рабочий процесс ComfyUI OmniGen позволяет вам манипулировать фотографией, изменяя одежду субъекта, фон, Виртуальная примерка одежды, Селфи с знаменитостью, добавлять или удалять элементы и многое другое. Вы можете добавить до 3 эталонных изображений для получения желаемых результатов.
OmniGen
OmniGen — это универсальная модель генерации изображений, разработанная для создания разнообразных визуалов из мультимодальных подсказок с простотой и гибкостью. В отличие от традиционных моделей, она устраняет необходимость в дополнительных модулях, таких как ControlNet, или этапах предварительной обработки, таких как оценка поз, позволяя получать прямой вывод через текстовые инструкции. Вдохновленная бесшовным подходом GPT к генерации текста, OmniGen позволяет пользователям легко настраивать ее для любой творческой или специализированной задачи с минимальными усилиями. Ее инновационная структура делает генерацию изображений более доступной, открывая безграничные возможности для визуального творчества. OmniGen — это шаг вперед в универсальной генерации изображений, вдохновляющий на следующую волну трансформирующих AI-инструментов.
1.1 Как использовать рабочий процесс OmniGen?
В этом рабочем процессе зеленые узлы слева являются входными для эталонных изображений и разрешений. Розовые и фиолетовые узлы в середине — это OmniGen unsampler и OmniGen Model Loader, а синий справа — это узел сохранения изображения.
- Загрузите ваши эталонные изображения.
- Введите ваше разрешение и подсказки
- Нажмите Queue
Нет необходимости в настройке, все так просто.
1.2 Загрузка эталонных входных изображений
- Загрузите 1, 2 или до 3 эталонных изображений, таких как одежда, люди, знаменитости, животные и т.д.
- Эти изображения также будут использоваться в подсказках с триггерным словом как "image_1" , "image_2" и "image_3" соответственно.
1.3 Разрешение
- В этом узле установите разрешение для выходного изображения.
- При более высоком разрешении изображения (выше 1k) будет потребляться больше Vram, также могут возникнуть случаи двойных фигур или объектов.
- Вы можете изменить batch_size и seed для рандомизации в sampler для генерации вариаций.
1.4 OmniGen Sampler и подсказки
- Подсказка: Добавьте ваши подсказки на основе ваших эталонных изображений. Укажите входные изображения как "image_1" , "image_2" и "image_3".
- Пример: Человек на image_1 носит куртку из image_2.
num_inferene_step:Устанавливает количество шагов выборки для OmniGen, используйте значение около 25-35 для хороших результатовimg_guidance_scale:Устанавливает вес/сила для эталонных изображений.max_input_image_size:Ограничивает разрешения входных данных.
1.5 Модели OmniGen
Модели загружаются из этого Shitao's Hugging Face Repo, в вашу папку comfyui/model/OmniGen вручную сервером runcomfy. Это может занять до 3-5 минут для создания локальной копии на вашем устройстве.
Вы можете загрузить другие модели OmniGen здесь, когда они будут выпущены.
OmniGen переопределяет генерацию изображений, предлагая унифицированный, гибкий подход, упрощающий рабочие процессы и устраняющий необходимость в дополнительных инструментах или предварительной обработке. Ее легкая настройка и мультимодальные возможности открывают новые возможности для творческих и специализированных задач. OmniGen задает тон для более доступной и инновационной визуальной генерации с помощью AI в будущем.