ComfyUI  >  Рабочие процессы  >  Omost | Улучшите Создание Изображений

Omost | Улучшите Создание Изображений

Omost использует модели больших языков (Large Language Models) для преобразования кода в детализированные композиции изображений. Используя структурированный холст и сложную инженерную работу с подсказками, Omost обеспечивает точное и эффективное создание изображений.

ComfyUI Omost Рабочий процесс

ComfyUI Omost: Enhance Image Creation
Хотите запустить этот рабочий процесс?
  • Полностью функциональные рабочие процессы
  • Нет недостающих узлов или моделей
  • Не требуется ручная настройка
  • Отличается потрясающей визуализацией

ComfyUI Omost Примеры

comfyui-omost-enhance-image-creation-1100

ComfyUI Omost Описание

1. Что такое Omost?

Omost, сокращение от "Ваше изображение почти готово!", это инновационный проект, который преобразует возможности кодирования моделей больших языков (LLM) в создание изображений, точнее, в способности компоновки изображений. Название "Omost" имеет двойное значение: оно подразумевает, что каждый раз, когда вы используете Omost, ваше изображение почти завершено, и также означает "omni" (мультимодальный) и "most" (максимальная отдача).

Omost предоставляет предварительно обученные модели LLM, которые генерируют код для компоновки визуального контента изображения с использованием виртуального агента Canvas от Omost. Этот холст затем может быть отрендерен с помощью конкретных реализаций генераторов изображений для создания финальных изображений. Omost предназначен для упрощения и улучшения процесса создания изображений, делая его доступным и эффективным для AI-художников.

2. Как работает Omost

2.1. Холст и Описания

Omost использует виртуальный холст, на котором описываются и размещаются элементы изображения. Холст разделен на сетку из 9x9=81 позиций, что позволяет точно размещать элементы. Эти позиции дополнительно уточняются в рамки, предоставляя 729 различных возможных местоположений для каждого элемента. Этот структурированный подход обеспечивает точное и последовательное размещение элементов.

How Omost Works

2.2. Глубина и Цвет

Элементам на холсте присваивается параметр distance_to_viewer, который помогает сортировать их по слоям от фона к переднему плану. Этот параметр действует как относительный индикатор глубины, обеспечивая, чтобы ближние элементы появлялись перед теми, которые находятся дальше. Кроме того, параметр HTML_web_color_name предоставляет грубое цветовое представление для начального рендеринга, которое может быть уточнено с использованием моделей диффузии. Этот начальный цвет помогает визуализировать композицию перед тонкой настройкой.

How Omost Works

2.3. Инженерия Подсказок

Omost использует суб-подсказки, которые являются краткими, автономными описаниями элементов, для генерации детализированных и согласованных композиций изображений. Каждая суб-подсказка содержит менее 75 токенов и описывает элемент независимо. Эти суб-подсказки объединяются в полные подсказки для обработки LLM, обеспечивая, чтобы генерируемые изображения были точными и семантически насыщенными. Этот метод обеспечивает эффективное кодирование текста и предотвращает ошибки семантического усечения.

2.4. Региональные Подсказки

Omost реализует продвинутые техники манипулирования вниманием для обработки региональных подсказок, обеспечивая, чтобы каждая часть изображения генерировалась точно в соответствии с заданными описаниями. Техники, такие как манипуляция оценками внимания, обеспечивают, что активации внутри маскированных областей усиливаются, в то время как те, что снаружи, подавляются. Этот точный контроль над вниманием приводит к высококачественному, регионально специфическому созданию изображений.

3. Подробное Объяснение Узлов ComfyUI Omost

3.1. Узел Загрузки Omost LLM

How Omost Works

Входные параметры узла загрузки Omost LLM

  • llm_name: Название предварительно обученной модели LLM для загрузки. Доступные опции включают:
    • lllyasviel/omost-phi-3-mini-128k-8bits
    • lllyasviel/omost-llama-3-8b-4bits
    • lllyasviel/omost-dolphin-2.9-llama3-8b-4bits

Этот параметр указывает, какую модель загрузить, каждая из которых предлагает различные возможности и оптимизации.

Выходные параметры узла загрузки Omost LLM

  • OMOST_LLM: Загруженная модель LLM.

Этот выход предоставляет загруженную LLM, готовую для генерации описаний и композиций изображений.

3.2. Узел Чата Omost LLM

How Omost Works

Входные параметры узла чата Omost LLM

  • llm: Модель LLM, загруженная с помощью OmostLLMLoader.
  • text: Текстовая подсказка для генерации изображения. Это основной вход, где вы описываете сцену или элементы, которые хотите сгенерировать.
  • max_new_tokens: Максимальное количество новых токенов для генерации. Это контролирует длину генерируемого текста, с большим числом, позволяющим более детальные описания.
  • top_p: Контролирует разнообразие генерируемого вывода. Значение, близкое к 1.0, включает более разнообразные возможности, в то время как более низкое значение фокусируется на наиболее вероятных исходах.
  • temperature: Контролирует случайность генерируемого вывода. Более высокие значения приводят к более случайным выводам, в то время как более низкие значения делают вывод более детерминированным.
  • conversation (Опционально): Контекст предыдущего разговора. Это позволяет модели продолжить с предыдущих взаимодействий, сохраняя контекст и согласованность.

Выходные параметры узла чата Omost LLM

  • OMOST_CONVERSATION: История разговора, включая новый ответ. Это помогает отслеживать диалог и сохранять контекст в течение нескольких взаимодействий.
  • OMOST_CANVAS_CONDITIONING: Генерированные параметры кондиционирования холста для рендеринга. Эти параметры определяют, как элементы размещаются и описываются на холсте.

3.3. Узел Рендеринга Кондиционирования Холста Omost

How Omost Works

Входные параметры узла рендеринга кондиционирования холста Omost

  • canvas_conds: Параметры кондиционирования холста. Эти параметры включают детализированные описания и позиции элементов на холсте.

Выходные параметры узла рендеринга кондиционирования холста Omost

  • IMAGE: Сгенерированное изображение на основе кондиционирования холста. Этот выход является визуальным представлением описанной сцены, сгенерированной из параметров кондиционирования.

3.4. Узел Кондиционирования Макета Omost

How Omost Works

Входные параметры узла кондиционирования макета Omost

  • canvas_conds: Параметры кондиционирования холста.
  • clip: Модель CLIP для кодирования текста. Эта модель кодирует текстовые описания в векторы, которые могут быть использованы генератором изображений.
  • global_strength: Сила глобального кондиционирования. Это контролирует, насколько сильно общее описание влияет на изображение.
  • region_strength: Сила регионального кондиционирования. Это контролирует, насколько сильно конкретные региональные описания влияют на их соответствующие области.
  • overlap_method: Метод обработки перекрывающихся областей (например, overlay, average). Это определяет, как смешивать перекрывающиеся области на изображении.
  • positive (Опционально): Дополнительное положительное кондиционирование. Это может включать дополнительные подсказки или условия для улучшения конкретных аспектов изображения.

Выходные параметры узла кондиционирования макета Omost

  • CONDITIONING: Параметры кондиционирования для создания изображений. Эти параметры направляют процесс создания изображений, обеспечивая соответствие вывода описанной сцене.
  • MASK: Маска, используемая для кондиционирования. Это помогает в отладке и применении дополнительных условий к конкретным регионам.

3.5. Узел Загрузки Кондиционирования Холста Omost

How Omost Works

Входные параметры узла загрузки кондиционирования холста Omost

  • json_str: JSON-строка, представляющая параметры кондиционирования холста. Это позволяет загружать предопределенные условия из JSON-файла.

Выходные параметры узла загрузки кондиционирования холста Omost

  • OMOST_CANVAS_CONDITIONING: Загруженные параметры кондиционирования холста. Эти параметры инициализируют холст с конкретными условиями, готовыми для создания изображений.

Хотите больше рабочих процессов ComfyUI?

RunComfy

© Авторское право 2024 RunComfy. Все права защищены.

RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией.