1. Что такое Omost?#
Omost, сокращение от "Ваше изображение почти готово!", это инновационный проект, который преобразует возможности кодирования моделей больших языков (LLM) в создание изображений, точнее, в способности компоновки изображений. Название "Omost" имеет двойное значение: оно подразумевает, что каждый раз, когда вы используете Omost, ваше изображение почти завершено, и также означает "omni" (мультимодальный) и "most" (максимальная отдача).
Omost предоставляет предварительно обученные модели LLM, которые генерируют код для компоновки визуального контента изображения с использованием виртуального агента Canvas от Omost. Этот холст затем может быть отрендерен с помощью конкретных реализаций генераторов изображений для создания финальных изображений. Omost предназначен для упрощения и улучшения процесса создания изображений, делая его доступным и эффективным для AI-художников.
2. Как работает Omost#
2.1. Холст и Описания#
Omost использует виртуальный холст, на котором описываются и размещаются элементы изображения. Холст разделен на сетку из 9x9=81 позиций, что позволяет точно размещать элементы. Эти позиции дополнительно уточняются в рамки, предоставляя 729 различных возможных местоположений для каждого элемента. Этот структурированный подход обеспечивает точное и последовательное размещение элементов.
2.2. Глубина и Цвет#
Элементам на холсте присваивается параметр distance_to_viewer, который помогает сортировать их по слоям от фона к переднему плану. Этот параметр действует как относительный индикатор глубины, обеспечивая, чтобы ближние элементы появлялись перед теми, которые находятся дальше. Кроме того, параметр HTML_web_color_name предоставляет грубое цветовое представление для начального рендеринга, которое может быть уточнено с использованием моделей диффузии. Этот начальный цвет помогает визуализировать композицию перед тонкой настройкой.
2.3. Инженерия Подсказок#
Omost использует суб-подсказки, которые являются краткими, автономными описаниями элементов, для генерации детализированных и согласованных композиций изображений. Каждая суб-подсказка содержит менее 75 токенов и описывает элемент независимо. Эти суб-подсказки объединяются в полные подсказки для обработки LLM, обеспечивая, чтобы генерируемые изображения были точными и семантически насыщенными. Этот метод обеспечивает эффективное кодирование текста и предотвращает ошибки семантического усечения.
2.4. Региональные Подсказки#
Omost реализует продвинутые техники манипулирования вниманием для обработки региональных подсказок, обеспечивая, чтобы каждая часть изображения генерировалась точно в соответствии с заданными описаниями. Техники, такие как манипуляция оценками внимания, обеспечивают, что активации внутри маскированных областей усиливаются, в то время как те, что снаружи, подавляются. Этот точный контроль над вниманием приводит к высококачественному, регионально специфическому созданию изображений.
3. Подробное Объяснение Узлов ComfyUI Omost#
3.1. Узел Загрузки Omost LLM#
Входные параметры узла загрузки Omost LLM#
llm_name: Название предварительно обученной модели LLM для загрузки. Доступные опции включают:lllyasviel/omost-phi-3-mini-128k-8bitslllyasviel/omost-llama-3-8b-4bitslllyasviel/omost-dolphin-2.9-llama3-8b-4bits
Этот параметр указывает, какую модель загрузить, каждая из которых предлагает различные возможности и оптимизации.
Выходные параметры узла загрузки Omost LLM#
OMOST_LLM: Загруженная модель LLM.
Этот выход предоставляет загруженную LLM, готовую для генерации описаний и композиций изображений.
3.2. Узел Чата Omost LLM#
Входные параметры узла чата Omost LLM#
llm: Модель LLM, загруженная с помощьюOmostLLMLoader.text: Текстовая подсказка для генерации изображения. Это основной вход, где вы описываете сцену или элементы, которые хотите сгенерировать.max_new_tokens: Максимальное количество новых токенов для генерации. Это контролирует длину генерируемого текста, с большим числом, позволяющим более детальные описания.top_p: Контролирует разнообразие генерируемого вывода. Значение, близкое к 1.0, включает более разнообразные возможности, в то время как более низкое значение фокусируется на наиболее вероятных исходах.temperature: Контролирует случайность генерируемого вывода. Более высокие значения приводят к более случайным выводам, в то время как более низкие значения делают вывод более детерминированным.conversation(Опционально): Контекст предыдущего разговора. Это позволяет модели продолжить с предыдущих взаимодействий, сохраняя контекст и согласованность.
Выходные параметры узла чата Omost LLM#
OMOST_CONVERSATION: История разговора, включая новый ответ. Это помогает отслеживать диалог и сохранять контекст в течение нескольких взаимодействий.OMOST_CANVAS_CONDITIONING: Генерированные параметры кондиционирования холста для рендеринга. Эти параметры определяют, как элементы размещаются и описываются на холсте.
3.3. Узел Рендеринга Кондиционирования Холста Omost#
Входные параметры узла рендеринга кондиционирования холста Omost#
canvas_conds: Параметры кондиционирования холста. Эти параметры включают детализированные описания и позиции элементов на холсте.
Выходные параметры узла рендеринга кондиционирования холста Omost#
IMAGE: Сгенерированное изображение на основе кондиционирования холста. Этот выход является визуальным представлением описанной сцены, сгенерированной из параметров кондиционирования.
3.4. Узел Кондиционирования Макета Omost#
Входные параметры узла кондиционирования макета Omost#
canvas_conds: Параметры кондиционирования холста.clip: Модель CLIP для кодирования текста. Эта модель кодирует текстовые описания в векторы, которые могут быть использованы генератором изображений.global_strength: Сила глобального кондиционирования. Это контролирует, насколько сильно общее описание влияет на изображение.region_strength: Сила регионального кондиционирования. Это контролирует, насколько сильно конкретные региональные описания влияют на их соответствующие области.overlap_method: Метод обработки перекрывающихся областей (например,overlay,average). Это определяет, как смешивать перекрывающиеся области на изображении.positive(Опционально): Дополнительное положительное кондиционирование. Это может включать дополнительные подсказки или условия для улучшения конкретных аспектов изображения.
Выходные параметры узла кондиционирования макета Omost#
CONDITIONING: Параметры кондиционирования для создания изображений. Эти параметры направляют процесс создания изображений, обеспечивая соответствие вывода описанной сцене.MASK: Маска, используемая для кондиционирования. Это помогает в отладке и применении дополнительных условий к конкретным регионам.
3.5. Узел Загрузки Кондиционирования Холста Omost#
Входные параметры узла загрузки кондиционирования холста Omost#
json_str: JSON-строка, представляющая параметры кондиционирования холста. Это позволяет загружать предопределенные условия из JSON-файла.
Выходные параметры узла загрузки кондиционирования холста Omost#
OMOST_CANVAS_CONDITIONING: Загруженные параметры кондиционирования холста. Эти параметры инициализируют холст с конкретными условиями, готовыми для создания изображений.
