Updated: 5/24/2024
Добро пожаловать! В этом руководстве мы рассмотрим захватывающие возможности ComfyUI IPAdapter Plus, также известного как ComfyUI IPAdapter V2.
Модели IPAdapter очень мощны для image-to-image conditioning, позволяя легко переносить объект или стиль эталонных изображений на новые творения. Подумайте об этом как о LoRA для одного изображения.
Введение IPAdapter Plus (IPAdapter V2) привнесло множество новых функций, направленных на упрощение процесса интеграции моделей, улучшение удобства использования и расширение творческих возможностей.
Важно отметить, что обновление до ComfyUI IPAdapter Plus (IPAdapter V2) сделает ваши предыдущие рабочие процессы, которые зависят от узла ComfyUI IPAdapter V1, неисправными. Следовательно, вам нужно будет перестроить свои проекты с использованием ComfyUI IPAdapter Plus.
Мы рассмотрим:
Если вас интересует исследование рабочей схемы ComfyUI IPAdapter Plus (IPAdapter V2), используйте следующий веб-сайт ComfyUI. Он полностью оснащен всеми необходимыми узлами и моделями, что позволяет творить без необходимости в ручной настройке. Начните приобретать практический опыт прямо сейчас или продолжите с этим руководством, чтобы узнать, как эффективно использовать IPAdapter Plus.
Входы "Model" и "IPAdapter" узла "IPAdapter" подключены к выходу узла "IPAdapter Unified Loader". Здесь вы можете выбрать различные модели IPAdapter, каждая из которых адаптирована к разным требованиям:
Вход "Image" узла "IPAdapter" - это эталонное изображение, используемое для image-to-image conditioning. Здесь узел "IPAdapter" применяет свои преобразующие возможности, изменяя эталонное изображение на основе заданных параметров и функциональности модели. В результате этого процесса создаются новые изображения, наследующие атрибуты эталонного изображения и объединяющие их с творческим потенциалом модели IPAdapter.
С помощью "Attn Mask" вы можете выделить определенные области изображения для фокусированной обработки или направить внимание модели, улучшая или сохраняя определенные особенности изображения, направляя внимание модели.
Параметр "Weight" регулирует интенсивность применяемых изменений; более высокие значения приводят к более выраженным эффектам, в то время как более низкие значения приводят к более тонким изменениям.
Параметры "Start At" и "End At" определяют начальные и конечные этапы, на которых применяются эффекты IPAdapter, предоставляя контроль над обработкой.
Тип веса для применения веса через этапы обработки варьируется, каждый из них влияет на результат по-своему:
При работе с моделями SDXL модель IPAdapter Plus бесшовно интегрируется и автоматически адаптируется к характеристикам модели SDXL. Однако важно правильно настроить размер латента, чтобы соответствовать требованиям модели SDXL.
Предлагая более полный набор функций, узел ComfyUI IPAdapter Advanced усиливает контроль над процессом генерации через такие параметры, как "Image Negative", "CLIP Vision", "Combine Embeds" и больше вариантов "Weight Type", приближая изображения к вашему творческому видению.
Параметр "Image Negative" позволяет вам определить, что вы не хотите видеть на конечном изображении. Указывая негативные примеры, модель направляется в сторону от нежелательных элементов, направляясь к более желаемому результату. Эта функция важна для избегания определенных тем, объектов или узоров на генерируемом изображении, обеспечивая, чтобы результат соответствовал вашим предпочтениям.
В узле "IPAdapter Advanced" вы найдете вход "CLIP Vision". Он подключается к выходу узла "Load CLIP Vision", где вы можете выбрать различные модели CLIP-ViT.
Основное различие между CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors и CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors заключается в их размере и потенциальной способности обрабатывать сложные задачи, при этом последняя модель больше, с 39 миллиардами параметров, что предполагает, что она может интерпретировать более тонкие отношения текст-изображение, чем первая с 32 миллиардами параметров.
По сравнению с узлом "IPAdapter", узел "IPAdapter Advanced" открывает больше вариантов для "weight type", каждый из которых влияет на результат по-своему:
Функция "Combine Embeds" важна для тех, кто хочет объединить входы из нескольких источников в одно целое визуальное изображение. Используя "Combine Embeds", вы получаете гибкость в создании изображений, которые включают широкий спектр художественных влияний и вдохновений, что приводит к действительно персонализированным и инновационным творениям. Методы, предоставленные для объединения embeds, такие как Concat, Add, Subtract, Average и Norm Average, предлагают разнообразные подходы к объединению этих влияний. Эти методы будут подробно рассмотрены в разделе 4, "Функция слияния изображений ComfyUI IPAdapter".
В указанной выше конфигурации вы могли заметить отсутствие модели FaceID. Чтобы интегрировать модель Face ID в свой рабочий процесс, требуются два конкретных узла: узел "IPAdapter Unified Loader FaceID" и узел "IPAdapter FaceID".
При работе с узлом "IPAdapter Unified Loader FaceID" вы можете выбрать последнюю модель "Face ID Plus V2" из выпадающего меню доступных моделей. Это действие инструктирует загрузчик автоматически собрать и подготовить все необходимые зависимости, уникальные для модели Face ID Plus V2.
Выберите CPU в качестве провайдера. Несмотря на возможное наличие высокопроизводительного GPU, рекомендуется настроить модель Face ID для использования CPU в качестве провайдера. Это связано с преимуществом сохранения ценного видеопамяти (VRAM), что является стратегией, которая оказывается выгодной и помогает оптимизировать общую эффективность и результативность распределения ресурсов вашего проекта.
Как использовать несколько эталонных изображений для создания нового? Вот два метода для достижения этого с помощью ComfyUI IPAdapter Plus, предоставляющие вам гибкость и контроль, необходимые для творческой генерации изображений.
Чтобы начать с узла "Batch Image", сначала необходимо выбрать изображения, которые вы хотите объединить. Эти изображения затем вводятся в узел, создавая единый пакет. Этот пакет затем вводится в pipeline IPAdapter, последовательно применяя каждое изображение к процессу генерации.
Узел "IPAdapter Advanced" вводит опции "Combine Embeds", предоставляя вам сложный контроль над тем, как несколько изображений влияют на генерацию. Эти опции — Concat, Add, Subtract, Average и Norm Average — диктуют, как embeddings из разных изображений объединяются, каждая из которых приводит к уникальным результатам:
На следующем изображении, используя разные "Combine Embeds", вы получите разные результаты.
Для тех, кто ищет более точный контроль над тем, как эталонные изображения взвешиваются в конечном изображении, IPAdapter предоставляет решение с использованием узлов "IPAdapter Encoder" и узла "IPAdapter Combine Embeds".
Каждое изображение в процессе слияния обрабатывается через узел IPAdapter encoder, который кодирует изображения для совместимости с IPAdapter. В узлах "IPAdapter Encoder" пользователи могут назначать конкретные веса каждому изображению, диктуя их влияние на объединенный результат. Настройка этих весов позволяет получить тонкий контроль над доминированием или тонкостью каждого изображения в композиции.
После кодирования изображений и установки их весов узел "IPAdapter Combine Embeds" объединяет их закодированные представления. Он объединяет положительные embeddings из узлов encoder, отражая предполагаемое влияние каждого изображения на объединенный результат. Это сбалансированное embedding затем готово для синтеза.
Синтезированное embedding в конечном итоге обрабатывается IP Adapter для создания нового изображения. Хотя подключение отрицательных embeddings является необязательным, рекомендуется это делать для сохранения вычислительных ресурсов. Выбирая любые из двух отрицательных embeddings из узлов encoder и связывая их с узлом IPAdapter, процесс оптимизируется, минимизируя ненужные вычисления и упрощая процесс слияния.
Следуя этим методам, вы можете эффективно объединять несколько изображений для создания новых, творческих композиций, максимально используя возможности ComfyUI IPAdapter Plus!
При обработке высоких изображений вы можете столкнуться с уникальной проблемой: энкодер CLIP Vision, основной компонент фреймворка IPAdapter, по своей природе предпочитает квадратные изображения. Это предпочтение может привести к проблемам обрезки при непосредственном подключении высокого изображения к узлу IPAdapter, что обычно приводит к тому, что только центральная часть изображения влияет на результат. В результате верхние и нижние части вашего изображения могут быть проигнорированы, что влияет на общее качество сгенерированного контента.
Для решения этой проблемы узел "IPAdapter Tiled" предлагает индивидуальное решение. Он позволяет напрямую подключать высокие изображения, сегментируя картину на меньшие, управляемые плитки. Этот метод гарантирует, что каждая часть вашего эталонного изображения учитывается в процессе генерации, избегая проблемы игнорирования части изображения.
Дополнительной особенностью узла "IPAdapter Tiled" является вывод плиток и масок, который предоставляет визуальное представление о том, как ваше изображение обрабатывается. Эта функция показывает конкретные плитки, которые используются, и их соответствующие маски, предоставляя вам представление о внутреннем механизме процесса генерации. Понимание того, как ваше изображение сегментируется и обрабатывается, может помочь вам вносить обоснованные коррективы для достижения желаемых результатов.
Кроме того, узел "IPAdapter Tiled" позволяет настраивать маски, предлагая гибкость для выделения или сосредоточения на определенных участках вашего изображения. Настраивая эти маски, вы можете направить больше внимания на определенные элементы вашего высокого изображения, предоставляя усиленный контроль над результатом. Эта функция оказывается бесценной для акцентирования или минимизации определенных аспектов в вашем изображении, обеспечивая, чтобы сгенерированный контент точно соответствовал вашему видению.
Таким образом, интеграция узла "IPAdapter Tiled" в ComfyUI IPAdapter Plus значительно улучшает ваши возможности работы с проектами image-to-image conditioning, включающими высокие изображения.
Как использовать ComfyUI IPAdapter Plus для манипулирования и объединения стилей и композиций эталонных изображений для создания новых, захватывающих визуальных эффектов. ComfyUI IPAdapter Plus предлагает мощный набор инструментов для художников и дизайнеров, позволяя экспериментировать, включая возможность переноса стиля одного изображения, сохранения композиции другого или даже объединения как стиля, так и композиции из разных эталонов в одно изображение.
Чтобы перенести стиль эталонного изображения, как 1-image LoRA, на целевой контент с использованием узла ComfyUI IPAdapter Advanced, выполните следующие шаги:
Настройка узла "IPAdapter Advanced": Начните с добавления узла "IPAdapter Advanced" в ваш рабочий процесс.
Настройка узла: В настройках узла ComfyUI IPAdapter Advanced найдите опцию "Weight Type". Используйте выпадающее меню для выбора "Style Transfer (SDXL)." Эта конфигурация направляет адаптер на приоритет переноса визуального стиля вашего эталонного изображения на целевой объект.
Настройка "Weight" переноса стиля: Параметр "weight" определяет силу переноса стиля. Увеличение этого значения усиливает влияние эталонного стиля на целевое изображение, делая эффект более заметным.
Чтобы сохранить композицию эталонного изображения при создании нового, также используйте узел ComfyUI IPAdapter Advanced, но с другой настройкой:
Настройка узла "IPAdapter Advanced": Как и раньше, добавьте узел IPAdapter Advanced в ваш рабочий процесс.
Настройка узла: Выберите "Composition (SDXL)" из выпадающего меню "Weight Type". Это инструктирует адаптер сохранять композиционные элементы эталонного изображения в новой генерации.
Настройка "Weight" композиции: Настройте параметр "weight", чтобы влиять на то, насколько плотно новое изображение будет следовать композиции эталона. Более высокий вес будет более строго соблюдать композицию эталона.
Для проектов, требующих как стиля одного изображения, так и композиции другого, узел "IPAdapter style & composition SDXL" предлагает упрощенное решение:
Выберите узел "IPAdapter Style & Composition SDXL": Добавьте этот специализированный узел в ваш проект для одновременного управления переносом стиля и композиции.
Загрузите эталонные изображения стиля и композиции: Узел "IPAdapter Style & Composition SDXL" позволяет два входа, один для изображения, стиль которого вы хотите перенести, и другой для изображения, композицию которого вы хотите сохранить. Загрузите оба эталона соответственно.
Настройка "Weights" для стиля и композиции: Узел "IPAdapter Style & Composition SDXL" предоставляет отдельные настройки веса для стиля и композиции. Настройте эти веса для балансировки влияния каждого эталона на итоговое изображение. Установка более высокого веса для стиля или композиции будет приоритетизировать этот аспект в сгенерированном изображении.
Следуя этим шагам и экспериментируя с настройками, вы можете использовать ComfyUI IPAdapter Plus для создания визуально потрясающих изображений, которые объединяют лучшие черты обоих миров: уникальный стиль одного произведения искусства с продуманной композицией другого.
Если вас интересует исследование рабочей схемы ComfyUI IPAdapter Plus (IPAdapter V2), используйте следующий веб-сайт ComfyUI. Он полностью оснащен всеми необходимыми узлами и моделями, что позволяет творить без необходимости в ручной настройке. Начните приобретать практический опыт прямо сейчас!
© Авторское право 2024 RunComfy. Все права защищены.