Этот рабочий процесс приносит ByteDance USO в ComfyUI для создателей, которые хотят получить персонажей, сохраняющих идентичность, и точный перенос стиля в одном месте. Построенный на FLUX.1‑dev, он поддерживает генерацию, основанную на теме, стиле и их комбинации, чтобы вы могли размещать персонажа в новых сценах, сохраняя сходство, применять стили из референсных изображений или делать и то, и другое одновременно.
Используйте ByteDance USO, когда вам нужна сильная согласованность темы с гибким, высококачественным контролем стиля. Граф включает две дополнительные ветви: путь темы+стиля, который основывается на изображении идентичности, и путь, управляемый подсказкой, который может использоваться с референсами стиля или без них. Обе ветви сохраняют изображения независимо, чтобы вы могли быстро сравнивать результаты.
Граф имеет две ветви, которые могут работать независимо. Верхняя ветвь использует изображение идентичности плюс референсы стиля; нижняя ветвь управляется подсказкой и может опционально включать референсы стиля. Генерируйте из любой ветви или обеих.
Этот шаг инициализирует FLUX.1‑dev, ByteDance USO LoRA, проектор USO и энкодер видения SigCLIP. Он подготавливает базовую модель для единого руководства стилем и темой. Обе ветви загружают один и тот же набор, чтобы вы могли запускать рабочие процессы темы+стиля или подсказки без перенастройки моделей. После загрузки поток модели готов для процессоров референсов USO.
Предоставьте чистое изображение идентичности вашего персонажа. Рабочий процесс масштабирует его до подходящего рабочего размера и кодирует в латентное представление, которое сохраняет ключевые черты лица или персонажа. Это латентное представление объединяется с вашей подсказкой, чтобы ByteDance USO мог разместить тему в новых сценах, сохраняя идентичность. Пропустите этот шаг, если вы хотите только генерацию стиля или текста.
Добавьте одно или два изображения стиля для руководства палитрой, материалами и техникой кисти. Каждое изображение кодируется с помощью модели видения и применяется через узлы референсов стиля USO, которые накладывают стилистические влияния на загруженную модель. Порядок важен при использовании двух референсов, так как второй референс применяется после первого. Вы можете обойти эту группу, чтобы выполнить чисто тематический или текстовый проход.
Напишите подсказку, основанную на намерении, для композиции, настроения и деталей. В ветви темы+стиля ваша подсказка объединяется с латентным представлением идентичности и руководством USO, чтобы текст, тема и стиль двигались в одном направлении. В ветви, управляемой подсказкой, только текст (опционально с референсами стиля) управляет изображением. Держите подсказки конкретными; избегайте противоречий с выбранным стилем.
Выберите целевое разрешение для генерации. Выбранный размер влияет на плотность композиции и деталей, особенно для портретов и полноразмерных снимков. Если VRAM ограничен, начните с меньшего размера и увеличьте позже. Обе ветви имеют простой узел размера изображения, чтобы вы могли адаптировать аспект и четкость к вашему случаю использования.
Каждая ветвь выполняет выборку с помощью стандартного выборщика, декодирует в RGB и сохраняет в свой собственный вывод. Обычно вы получите два изображения за запуск: один результат стилизованной темы и один результат, управляемый подсказкой. Итерируйте, изменяя подсказку или меняя референсы; повторите выборку, чтобы исследовать альтернативы или зафиксируйте семя для повторяемости.
USOStyleReference (#56)Применяет изображение стиля к текущему потоку модели, используя проектор USO и функции CLIP‑Vision. Используйте один референс для сильного, согласованного вида или цепочку из двух для тонких смесей; второй референс уточняет первый. Если стиль доминирует слишком сильно, попробуйте использовать один, более чистый референс или упростите его содержание.
ReferenceLatent (#44)Внедряет закодированное латентное представление темы в путь кондиционирования, чтобы ByteDance USO сохранял идентичность. Работает лучше всего с не загроможденными фотографиями идентичности, которые четко показывают лицо или определяющие черты персонажа. Если идентичность ускользает, предоставьте более полное референсное изображение или уменьшите конфликтующие стилистические подсказки.
FluxKontextMultiReferenceLatentMethod (#41)Комбинирует несколько референсных сигналов в контекстном пути FLUX. Здесь балансируются контексты темы и подсказки перед выборкой. Если результаты кажутся слишком ограниченными, ослабьте референсы; если они уходят в сторону, усилите изображения темы или упростите подсказку.
FluxGuidance (#35)Контролирует силу текстового руководства относительно референсных сигналов. Более низкие значения позволяют теме/стилю вести; более высокие значения усиливают подсказку. Настройте, когда видите, что подсказка недоиспользуется (повысьте руководство) или стиль/тема замещаются (понизьте руководство).
ImageScaleToMaxDimension (#109)Подготавливает изображение идентичности для стабильного извлечения признаков. Меньшие максимальные размеры способствуют более широкой композиции; большие размеры помогают, когда референс является плотным портретом и вам нужны более четкие идентификационные подсказки. Настройте в зависимости от того, является ли ваш референсный объект полноразмерным или портретом.
EasyCache (#95)Ускоряет вывод, повторно используя промежуточные состояния, когда изменения незначительны. Отлично подходит для корректировки подсказок и быстрого итерационного процесса, но может немного уменьшить микродетали. Отключите для окончательных, самых качественных рендеров.
KSampler (#31)Запускает диффузионные шаги и контролирует стохастичность через выбор семени и выборщика. Увеличьте шаги для большей детализации или зафиксируйте семя, чтобы воспроизвести вид, изменяя референсы. Если текстуры выглядят шумными, попробуйте другой выборщик или меньше шагов с более сильным руководством стилем.
Этот рабочий процесс реализует и опирается на следующие работы и ресурсы. Мы с благодарностью признаем ByteDance за модель USO и команду ComfyUI за учебник по рабочему процессу ByteDance USO ComfyUI Native Workflow за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.
