JoyAI Image Edit ComfyUI | Умный AI Редактор Фото

JoyAI Image Edit ComfyUI: редактирование изображений, управляемое инструкциями, с сохранением структуры

Этот рабочий процесс обеспечивает быстрые, управляемые инструкциями редактирования одного эталонного изображения непосредственно в ComfyUI. Основан на стеке JoyAI‑Image‑Edit, он выполняет изменения, управляемые подсказками, такие как замена объектов и цветов, пространственные изменения и чистое отображение текста, сохраняя исходную композицию. JoyAI Image Edit ComfyUI идеально подходит для дизайнеров, продуктовых команд и создателей, которым нужны контролируемые редактирования без ручного маскирования.

Вы предоставляете одно изображение и короткую инструкцию, например, "Сделайте тарелку синей". Рабочий процесс направляет этот запрос через JoyAI Image Edit transformer, text encoder и VAE, затем возвращает отредактированное изображение, которое уважает границы компоновки и содержания. Это компактная, модельно-специфическая установка ComfyUI, ориентированная на предсказуемые результаты и воспроизводимость.

Основные модели в рабочем процессе Comfyui JoyAI Image Edit ComfyUI

• JoyAI‑Image‑Edit transformer. Основная модель редактирования, которая кондиционируется на вашей инструкции и эталонном изображении для создания изменений с сохранением структуры. Карточка модели: jdopensource/JoyAI-Image-Edit.
• JoyAI‑Image‑Edit text encoder и tokenizer. Кодирует инструкцию редактирования в векторы, которые может следовать трансформер. Реализация и использование находятся в кодовой базе JoyAI Image: jd-opensource/JoyAI-Image.
• VAE для JoyAI Image Edit. Сжимает и восстанавливает изображения для редактирования и декодирования, способствуя сохранению цветопередачи и деталей. Рабочий процесс ссылается на контрольную точку Wan 2.1 VAE, включенную в стек JoyAI.

Как использовать рабочий процесс Comfyui JoyAI Image Edit ComfyUI

Конвейер работает слева направо: загрузите исходное изображение, напишите инструкцию, загрузите стек JoyAI, выполните редактирование, затем сохраните. Вам не нужен маск для типичных редактирований, и рабочий процесс разработан для воспроизводимых результатов.

• Подготовьте исходное изображение
  • Загрузите свой эталон с помощью LoadImage (#6). Используйте чистое, хорошо освещенное изображение для наилучших результатов и держите объект разумно по центру. Если вы хотите точно сохранить обрамление, обрежьте источник заранее, а не меняйте размер холста позже. Рабочий процесс передает это изображение непосредственно на этап редактирования, так что его структура закрепляет результат.
• Напишите инструкцию по редактированию
  • Введите ваш запрос в Prompt (#4) и при необходимости определите исключения в Negative Prompt (#5). Держите инструкции короткими, конкретными и действенными, например, "сделать кружку красной", "заменить небо на закат" или "добавить текст JOYAI на блокнот". Отрицательные подсказки помогают избежать нежелательных цветов, объектов или стилей. JoyAI Image Edit ComfyUI уважает инструкцию, сохраняя согласованность компоновки с оригиналом.
• Загрузите стек JoyAI
  • Компоненты модели загружаются JoyAIImageEditTransformerLoader (#1), JoyAIImageEditTextEncoderLoader (#2) и JoyAIImageEditVAELoader (#3). Эти узлы загружают веса трансформера, текстовый энкодер и токенайзер, а также VAE, который управляет кодированием и декодированием изображений. Обычно вам не нужно менять их, если только вы не меняете контрольные точки для другого вида или поведения. Сохранение этой тройки согласованной гарантирует, что семантика инструкции, геометрия и цветовое пространство остаются стабильными.
• Выполните редактирование
  • JoyAIImageEditPipeline (#7) сливает ваше исходное изображение с векторами инструкции, чтобы сгенерировать отредактированный результат. Конвейер балансирует силу инструкции с сохранением структуры, чтобы объекты оставались на своих местах, в то время как их атрибуты меняются по запросу. Используйте фиксированное зерно для воспроизводимости или меняйте зерна, чтобы исследовать вариации. Если вам нужны более четкие буквы или тонкие края, увеличьте настройки качества в сэмплере, сохраняя разумный размер изображения относительно вашего источника.
• Сохраните и просмотрите
  • SaveImage (#8) записывает отредактированный вывод. Используйте именования версий, чтобы сравнивать запуски бок о бок и держите зерно в названии файла или заметках, чтобы вы могли воспроизвести любимый результат. При итерации изменяйте только один контроль за раз, чтобы видеть четкую причину и следствие.

Ключевые узлы в рабочем процессе Comfyui JoyAI Image Edit ComfyUI

• JoyAIImageEditPipeline (#7)
  • Центральный оркестратор, который применяет инструкцию к эталонному изображению с использованием трансформера JoyAI, текстового энкодера и VAE. Настройте prompt и negative_prompt сначала. Используйте фиксированное seed для детерминированных повторных запусков, затем изменяйте его для исследования альтернатив. Балансируйте силу инструкции и качество выборки для обмена скоростью на точность, и держите размеры вывода близкими к исходному соотношению сторон, чтобы сохранить компоновку.
• JoyAIImageEditTransformerLoader (#1)
  • Загружает контрольную точку трансформера JoyAI‑Image‑Edit, которая определяет, насколько сильно и чисто редактирования следуют вашему тексту. Замена этого веса может существенно изменить стиль и отзывчивость. Пара трансформера и текстового энкодера из одного семейства выпусков, чтобы избежать несоответствий в векторах.
• JoyAIImageEditTextEncoderLoader (#2)
  • Предоставляет текстовый энкодер и токенайзер, которые переводят вашу инструкцию в модельно‑читаемые векторы. Ясные, краткие формулировки улучшают качество векторов. Настройки точности могут влиять на использование VRAM и скорость, поэтому выбирайте режим, который подходит вашему оборудованию и размеру партии.
• JoyAIImageEditVAELoader (#3)
  • Загружает VAE, который управляет тем, как изображения кодируются и декодируются вокруг редактирования. Различные VAE могут слегка изменять цвет и контраст, поэтому держите это постоянным на протяжении экспериментов, когда вы оцениваете подсказки. Если вы меняете VAE, пересмотрите ваши подсказки для повторного балансирования цветового описания.

Дополнительные возможности

• Создание подсказок
  • Предпочитайте однократные, четкие действия, такие как "сделайте тарелку синей", вместо многошаговых абзацев. Точно называйте видимые объекты и используйте единственные существительные при редактировании атрибутов. Для пространственных редактирований закрепите запрос с предлогами, такими как "на столе", "на заднем плане" или "на стене".
• Разрешение и компоновка
  • Сохраняйте исходное соотношение сторон, чтобы поддерживать геометрию. Увеличивайте после редактирования, если вам нужны более крупные результаты, а не стремитесь к экстремальному разрешению редактирования.
• Воспроизводимость
  • Держите фиксированное зерно при сравнении вариаций подсказок, затем разблокируйте зерно для примера альтернатив, когда вы удовлетворены.
• Ссылки и источники
  • Карточка модели и веса: jdopensource/JoyAI-Image-Edit
  • Детали реализации и обновления: jd-opensource/JoyAI-Image
  • Шаблон графа ComfyUI, используемый в этом проекте: joyai_image_comfyui

Благодарности

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем jd-opensource за репозиторий JoyAI-Image, jd-opensource за рабочий процесс JoyAI-Image ComfyUI и jdopensource за модель JoyAI-Image-Edit за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обращайтесь к оригинальной документации и репозиториям, связанным ниже.

Ресурсы

• jd-opensource/JoyAI-Image
  • GitHub: jd-opensource/JoyAI-Image
• jd-opensource/joyai_image_comfyui
  • GitHub: jd-opensource/JoyAI-Image
• jdopensource/JoyAI-Image-Edit
  • Hugging Face: jdopensource/JoyAI-Image-Edit

Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.