Step1X-Edit | Инструмент редактирования изображений с помощью ИИ

1. Что такое Step1X-Edit?

Step1X-Edit — это продвинутая модель редактирования изображений, разработанная StepFun AI, которая стремится предоставить производительность, сопоставимую с закрытыми моделями, такими как GPT-4o и Gemini2 Flash. Фреймворк Step1X-Edit сочетает семантические возможности Multimedia Large Language Models (MLLM) с архитектурой Diffusion in Transformer (DiT), чтобы обеспечить высококачественное редактирование изображений на основе инструкций.

Step1X-Edit превосходит в понимании инструкций на естественном языке и применении точных правок при сохранении целостности изображения. Модель Step1X-Edit была обучена на более чем 1 миллионе пар "инструкция-изображение" высокого качества, охватывающих 11 различных категорий редактирования, что делает её чрезвычайно универсальной для различных задач редактирования.

2. Преимущества ComfyUI Step1X-Edit:

• Отличное понимание инструкций: Step1X-Edit использует технологию MLLM для понимания сложных запросов на редактирование с нюансированным пониманием как текстового, так и визуального контента.
• Всесторонние возможности редактирования: Step1X-Edit обрабатывает 11 различных категорий редактирования, включая добавление/удаление объектов, изменение фона, изменения цвета, модификации материалов, изменения движения и многое другое.
• Высокая точность: Step1X-Edit поддерживает хороший баланс между реконструкцией эталонного изображения и следованием подсказкам редактирования, сохраняя качество изображения.
• Упрощённый рабочий процесс: Нет необходимости в масках в процессе редактирования, предлагая упрощённый пользовательский опыт Step1X-Edit.
• Альтернатива с открытым исходным кодом: Step1X-Edit предоставляет сопоставимые результаты с проприетарными моделями, оставаясь при этом полностью с открытым исходным кодом.

3. Руководство по быстрому старту

3.1 Системные требования

Step1X-Edit — это ресурсоёмкая модель, которая работает лучше всего с:

• VRAM: Рекомендуется 80GB для оптимальной производительности при разрешении 1024×1024
• Примечание: Облачный сервис GPU от RunComfy предоставляет всю необходимую вычислительную мощность для Step1X-Edit без необходимости установки. Просто выберите машину с достаточным VRAM из доступных вариантов.

3.2 Варианты рабочего процесса

Step1X-Edit предлагает две основные конфигурации рабочего процесса:

Обычный рабочий процесс (версия для нереальных людей)

• Лучше всего для: Общего редактирования объектов, сцен и нечеловеческих субъектов с Step1X-Edit
• Характеристики:
  • Простой 3-шаговый процесс: Загрузить изображение → Отредактировать с помощью Step1X-Edit → Сохранить результат
  • Отличная производительность для изменения текста, добавления/удаления объектов, переноса стиля, изменения фона и т.д.
  • Прямое редактирование без дополнительной обработки лиц
  

Рабочий процесс для реальных людей (расширенная версия)

• Лучше всего для: Редактирование изображений с человеческими лицами, где важно сохранить идентичность лица
• Характеристики:
  • Сочетает Step1X-Edit с дополнительным сохранением консистентности лиц
  • Использует Face Bounding Box и простое описание человека для улучшения сохранения идентичности
  • Лучше сохраняет черты идентичности, чем стандартный рабочий процесс Step1X-Edit
  

3.3 Справочник по параметрам

Основные параметры узла Step1X-Edit:

• cfg: Масштаб руководства, обычно около 6.0 (выше = больше следования подсказке)
• size_level: Контролирует разрешение выхода (512, 768 или 1024)
• num_steps: Количество шагов диффузии (обычно 20-31)
• mllm_model: Модель языкового зрения (по умолчанию: Qwen2.5-VL-7B-Instruct)

Для рабочего процесса с реальными людьми дополнительные параметры:

• Face Bounding Box Node (из FaceAnalysis):
  • Index: Управление обнаружением лиц
    • -1: Обнаружить все лица (по умолчанию)
    • 0: Выбрать только самое большое лицо
    • 1: Выбрать второе по величине лицо
    • Тщательно проверяйте рабочий процесс при обработке нескольких лиц
  • padding: Дополнительное пространство вокруг лица (по умолчанию: 0)
  • padding_percent: Процентная подкладка (по умолчанию: 0.30)

3.4 Категории задач редактирования

Step1X-Edit был специально оптимизирован для следующих 11 категорий редактирования:

1. Добавление объекта: Добавьте новые объекты или людей в сцену с помощью Step1X-Edit
2. Удаление объекта: Удалите нежелательные элементы из изображения с помощью Step1X-Edit
3. Замена объекта: Замените один объект на другой с помощью Step1X-Edit
4. Изменение фона: Измените или замените фон, сохраняя передние элементы
5. Изменение цвета: Измените определённые цвета в изображении с помощью Step1X-Edit
6. Модификация материала: Преобразуйте свойства материалов объектов (например, стекло в металл)
7. Изменение движения: Измените положение или позу объектов с помощью Step1X-Edit
8. Украшение портрета: Улучшите или измените портреты с естественными улучшениями
9. Перенос стиля: Примените художественные стили к изображениям с помощью Step1X-Edit
10. Изменение текста: Редактируйте или заменяйте текст в изображениях с помощью Step1X-Edit
11. Преобразование тона: Настройте общий тон изображения, освещение или атмосферу

3.5 Пошаговое руководство по использованию

Обычный рабочий процесс (версия для нереальных людей)

1. Загрузите ваше изображение с помощью узла Load Image
2. Введите ваши инструкции по редактированию в узле Step1X-Edit
3. Настройте параметры при необходимости:
   • cfg: 6.0 — хороший выбор по умолчанию для Step1X-Edit
   • size_level: 512 для тестирования, 1024 для окончательных результатов
   • num_steps: 20-31 (больше шагов = лучшее качество, но медленнее)
4. Нажмите Run, чтобы обработать ваше редактирование с помощью Step1X-Edit

Рабочий процесс для реальных людей (редактирование лиц)

1. Загрузите ваше изображение с помощью узла Load Image
2. Введите простое описание человека в узле CR Prompt Text
   • Используйте только базовые термины, такие как "молодая женщина" или "мужчина"
   • Это помогает модели Step1X-Edit понять, кто изображён на изображении
3. Введите ваши инструкции по редактированию в узле Step1X-Edit
   • Будьте конкретны в том, что вы хотите изменить в человеке
4. Настройте параметры при необходимости:
   • Те же, что и в обычном рабочем процессе, плюс настройки обнаружения лиц при необходимости
5. Нажмите Run, чтобы обработать ваше редактирование с помощью Step1X-Edit
6. Посмотрите и скачайте результат

3.6 Советы для достижения лучших результатов

• Чёткие инструкции: Будьте конкретны и лаконичны в ваших подсказках Step1X-Edit
• Размеры: Большие размеры (1024) обеспечивают лучшее качество, но требуют больше времени на обработку
• Обработка лиц: Используйте рабочий процесс для реальных людей при редактировании лиц с помощью Step1X-Edit
• Множественные правки: Для сложных правок рассмотрите возможность их разбивки на отдельные шаги
• Выбор рабочего процесса: Выберите подходящий рабочий процесс Step1X-Edit в зависимости от вашей темы
• Выбор машины: Выбирайте 2X Large (80GB VRAM) или 2XL Plus (80GB VRAM) для оптимальной производительности Step1X-Edit

4. Благодарности

Эта реализация основана на модели Step1X-Edit, разработанной командой StepFun AI (). Интеграция Step1X-Edit в ComfyUI была создана , делая эту мощную технологию доступной в среде ComfyUI.

RunComfy интегрировала технологию Step1X-Edit в простой в использовании облачный рабочий процесс, делая продвинутое редактирование изображений с помощью ИИ доступным без необходимости в локальной установке или высокопроизводительном оборудовании.

Искренние благодарности оригинальным авторам и разработчику интеграции ComfyUI за предоставление этого инструмента сообществу.