ICEdit | Быстрое редактирование изображений ИИ с использованием Nunchaku

1. Что такое рабочий процесс ComfyUI ICEdit?

Рабочий процесс ComfyUI ICEdit-Nunchaku интегрирует инновационную платформу In-Context Edit (ICEdit) с оптимизацией Nunchaku для ультрабыстрого редактирования изображений. Разработанный исследователями из Чжэцзянского университета и Гарвардского университета, ICEdit обеспечивает высококачественное редактирование изображений с использованием естественного языка с впечатляющей эффективностью. Основан на трансформере FLUX и использует принципы обучения в контексте ICEdit, этот рабочий процесс сохраняет идентичность объектов, позволяя гибкие модификации на основе текстовых инструкций. Рабочий процесс ICEdit представляет собой оптимальное решение для редактирования изображений ИИ, обеспечивая точные результаты с минимальными ресурсами GPU.

2. Преимущества ComfyUI ICEdit:

• Исключительная эффективность: ICEdit достигает качественного редактирования, используя всего 0,5% данных обучения и 1% параметров, требуемых предыдущими методами.
• Ультрабыстрая производительность: Интеграция ICEdit-Nunchaku позволяет высокоскоростное редактирование даже на системах с 4GB VRAM.
• Сохранение идентичности: ICEdit сохраняет идентичность объектов даже при значительных изменениях стиля или атрибутов.
• Инструкции на естественном языке: Редактируйте изображения с помощью простых текстовых подсказок с интуитивно понятной системой инструкций ICEdit.
• Многошаговое редактирование: ICEdit поддерживает последовательные операции редактирования на одном изображении для сложных трансформаций.
• Высокое разрешение вывода: Рабочий процесс ICEdit включает три различных метода увеличения для обеспечения высококачественных результатов.

3. Использование ICEdit для редактирования изображений

Начало работы:

1. Ввод изображения:
   • Загрузите изображение-источник с помощью основного узла Load Image, расположенного в нижнем левом углу рабочего процесса ICEdit
   • Это основной вход для изображения, которое вы хотите редактировать с помощью ICEdit
   • Рабочий процесс ICEdit автоматически обработает ваше изображение до необходимых размеров (ширина 512px)
   • Для лучших результатов ICEdit используйте квадратные изображения, так как неквадратные изображения могут быть обрезаны по центру во время обработки
   • Профессиональный совет: Для более высокой успешности ICEdit щелкните правой кнопкой мыши на узле Load Image и выберите "Open in MaskEditor", чтобы вручную создать маску вокруг области, которую вы хотите редактировать
   
2. Использование редактора масок с ICEdit (необязательно, но рекомендуется):
   • В MaskEditor используйте инструменты кисти, чтобы нарисовать маску вокруг конкретной области, которую вы хотите изменить с помощью ICEdit
   • Это поможет направить внимание ICEdit на соответствующие части изображения
   • Используйте различные настройки кисти (толщина, непрозрачность, жесткость) для точного контроля
   • Нажмите "Save", когда закончите, чтобы применить вашу пользовательскую маску к рабочему процессу ICEdit
   • Этот шаг значительно улучшает успешность ICEdit при детальных или специфических изменениях
3. Ввод ваших инструкций ICEdit:
   • Найдите узел String с красной подсветкой в центре рабочего процесса ICEdit
   • Введите желаемую инструкцию ICEdit в это поле
   • Для передачи стиля просто введите инструкции, такие как "Convert the image into Ghibli style" или "Convert to anime illustration and maintain shirt be pink, hair be brown"
   • Оставьте другой узел String с фиксированным префиксом неизменным - он содержит необходимый контекст, который делает ICEdit правильно работать
   • Рабочий процесс автоматически объединит вашу инструкцию с необходимым префиксом для оптимальной обработки ICEdit
   
4. Запуск рабочего процесса ICEdit:
   • После загрузки изображения и ввода вашей инструкции редактирования нажмите run, чтобы начать обработку ICEdit
   • Рабочий процесс ICEdit создаст отредактированное изображение через несколько этапов обработки

4. Справочник по параметрам ICEdit

Настройки параметров ICEdit:

1. Nunchaku FLUX.1 LoRA Loader для ICEdit:
   • lora_strength: 1.00-1.18 (можно настроить для интенсивности эффекта ICEdit, при этом 1.18 обеспечивает лучшие общие результаты)
2. Настройки ICEdit KSamplerAdvanced:
   • Первый KSampler: по умолчанию 30 шагов, euler sampler, CFG 7
     • Настройка CFG: более высокие значения (8-15) более строго следуют инструкциям, более низкие значения (3-5) увеличивают креативность
     • Настройка шагов: больше шагов улучшает детализацию, но увеличивает время обработки
   • Второй KSampler: по умолчанию 25 шагов для увеличения с бета-планировщиком
   • Третий KSampler: по умолчанию 30 шагов, kl_optimal sampler для сохранения деталей лица и текстуры
     • Эти параметры можно настроить в зависимости от ваших конкретных потребностей редактирования
3. Конфигурация увеличения ICEdit:
   • Рабочий процесс ICEdit включает три метода увеличения:
     • Увеличение на основе моделей с использованием специализированных моделей, таких как 2xNomosUni
     • ImageScaleBy для улучшения деталей с масштабированием lanczos
     • KL-optimal sampling для высококачественного восстановления ICEdit (помогает сохранить черты лица)
   • Если вы используете модели увеличения в 4 раза, рассмотрите возможность изменения коэффициента масштабирования на 0.5, чтобы избежать артефактов в больших результатах ICEdit
4. FluxGuidance в ICEdit:
   • Рабочий процесс ICEdit имеет несколько узлов FluxGuidance в разных секциях, контролирующих силу руководства
   • FluxGuidance преобразования стиля: контролирует, насколько точно перенос стиля ICEdit следует вашим инструкциям
   • FluxGuidance редактирования изображений: правая сторона показывает значение 4.0, балансируя качество и точность ICEdit
   • Более высокие значения делают ICEdit более точным следованием инструкциям, но могут повлиять на качество изображения
   • Более низкие значения предоставляют больше творческой свободы, но могут привести к менее точным результатам ICEdit
5. Интеграция Redux с ICEdit (необязательно):
   • Рабочий процесс ICEdit включает возможности тонкой настройки стиля Redux, но это необязательно
   • При использовании Redux для переноса стиля ICEdit, вы можете изменить на get_condition1, хотя результаты могут варьироваться

5. Примеры задач редактирования ICEdit

ICEdit отлично справляется с различными операциями редактирования, включая:

• Передача стиля с ICEdit: "Convert the image into anime illustration"
• Изменение цвета с использованием ICEdit: "Change the blue shirt to green"
• Изменение одежды с ICEdit: "Change the blue shirt to denim jacket"
• Добавление аксессуаров через ICEdit: "Add sunglasses", "This girl wears a white watch"
• Удаление аксессуаров с ICEdit: "Remove picture on the wall"
• Изменение фона с использованием ICEdit: "Girl is on the beach, colorful cloud in the sky"
• Манипуляция объектами с помощью ICEdit: "Hand holding a durian"
• Операции с текстом/водяными знаками с ICEdit: "Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• Многоэлементное редактирование с ICEdit: "Convert to Ghibli style"

6. Продвинутые советы для лучших результатов ICEdit

ICEdit Prompt Engineering:

• Будьте конкретными и краткими в ваших инструкциях ICEdit
• Для передачи стиля ICEdit включайте детали, которые вы хотите сохранить
• Используйте четкий описательный язык для лучших результатов ICEdit
• При изменении фонов с ICEdit будьте конкретны по размещению

Советы по оптимизации ICEdit:

• Если вы сталкиваетесь с неудовлетворительными результатами ICEdit, попробуйте изменить значение seed (это критически важно для успеха)
• Для сложных изменений ICEdit рассмотрите возможность их разделения на несколько простых шагов редактирования
• Настройте lora_strength для контроля интенсивности эффектов ICEdit

Управление отказами ICEdit:

• ICEdit лучше всего работает с реалистичными фотографиями; результаты могут варьироваться с нереалистичными входами
• Задачи удаления объектов с ICEdit имеют более низкие показатели успеха, чем добавления или модификации
• Если попытка ICEdit не удалась, попробуйте переформулировать инструкцию или использовать другое значение seed

7. Благодарности и признания

Этот рабочий процесс основан на передовой платформе ICEdit, разработанной Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, и Yi Yang из ReLER, CCAI, Чжэцзянского университета и Гарвардского университета. Особая благодарность judian17 за реализацию ComfyUI-nunchaku.

Рабочий процесс использует специально адаптированную версию ICEdit-MoE-LoRA, где экспертные слои были усреднены по весу для совместимости, обеспечивая высококачественную обработку ICEdit с минимальными вычислительными ресурсами.

Для получения дополнительной информации о ICEdit, пожалуйста, посетите:

• Страница проекта: