ICEdit | Быстрое редактирование изображений AI с Nunchaku

1. Что такое ComfyUI ICEdit Workflow?

Рабочий процесс ComfyUI ICEdit-Nunchaku интегрирует инновационную платформу In-Context Edit (ICEdit) с оптимизацией Nunchaku для ультрабыстрого редактирования изображений. Разработанный исследователями из Чжэцзянского университета и Гарвардского университета, ICEdit обеспечивает высококачественное редактирование изображений с поразительной эффективностью. Основанный на FLUX diffusion transformer и использующий принципы обучения ICEdit в контексте, этот рабочий процесс сохраняет особенности идентичности, позволяя гибко модифицировать изображения на основе инструкций на естественном языке. Рабочий процесс ICEdit представляет собой оптимальное решение для редактирования изображений AI, обеспечивая точные результаты с минимальными ресурсами GPU.

2. Преимущества ComfyUI ICEdit:

• Исключительная эффективность: ICEdit достигает качественного редактирования, используя всего 0,5% тренировочных данных и 1% параметров, необходимых предыдущими методами.
• Ультрабыстрая производительность: Интеграция ICEdit-Nunchaku позволяет высокоскоростное редактирование даже на системах с 4GB VRAM.
• Сохранение идентичности: ICEdit сохраняет идентичность объекта даже при значительных изменениях стиля или атрибутов.
• Инструкции на естественном языке: Редактируйте изображения, используя простые текстовые подсказки с интуитивной системой инструкций ICEdit.
• Многоступенчатое редактирование: ICEdit поддерживает последовательные операции редактирования на одном и том же изображении для сложных трансформаций.
• Выход высокого разрешения: Рабочий процесс ICEdit включает три различных метода увеличения разрешения для получения высококачественных результатов.

3. Использование ICEdit для редактирования изображений

Начало работы:

1. Ввод изображения:
   • Загрузите исходное изображение, используя основной узел Load Image, расположенный в нижнем левом углу рабочего процесса ICEdit
   • Это основной вход для изображения, которое вы хотите отредактировать с помощью ICEdit
   • Рабочий процесс ICEdit автоматически обработает ваше изображение до необходимых размеров (ширина 512px)
   • Для лучших результатов ICEdit используйте квадратные изображения, по возможности, так как неквадратные изображения могут быть обрезаны по центру во время обработки
   • Совет профессионала: Для повышения успехов ICEdit, щелкните правой кнопкой мыши на узле Load Image и выберите "Open in MaskEditor", чтобы вручную создать маску вокруг области, которую вы хотите отредактировать
   
2. Использование редактора масок с ICEdit (необязательно, но рекомендуется):
   • В MaskEditor используйте инструменты кисти, чтобы нарисовать маску вокруг конкретной области, которую вы хотите изменить с помощью ICEdit
   • Это помогает ICEdit сосредоточиться на соответствующих частях изображения
   • Используйте различные настройки кисти (толщина, непрозрачность, жесткость) для точного контроля
   • Нажмите "Save", когда закончите, чтобы применить вашу пользовательскую маску к рабочему процессу ICEdit
   • Этот шаг значительно улучшает успехи ICEdit для детальных или специфических изменений
3. Ввод ваших инструкций ICEdit:
   • Найдите узел ввода String с красным выделением в центре рабочего процесса ICEdit
   • Введите желаемую инструкцию ICEdit в это поле
   • Для переноса стиля просто введите инструкции, такие как "Convert the image into Ghibli style" или "Convert to anime illustration and maintain shirt be pink, hair be brown"
   • Оставьте другой узел String с фиксированным префиксом без изменений - это содержит необходимый контекст, который делает ICEdit работать правильно
   • Рабочий процесс автоматически объединит вашу инструкцию с необходимым префиксом для оптимальной обработки ICEdit
   
4. Запуск рабочего процесса ICEdit:
   • После загрузки вашего изображения и ввода инструкции для редактирования нажмите run, чтобы начать обработку ICEdit
   • Рабочий процесс ICEdit сгенерирует отредактированное изображение через несколько этапов обработки

4. Справочник по параметрам ICEdit

Настройки параметров ICEdit:

1. Nunchaku FLUX.1 LoRA Loader для ICEdit:
   • lora_strength: 1.00-1.18 (можно настроить для интенсивности эффекта ICEdit, с 1.18 обеспечивая наилучшие общие результаты)
2. Настройки ICEdit KSamplerAdvanced:
   • Первый KSampler: по умолчанию 30 шагов, euler sampler, CFG 7
     • Настройка CFG: более высокие значения (8-15) строго следуют инструкциям, более низкие значения (3-5) увеличивают креативность
     • Настройка шагов: больше шагов улучшают детальность, но увеличивают время обработки
   • Второй KSampler: по умолчанию 25 шагов для увеличения с beta scheduler
   • Третий KSampler: по умолчанию 30 шагов, kl_optimal sampler для сохранения деталей лица и текстуры
     • Эти параметры можно настроить в зависимости от ваших конкретных потребностей в редактировании
3. Конфигурация увеличения ICEdit:
   • Рабочий процесс ICEdit включает три метода увеличения:
     • Увеличение на основе модели, используя специализированные модели, такие как 2xNomosUni
     • ImageScaleBy для улучшения деталей с помощью lanczos scaling
     • KL-optimal sampling для высококачественного восстановления ICEdit (помогает сохранить черты лица)
   • Если используете модели увеличения в 4 раза, рассмотрите возможность изменения коэффициента масштабирования на 0.5, чтобы предотвратить артефакты в больших результатах ICEdit
4. FluxGuidance в ICEdit:
   • Рабочий процесс ICEdit имеет несколько узлов FluxGuidance в разных секциях, контролирующих силу направляющих
   • FluxGuidance для преобразования стиля: контролирует, насколько точно перенос стиля ICEdit следует вашим инструкциям
   • FluxGuidance для редактирования изображений: правая сторона показывает значение 4.0, балансируя качество и точность ICEdit
   • Более высокие значения заставляют ICEdit следовать инструкциям более точно, но могут повлиять на качество изображения
   • Более низкие значения предоставляют больше творческой свободы, но могут привести к менее точным результатам ICEdit
5. Интеграция Redux с ICEdit (необязательно):
   • Рабочий процесс ICEdit включает возможности тонкой настройки стиля Redux, но это необязательно
   • При использовании Redux для переноса стиля ICEdit вы можете изменить на get_condition1, хотя результаты могут варьироваться

5. Примеры задач редактирования ICEdit

ICEdit превосходно справляется с различными операциями редактирования, включая:

• Перенос стиля с ICEdit: "Convert the image into anime illustration"
• Изменение цвета с помощью ICEdit: "Change the blue shirt to green"
• Модификации одежды с ICEdit: "Change the blue shirt to denim jacket"
• Добавление аксессуаров через ICEdit: "Add sunglasses", "This girl wears a white watch"
• Удаление аксессуаров с ICEdit: "Remove picture on the wall"
• Изменения фона с помощью ICEdit: "Girl is on the beach, colorful cloud in the sky"
• Манипуляции объектами через ICEdit: "Hand holding a durian"
• Операции с текстом/водяными знаками с ICEdit: "Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• Многоэлементное редактирование через ICEdit: "Convert to Ghibli style"

6. Продвинутые советы для лучших результатов ICEdit

Инженерия подсказок ICEdit:

• Будьте конкретны и лаконичны в ваших инструкциях ICEdit
• Для переноса стиля ICEdit включайте детали, которые вы хотите сохранить
• Используйте четкий описательный язык для лучших результатов ICEdit
• При изменении фонов с ICEdit будьте конкретны о расположении

Советы по оптимизации ICEdit:

• Если вы сталкиваетесь с неудовлетворительными результатами ICEdit, попробуйте изменить значение seed (это критично для успеха)
• Для сложных редактирований ICEdit рассмотрите возможность их разделения на несколько более простых шагов редактирования
• Настройте lora_strength, чтобы контролировать интенсивность эффектов ICEdit

Обработка неудач ICEdit:

• ICEdit работает лучше всего с реалистичными фотографиями; результаты могут варьироваться с нереалистичными входными данными
• Задачи по удалению объектов с ICEdit имеют более низкие успехи, чем их добавление или модификация
• Если попытка ICEdit не удалась, попробуйте переформулировать инструкцию или использовать другое значение seed

7. Благодарности и признания

Этот рабочий процесс основан на новаторской платформе ICEdit, разработанной Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, и Yi Yang из ReLER, CCAI, Чжэцзянского университета и Гарвардского университета. Особая благодарность judian17 за реализацию ComfyUI-nunchaku.

Рабочий процесс использует специально адаптированную версию ICEdit-MoE-LoRA, где экспертные слои были усреднены по весу для совместимости, что позволяет высококачественную обработку ICEdit с минимальными вычислительными ресурсами.

Для получения дополнительной информации о ICEdit, пожалуйста, посетите:

• Страница проекта: