IC-Light | Изменение освещения изображений

1. Что такое IC-Light?

IC-Light — это инструмент для редактирования изображений на основе ИИ, который интегрируется с моделями Stable Diffusion для выполнения локализованных изменений на сгенерированных изображениях. Он работает путем кодирования изображения в представление латентного пространства, применения изменений к определенным регионам, а затем декодирования измененного латентного представления обратно в изображение. Этот подход позволяет точно контролировать процесс редактирования, сохраняя общий стиль и согласованность оригинального изображения.

Теперь выпущены две модели: модель изменения освещения на основе текста и модель на основе фона. Обе модели принимают изображения переднего плана в качестве входных данных.

2. Как работает IC-Light

Под капотом IC-Light использует мощь моделей Stable Diffusion для кодирования и декодирования изображений. Процесс можно разбить на следующие этапы:

2.1. Кодирование: Входное изображение проходит через Stable Diffusion VAE (Вариационный Автокодировщик), чтобы получить сжатое представление латентного пространства. 2.2. Редактирование: Необходимые изменения применяются к определенным регионам латентного представления. Обычно это делается путем объединения оригинального латентного представления с маской, указывающей области для изменения, и соответствующими подсказками для редактирования. 2.3. Декодирование: Измененное латентное представление проходит через декодер Stable Diffusion для реконструкции отредактированного изображения. Работая в латентном пространстве, IC-Light может выполнять локализованные изменения, сохраняя при этом общую согласованность и стиль изображения.

3. Как использовать ComfyUI IC-Light

Основной узел, с которым вы будете работать, это "IC-Light Apply", который обрабатывает весь процесс кодирования, редактирования и декодирования вашего изображения.

3.1. Входные параметры "IC-Light Apply":

Узел "IC-Light Apply" требует три основных входных данных:

• model: Это базовая модель Stable Diffusion, которая будет использоваться для кодирования и декодирования вашего изображения.
• ic_model: Это предварительно обученная модель IC-Light, содержащая необходимые веса для процесса редактирования.
• c_concat: Это специальный вход, который объединяет ваше оригинальное изображение, маску, указывающую области для редактирования, и подсказки для редактирования, определяющие, как эти области должны быть изменены.

Для создания входа c_concat:

1. Используйте узел VAEEncodeArgMax для кодирования вашего оригинального изображения. Этот узел обеспечивает получение наиболее вероятного латентного представления вашего изображения.
2. Используйте узел ICLightApplyMaskGrey для создания маскированной версии вашего изображения. Этот узел принимает ваше оригинальное изображение и маску в качестве входных данных и выводит версию изображения, где немаскированные области закрашены серым.
3. Создайте латентные представления ваших подсказок для редактирования. Эти подсказки будут направлять изменения, вносимые в выбранные области вашего изображения.
4. Объедините латентные представления вашего оригинального изображения, маски и подсказок для редактирования в один вход для узла "IC-Light Apply".

3.2. Выходные параметры "IC-Light Apply":

После обработки ваших входных данных узел "IC-Light Apply" выведет один параметр:

• model: Это исправленная модель Stable Diffusion с примененными изменениями IC-Light.

Чтобы сгенерировать ваше окончательное отредактированное изображение, просто подключите выходную модель к соответствующим узлам в вашем рабочем процессе ComfyUI, таким как узел KSampler и узел VAEDecode.

3.3. Советы для достижения наилучших результатов:

1. Используйте качественные маски: Чтобы ваши изменения были точными и эффективными, убедитесь, что ваши маски точно очерчивают области, которые вы хотите изменить.
2. Экспериментируйте с различными подсказками для редактирования: Подсказки для редактирования направляют изменения, вносимые в выбранные области вашего изображения. Не стесняйтесь пробовать разные подсказки для достижения желаемого эффекта и уточнять их на основе полученных результатов.
3. Балансируйте глобальные и локальные изменения: Хотя IC-Light отлично подходит для локализованных изменений, важно учитывать общую композицию и согласованность вашего изображения. Постарайтесь найти баланс между фокусированными изменениями и глобальными корректировками, чтобы сохранить целостность вашего сгенерированного произведения искусства.

Для получения дополнительной информации, пожалуйста, посетите github