IC-Light | Reiluminación de Imágenes

1. ¿Qué es IC-Light?

IC-Light es una herramienta de edición de imágenes basada en IA que se integra con modelos Stable Diffusion para realizar ediciones localizadas en imágenes generadas. Funciona codificando la imagen en una representación de espacio latente, aplicando ediciones a regiones específicas y luego decodificando la representación latente modificada de vuelta a una imagen. Este enfoque permite un control preciso sobre el proceso de edición mientras se preserva el estilo general y la coherencia de la imagen original.

Ahora hay dos modelos lanzados: modelo de reiluminación condicionado por texto y modelo condicionado por fondo. Ambos tipos toman imágenes de primer plano como entradas.

2. Cómo Funciona IC-Light

Bajo el capó, IC-Light aprovecha el poder de los modelos Stable Diffusion para codificar y decodificar imágenes. El proceso se puede dividir en los siguientes pasos:

2.1. Codificación: La imagen de entrada se pasa a través del VAE (Variational Autoencoder) de Stable Diffusion para obtener una representación comprimida del espacio latente. 2.2. Edición: Las ediciones deseadas se aplican a regiones específicas de la representación latente. Esto se hace típicamente concatenando el latente original con una máscara que indica las áreas a modificar, junto con las indicaciones de edición correspondientes. 2.3. Decodificación: La representación latente modificada se pasa a través del decodificador de Stable Diffusion para reconstruir la imagen editada. Al operar en el espacio latente, IC-Light puede realizar ediciones localizadas mientras mantiene la coherencia y el estilo general de la imagen.

3. Cómo Usar ComfyUI IC-Light

El nodo principal con el que trabajará es el nodo "IC-Light Apply", que maneja todo el proceso de codificación, edición y decodificación de su imagen.

3.1. Parámetros de Entrada de "IC-Light Apply":

El nodo "IC-Light Apply" requiere tres entradas principales:

• model: Este es el modelo base de Stable Diffusion que se usará para codificar y decodificar su imagen.
• ic_model: Este es el modelo IC-Light preentrenado que contiene los pesos necesarios para el proceso de edición.
• c_concat: Esta es una entrada especial que combina su imagen original, la máscara que indica qué áreas editar y las indicaciones de edición que definen cómo deben modificarse esas áreas.

Para crear la entrada c_concat:

1. Use el nodo VAEEncodeArgMax para codificar su imagen original. Este nodo asegura que se obtenga la representación latente más probable de su imagen.
2. Use el nodo ICLightApplyMaskGrey para crear una versión enmascarada de su imagen. Este nodo toma su imagen original y una máscara como entrada, y genera una versión de la imagen donde las áreas no enmascaradas están en escala de grises.
3. Cree representaciones latentes de sus indicaciones de edición. Estas indicaciones guiarán las modificaciones realizadas en las regiones seleccionadas de su imagen.
4. Combine las representaciones latentes de su imagen original, máscara e indicaciones de edición en una sola entrada para el nodo "IC-Light Apply".

3.2. Parámetros de Salida de "IC-Light Apply":

Después de procesar sus entradas, el nodo "IC-Light Apply" generará un solo parámetro:

• model: Este es el modelo de Stable Diffusion parcheado con las modificaciones de IC-Light aplicadas.

Para generar su imagen final editada, simplemente conecte el modelo de salida a los nodos apropiados en su flujo de trabajo de ComfyUI, como los nodos KSampler y VAEDecode.

3.3. Consejos para Obtener los Mejores Resultados:

1. Use máscaras de alta calidad: Para asegurarse de que sus ediciones sean precisas y efectivas, asegúrese de que sus máscaras delimiten con precisión las regiones que desea modificar.
2. Experimente con diferentes indicaciones de edición: Las indicaciones de edición son las que guían las modificaciones realizadas en las regiones seleccionadas de su imagen. Siéntase libre de probar diferentes indicaciones para lograr el efecto deseado y no dude en refinar sus indicaciones según los resultados que obtenga.
3. Equilibre las ediciones globales y locales: Si bien IC-Light es excelente para realizar ediciones localizadas, es importante considerar la composición general y la coherencia de su imagen. Trate de encontrar un equilibrio entre ediciones enfocadas y ajustes globales para mantener la integridad de su obra de arte generada.

Para más información, por favor visite github