ComfyUI IC-Light workflow para Reiluminación de Videos
Desbloquea todo el potencial de tus proyectos de video con el flujo de trabajo ComfyUI IC-Light, diseñado específicamente para mejorar la iluminación en tus videos de personajes "Human" utilizando un lightmap. Con ComfyUI IC-Light, puedes transformar fácilmente tus videos simplemente proporcionando tus prompts y elementos de lightmap, como formas y luces de neón. La herramienta creará un nuevo video con una iluminación significativamente mejorada.
CÓMO USAR el flujo de trabajo ComfyUI IC-Light
- Subir Video Fuente: Comienza subiendo el video que deseas mejorar.
- Subir Video de Mapa de Luz o Imagen Única de Mapa de Luz: Elige un video de mapa de luz o una imagen única para servir como tu nueva plantilla de iluminación.
- Ingresa Load Cap y otros Ajustes, los mismos ajustes deben estar en el Video del Mapa de Luz.
- Ingresa Prompts que describan tus nuevos ajustes de luz como Luz Solar o luces de neón.
- Selecciona Tu Modelo. Se prefiere un modelo realista.
- Cambia la Composición del Mapa de Luz y otros Ajustes si es necesario.
- Haz clic en render.
Las salidas se guardarán en ComfyUI > Outputs
Inputs_1 - Settings
Aquí tenemos 5 Ajustes:
- Sampler Steps: Determina el número total de pasos que KSampler toma para renderizar una imagen. No debe cambiarse. [Valor Predeterminado 26]
- Detail Enhancer: Aumenta los detalles minuciosos en el Render Final. [Usar valor Entre 0.1 y 1]
- Seed: Controla la Generación de Seed para cada KSampler.
- Sampler CFG: Controla los valores CFG de los KSampler.
- Refiner Upscale: Funciona como el valor de Highres Fix. [Usar entre 1.1 – 1.6 para mejores resultados]
Prompts
- Positive Prompt: Ingresa prompts que mejor describan tu Imagen con la nueva iluminación.
- Negative Prompts: Está configurado para dar los mejores resultados. Siéntete libre de editarlo.
- Clip Text Encode nodes: Ayuda a codificar texto para maximizar la calidad. Déjalo en “full”
Models and Loras
- Checkpoint: Elige cualquier modelo realista SD 1.5 para resultados precisos. Siéntete libre de elegir cualquier modelo SD 1.5 para resultados estilísticos.
- Loras: [Opcional] Elige cualquier lora de la lista si lo deseas. No los uses a plena potencia. Usa alrededor de 0.5-0.7 para mejor efecto
Input Source Video
- Subir Video Fuente: Aquí haces clic y subes tu video de personaje humano al que deseas cambiar la luz.
- Debe ser menor de 100 MB, Comfy fallará al subir archivos grandes.
- No debe durar más de 15-20 segundos. Puede fallar al renderizar videos más largos
- Debe ser en 720p o menor
- Usa los nodos de Skip Frames si necesitas saltar algunos fotogramas iniciales. [Los videos de Light Map también saltarán estos fotogramas]
- Fit Image Size Limiter: Aquí limitas la resolución de renderizado, ya sea en formato horizontal o vertical, la resolución máxima siempre será menor o igual al valor establecido.
- Usar valor entre 800 – 1200 para mejores resultados. [Esto impactará el Vram]
- Usar valor entre 800 – 1200 para mejores resultados. [Esto impactará el Vram]
Importante: Usa un Frames Load Cap de 10 para probar primero
- Usa alrededor de 200 - 300 fotogramas a 1000 – 1200 de tamaño, si tienes 24 GB.
- Usa 0 si deseas renderizar todos los fotogramas. [No Recomendado para videos largos]
Ajustes de Máscara y Profundidad
- Máscara: Utiliza el Robust Video Matting. Los ajustes predeterminados están bien.
- Depth ControlNet: Utiliza los últimos modelos DepthAnything v2.
- Strength y End Percent están configurados al 75% para dar resultados óptimos
- Usa Co Adaptor Depth para mejores resultados.
Mapa de Luz
- Subir Mapa de Luz: Haz clic y sube un video de mapa de luz que desees.
- Se ajustará automáticamente a las dimensiones del video fuente
- Asegúrate de que sea igual o mayor en duración a las dimensiones del video fuente, de lo contrario, dará error.
- Light Map ControlNet: Este mapa de luz también se utiliza como controlnet de luz usando este modelo
- CN Strength y End Percent: Usa valores bajos aquí, valores más altos pueden causar sobreexposición o transiciones de luz muy abruptas.
Mapa de Luz Único
- Para usar una imagen única como mapa de luz, desmutea estos nodos y conecta el nodo reroute al nodo “Pick one Input”.
AnimateDIff
- Cargar Modelo Animatediff: Puedes usar cualquier modelo para diferentes efectos.
- Otros nodos de Animatediff: Necesitas tener algún conocimiento de animatediff para cambiar otros ajustes Puedes encontrarlos [aquí ]
- Ajustes SMZ: Este nodo aumenta la calidad del Pipeline del modelo, todos los ajustes están predefinidos para funcionar bien.
Composición del Mapa de Luz y IC Conditioning
- Los nodos de ajuste superiores (en color gris) están ahí para controlar el Conditioning del IC-Light, para hacer que tenga menos contraste y controlar el brillo.
- Generar Nuevo Fondo: Cuando está deshabilitado, utilizará las entradas de imagen originales e intentará mapear los detalles similares al fondo del video fuente según los “Background Prompts” si están presentes en la caja de prompts positivos
[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
- Cuando Generar Nuevo Fondo está habilitado: Generará un nuevo fondo considerando la profundidad
[1girl, sunlight, sunset, nature in the background, sky]
También se disminuyó la Strength y End Percent del Depth ControlNet al 45% para tener un área abierta en el fondo.
- Light Map on Top: Cuando es True, el mapa de luz estará encima del video fuente y será más dominante. Cuando es False, el video fuente estará encima, será más dominante y más brillante.
- Subject Affecting Area: 2 modos de fusión funcionan mejor
- Multiply: Oscurecerá las áreas de sombra según el mapa de luz en la parte superior o inferior
- Screen: Iluminará el área de sombra según el mapa de luz en la parte superior o inferior
- Blend Factor es para la intensidad.
- Ajustes Generales: Esto controlará el brillo, contraste, gamma, tinte del Mapa de Luz Procesado Final de arriba.
- Image Remap: Usa este nodo para controlar el brillo y la oscuridad global de toda la imagen.
- Un valor mínimo más alto iluminará la escena
- Valores máximos más bajos oscurecerán la escena y pueden convertir las áreas más brillantes en objetos de morphing como el QrCode Monster CN
- Usar mayormente el valor mínimo a 0.1 o 0.2 para iluminar un poco una escena.
- Valor Mínimo 0 tendrá una sombra completamente negra para los píxeles negros del mapa de luz.
KSamplers (Raw y Refine)
IC Raw Ksampler: A diferencia de cualquier otro sampler, comienza en el paso 8 en lugar de cero, debido al IC-Light Condition (los fotogramas se deshacen del ruido desde el paso 8)
- Por ejemplo, un paso final de 20
- Paso de inicio en
- 0 no tendrá efecto del mapa de luz.
- 5 tendrá un efecto del 50 por ciento
- 10 tendrá un efecto del 100 por ciento.
- Por lo tanto, alrededor de 3-8 es un buen valor para probar.
Cuando Generar Nuevo Fondo es TRUE, puedes ir más bajo de 5 para mejores resultados
- Ksampler Refine: Funciona como un Refiner Img2Img después del IC raw sampler.
Para un paso final de 25
- Paso de inicio en
- 10 y menos funcionará como raw sampler y te dará objetos de morphing
- 15 funcionará como un refinador adecuado
- 20 no funcionará correctamente
- Más de 20 y más producirá resultados desordenados
- Por lo tanto, 16 por defecto es bueno.
Face Fix
- Upscale For Face Fix: Si tus caras no son satisfactorias después del face fix, puedes escalarlas a alrededor de 1.2 a 1.6 para tener mejores caras.
- Positive Prompt: Aquí puedes escribir los prompts para la cara. Está configurado a “smiling” por defecto. Puedes cambiarlo.
- Face Denoise: Usa alrededor de 0.35 – 0.45. En valores más altos la cara puede renderizarse incorrectamente y también puede surgir el problema de caras deslizantes.
Guardado
- Video Combine: Esto exportará todos los fotogramas en formato de video. Si este nodo falla al combinar, significa que hay demasiados fotogramas y se está quedando sin RAM. Reduce el frames load cap si esto sucede
- Se guardará en ComfyUI > Outputs por defecto.
- Cambiar Ruta de Salida: Desmutea este nodo si deseas guardar la salida en una ubicación de guardado personalizada
Sobre el autor de este flujo de trabajo
Jerry Davos
- Canal de YouTube: https://www.youtube.com/@jerrydavos
- Patreon: https://www.patreon.com/jerrydavos
Contactos
- Email: davos.jerry@gmail.com
- Discord: https://discord.gg/z9rgJyfPWJ
