Flujo de trabajo de composición de imágenes Omni Kontext para ComfyUI
Este flujo de trabajo te permite agregar un sujeto a una nueva escena con fuerte preservación de identidad y contexto utilizando Omni Kontext. Combina parches de modelo Flux Omni Kontext con condicionamiento guiado por referencia para que un personaje o producto proporcionado se mezcle naturalmente en un fondo objetivo mientras respeta tu indicación. Se incluyen dos rutas paralelas: una ruta estándar de Flux para máxima fidelidad y una ruta Nunchaku para muestreo más rápido y amigable con la memoria con pesos cuantizados.
Los creadores que deseen activos de marca consistentes, intercambios de productos o colocaciones de personajes encontrarán esto especialmente útil. Proporcionas una imagen de sujeto limpia, una imagen de escena y una breve indicación, y el gráfico maneja la extracción de contexto, la guía, el estilo LoRA y la decodificación para producir un compuesto coherente.
Modelos clave en el flujo de trabajo ComfyUI Omni Kontext
- FLUX.1 Dev – La columna vertebral del transformador de difusión utilizada para la generación. Ofrece una fuerte adherencia a las indicaciones y un comportamiento de muestreo moderno adecuado para la composición consciente del contexto. Model card
- Codificadores de texto Flux (CLIP-L y T5-XXL) – Codificadores emparejados que tokenizan e incrustan tu texto en un condicionamiento adecuado para FLUX. El flujo de trabajo carga variantes
clip_l.safetensorsyt5xxloptimizadas para Flux. Encoders - Nodos Omni Kontext – Nodos personalizados que parchean el modelo y el condicionamiento para inyectar contexto desde tu sujeto latente en el flujo de guía final. Repository
- Nunchaku Flux DiT – Cargador opcional que admite pesos FLUX cuantizados FP16/BF16 e INT4 para velocidad y menor VRAM mientras mantiene una calidad competitiva. Repository
- Lumina VAE – Un VAE robusto utilizado para codificar las imágenes de sujeto y escena y decodificar los resultados finales. El flujo de trabajo referencia
ae.safetensorsde Lumina Image 2.0 reempaquetado. VAE
Cómo usar el flujo de trabajo ComfyUI Omni Kontext
El gráfico tiene dos carriles espejados: el carril superior es la ruta estándar de Flux Omni Kontext, y el carril inferior es la ruta Nunchaku. Ambos aceptan una imagen de sujeto y una imagen de escena, construyen un condicionamiento consciente del contexto y muestrean con Flux para producir el compuesto.
Entradas
Proporciona dos imágenes: una toma de sujeto limpia y una escena objetivo. El sujeto debe estar bien iluminado, centrado y sin obstrucciones para maximizar la transferencia de identidad. La escena debe coincidir aproximadamente con tu ángulo de cámara y iluminación prevista. Cárgalas en los nodos etiquetados como "Character or Subject" y "Scene", luego mantenlas consistentes a lo largo de las ejecuciones mientras iteras en las indicaciones.
Cargar modelos
El carril estándar carga Flux con UNETLoader (#37) y aplica el parche de modelo Omni Kontext con OminiKontextModelPatch (#194). El carril Nunchaku carga un modelo Flux cuantizado con NunchakuFluxDiTLoader (#217) y aplica NunchakuOminiKontextPatch (#216). Ambos carriles comparten los mismos codificadores de texto a través de DualCLIPLoader (#38) y el mismo VAE a través de VAELoader (#39 o #204). Si planeas usar estilos LoRA o identidades, mantenlos conectados en esta sección para que afecten los pesos del modelo antes del muestreo.
Indicación
Escribe indicaciones concisas que le digan al sistema qué hacer con el sujeto. En el carril superior, CLIP Text Encode (Positive Prompt) (#6) impulsa la inserción o el estilo, y en el carril inferior CLIP Text Encode (Positive Prompt) (#210) juega el mismo papel. Indicaciones como "agregar el personaje a la imagen" o "ella lleva puesta esta chaqueta" funcionan bien. Evita descripciones demasiado largas; mantén lo esencial que deseas cambiar o mantener.
Condicionamiento
Cada carril codifica el sujeto y la escena en latentes con VAEEncode, luego fusiona esos latentes con tu texto a través de ReferenceLatent y OminiKontextConditioning (#193 en el carril superior, #215 en el carril inferior). Este es el paso Omni Kontext que inyecta indicios significativos de identidad y espaciales desde la referencia al flujo de condicionamiento. Después de eso, FluxGuidance (#35 superior, #207 inferior) establece qué tan estrictamente sigue el modelo el condicionamiento compuesto. Las indicaciones negativas se simplifican con ConditioningZeroOut (#135, #202) para que puedas concentrarte en lo que deseas en lugar de lo que evitar.
Elegir Loras según el sujeto
Si tu sujeto se beneficia de un LoRA, conéctalo antes del muestreo. El carril estándar utiliza LoraLoaderModelOnly (#201 y compañeros) y el carril Nunchaku utiliza NunchakuFluxLoraLoader (#219, #220, #221). Usa LoRAs de sujeto para consistencia de identidad o vestuario y LoRAs de estilo para dirección artística. Mantén las fortalezas moderadas para preservar el realismo de la escena mientras sigues reforzando los rasgos del sujeto.
Nunchaku
Recurre al grupo Nunchaku cuando desees iteraciones más rápidas o tengas VRAM limitada. El NunchakuFluxDiTLoader (#217) admite configuraciones INT4 que reducen sustancialmente la memoria mientras mantiene el comportamiento "Flux Omni Kontext" a través de NunchakuOminiKontextPatch (#216). Aún puedes usar las mismas indicaciones, entradas y LoRAs, luego muestrear con KSampler (#213) y decodificar con VAEDecode (#208) para guardar resultados.
Nodos clave en el flujo de trabajo Comfyui Omni Kontext
OminiKontextModelPatch (#194)
Aplica las modificaciones del modelo Omni Kontext a la columna vertebral de Flux para que el contexto de referencia se respete durante el muestreo. Déjalo habilitado siempre que desees que la identidad del sujeto y los indicios espaciales se trasladen a la generación. Combina con una fuerza moderada de LoRA cuando uses LoRAs de personaje o producto para que el parche y LoRA no compitan.
OminiKontextConditioning (#193, #215)
Fusiona tu condicionamiento de texto con latentes de referencia del sujeto y la escena. Si la identidad se desvía, aumenta el énfasis en la referencia del sujeto; si la escena está siendo anulada, disminúyelo ligeramente. Este nodo es el corazón de la composición Omni Kontext y generalmente solo necesita pequeños ajustes una vez que tus entradas están limpias.
FluxGuidance (#35, #207)
Controla qué tan estrictamente sigue el modelo el condicionamiento compuesto. Valores más altos se acercan más a la indicación y referencia a costa de la espontaneidad; valores más bajos permiten más variedad. Si ves texturas sobrecargadas o pérdida de armonía con la escena, intenta una pequeña reducción aquí.
NunchakuFluxDiTLoader (#217)
Carga una variante cuantizada de Flux DiT para velocidad y menor memoria. Elige INT4 para vistas rápidas y FP16 o BF16 para calidad final. Combina con NunchakuFluxLoraLoader cuando necesites soporte de LoRA en el carril Nunchaku.
Extras opcionales
- Usa recortes ajustados de sujeto con fondos limpios para mejorar la captura de identidad durante la codificación VAE.
- Mantén las indicaciones cortas y concretas. Prefiere "agregar el producto a la mesa" sobre largas listas de estilo.
- Si el sujeto parece pegado, baja un poco la fuerza de LoRA y reduce ligeramente la guía para permitir que la escena reafirme la iluminación y la perspectiva.
- Para rondas rápidas, itera en el carril Nunchaku, luego regresa al carril estándar de Flux Omni Kontext para los renders finales.
- Guarda algunas semillas intermedias que funcionaron bien para que puedas reutilizarlas mientras refinas la fuerza de LoRA y la guía.
Agradecimientos
- Omni Kontext por Saquib764. Este flujo de trabajo adapta conceptos y componentes del proyecto para habilitar la composición Flux Omni Kontext en ComfyUI. Repository
