Flujo de trabajo de composición de imágenes Omni Kontext para ComfyUI#
Este flujo de trabajo te permite agregar un sujeto a una nueva escena con fuerte preservación de identidad y contexto utilizando Omni Kontext. Combina parches de modelo Flux Omni Kontext con condicionamiento guiado por referencia para que un personaje o producto proporcionado se mezcle naturalmente en un fondo objetivo mientras respeta tu indicación. Se incluyen dos rutas paralelas: una ruta estándar de Flux para máxima fidelidad y una ruta Nunchaku para muestreo más rápido y amigable con la memoria con pesos cuantizados.
Los creadores que deseen activos de marca consistentes, intercambios de productos o colocaciones de personajes encontrarán esto especialmente útil. Proporcionas una imagen de sujeto limpia, una imagen de escena y una breve indicación, y el gráfico maneja la extracción de contexto, la guía, el estilo LoRA y la decodificación para producir un compuesto coherente.
Modelos clave en el flujo de trabajo ComfyUI Omni Kontext#
- FLUX.1 Dev – La columna vertebral del transformador de difusión utilizada para la generación. Ofrece una fuerte adherencia a las indicaciones y un comportamiento de muestreo moderno adecuado para la composición consciente del contexto. Model card
- Codificadores de texto Flux (CLIP-L y T5-XXL) – Codificadores emparejados que tokenizan e incrustan tu texto en un condicionamiento adecuado para FLUX. El flujo de trabajo carga variantes
clip_l.safetensorsyt5xxloptimizadas para Flux. Encoders - Nodos Omni Kontext – Nodos personalizados que parchean el modelo y el condicionamiento para inyectar contexto desde tu sujeto latente en el flujo de guía final. Repository
- Nunchaku Flux DiT – Cargador opcional que admite pesos FLUX cuantizados FP16/BF16 e INT4 para velocidad y menor VRAM mientras mantiene una calidad competitiva. Repository
- Lumina VAE – Un VAE robusto utilizado para codificar las imágenes de sujeto y escena y decodificar los resultados finales. El flujo de trabajo referencia
ae.safetensorsde Lumina Image 2.0 reempaquetado. VAE
Cómo usar el flujo de trabajo ComfyUI Omni Kontext#
El gráfico tiene dos carriles espejados: el carril superior es la ruta estándar de Flux Omni Kontext, y el carril inferior es la ruta Nunchaku. Ambos aceptan una imagen de sujeto y una imagen de escena, construyen un condicionamiento consciente del contexto y muestrean con Flux para producir el compuesto.
Entradas#
Proporciona dos imágenes: una toma de sujeto limpia y una escena objetivo. El sujeto debe estar bien iluminado, centrado y sin obstrucciones para maximizar la transferencia de identidad. La escena debe coincidir aproximadamente con tu ángulo de cámara y iluminación prevista. Cárgalas en los nodos etiquetados como "Character or Subject" y "Scene", luego mantenlas consistentes a lo largo de las ejecuciones mientras iteras en las indicaciones.
Cargar modelos#
El carril estándar carga Flux con UNETLoader (#37) y aplica el parche de modelo Omni Kontext con OminiKontextModelPatch (#194). El carril Nunchaku carga un modelo Flux cuantizado con NunchakuFluxDiTLoader (#217) y aplica NunchakuOminiKontextPatch (#216). Ambos carriles comparten los mismos codificadores de texto a través de DualCLIPLoader (#38) y el mismo VAE a través de VAELoader (#39 o #204). Si planeas usar estilos LoRA o identidades, mantenlos conectados en esta sección para que afecten los pesos del modelo antes del muestreo.
Indicación#
Escribe indicaciones concisas que le digan al sistema qué hacer con el sujeto. En el carril superior, CLIP Text Encode (Positive Prompt) (#6) impulsa la inserción o el estilo, y en el carril inferior CLIP Text Encode (Positive Prompt) (#210) juega el mismo papel. Indicaciones como "agregar el personaje a la imagen" o "ella lleva puesta esta chaqueta" funcionan bien. Evita descripciones demasiado largas; mantén lo esencial que deseas cambiar o mantener.
Condicionamiento#
Cada carril codifica el sujeto y la escena en latentes con VAEEncode, luego fusiona esos latentes con tu texto a través de ReferenceLatent y OminiKontextConditioning (#193 en el carril superior, #215 en el carril inferior). Este es el paso Omni Kontext que inyecta indicios significativos de identidad y espaciales desde la referencia al flujo de condicionamiento. Después de eso, FluxGuidance (#35 superior, #207 inferior) establece qué tan estrictamente sigue el modelo el condicionamiento compuesto. Las indicaciones negativas se simplifican con ConditioningZeroOut (#135, #202) para que puedas concentrarte en lo que deseas en lugar de lo que evitar.
Elegir Loras según el sujeto#
Si tu sujeto se beneficia de un LoRA, conéctalo antes del muestreo. El carril estándar utiliza LoraLoaderModelOnly (#201 y compañeros) y el carril Nunchaku utiliza NunchakuFluxLoraLoader (#219, #220, #221). Usa LoRAs de sujeto para consistencia de identidad o vestuario y LoRAs de estilo para dirección artística. Mantén las fortalezas moderadas para preservar el realismo de la escena mientras sigues reforzando los rasgos del sujeto.
Nunchaku#
Recurre al grupo Nunchaku cuando desees iteraciones más rápidas o tengas VRAM limitada. El NunchakuFluxDiTLoader (#217) admite configuraciones INT4 que reducen sustancialmente la memoria mientras mantiene el comportamiento "Flux Omni Kontext" a través de NunchakuOminiKontextPatch (#216). Aún puedes usar las mismas indicaciones, entradas y LoRAs, luego muestrear con KSampler (#213) y decodificar con VAEDecode (#208) para guardar resultados.
Nodos clave en el flujo de trabajo Comfyui Omni Kontext#
OminiKontextModelPatch (#194)#
Aplica las modificaciones del modelo Omni Kontext a la columna vertebral de Flux para que el contexto de referencia se respete durante el muestreo. Déjalo habilitado siempre que desees que la identidad del sujeto y los indicios espaciales se trasladen a la generación. Combina con una fuerza moderada de LoRA cuando uses LoRAs de personaje o producto para que el parche y LoRA no compitan.
OminiKontextConditioning (#193, #215)#
Fusiona tu condicionamiento de texto con latentes de referencia del sujeto y la escena. Si la identidad se desvía, aumenta el énfasis en la referencia del sujeto; si la escena está siendo anulada, disminúyelo ligeramente. Este nodo es el corazón de la composición Omni Kontext y generalmente solo necesita pequeños ajustes una vez que tus entradas están limpias.
FluxGuidance (#35, #207)#
Controla qué tan estrictamente sigue el modelo el condicionamiento compuesto. Valores más altos se acercan más a la indicación y referencia a costa de la espontaneidad; valores más bajos permiten más variedad. Si ves texturas sobrecargadas o pérdida de armonía con la escena, intenta una pequeña reducción aquí.
NunchakuFluxDiTLoader (#217)#
Carga una variante cuantizada de Flux DiT para velocidad y menor memoria. Elige INT4 para vistas rápidas y FP16 o BF16 para calidad final. Combina con NunchakuFluxLoraLoader cuando necesites soporte de LoRA en el carril Nunchaku.
Extras opcionales#
- Usa recortes ajustados de sujeto con fondos limpios para mejorar la captura de identidad durante la codificación VAE.
- Mantén las indicaciones cortas y concretas. Prefiere "agregar el producto a la mesa" sobre largas listas de estilo.
- Si el sujeto parece pegado, baja un poco la fuerza de LoRA y reduce ligeramente la guía para permitir que la escena reafirme la iluminación y la perspectiva.
- Para rondas rápidas, itera en el carril Nunchaku, luego regresa al carril estándar de Flux Omni Kontext para los renders finales.
- Guarda algunas semillas intermedias que funcionaron bien para que puedas reutilizarlas mientras refinas la fuerza de LoRA y la guía.
Agradecimientos#
- Omni Kontext por Saquib764. Este flujo de trabajo adapta conceptos y componentes del proyecto para habilitar la composición Flux Omni Kontext en ComfyUI. Repository
