Omni Kontext | Integração de Cena Sem Costura

Fluxo de trabalho de composição de imagem Omni Kontext para ComfyUI

Este fluxo de trabalho permite adicionar um sujeito em uma nova cena com forte preservação de identidade e contexto usando Omni Kontext. Ele combina patches de modelo Flux Omni Kontext com condicionamento guiado por referência para que um personagem ou produto fornecido se misture naturalmente em um fundo alvo, respeitando seu prompt. Dois caminhos paralelos estão incluídos: um caminho Flux padrão para máxima fidelidade e um caminho Nunchaku para amostragem mais rápida e amigável à memória com pesos quantizados.

Os criadores que desejam ativos de marca consistentes, trocas de produtos ou colocações de personagens acharão isso especialmente útil. Você fornece uma imagem limpa do sujeito, uma imagem de cena e um prompt curto, e o gráfico lida com extração de contexto, orientação, estilo LoRA e decodificação para produzir um composto coerente.

Modelos principais no fluxo de trabalho Comfyui Omni Kontext

• FLUX.1 Dev – A espinha dorsal do transformador de difusão usada para geração. Oferece forte aderência ao prompt e comportamento de amostrador moderno adequado para composição consciente do contexto.
• Codificadores de texto Flux (CLIP-L e T5-XXL) – Codificadores emparelhados que tokenizam e incorporam seu texto em condicionamento adequado para FLUX. O fluxo de trabalho carrega variantes clip_l.safetensors e t5xxl otimizadas para Flux.
• Nós Omni Kontext – Nós personalizados que corrigem o modelo e o condicionamento para injetar contexto do seu sujeito latente no fluxo de orientação final.
• Nunchaku Flux DiT – Carregador opcional que suporta pesos FLUX quantizados FP16/BF16 e INT4 para velocidade e menor VRAM enquanto mantém a qualidade competitiva.
• Lumina VAE – Um VAE robusto usado para codificar as imagens de sujeito e cena e decodificar saídas finais. O fluxo de trabalho referencia ae.safetensors do Lumina Image 2.0 repackaged.

Como usar o fluxo de trabalho Comfyui Omni Kontext

O gráfico possui duas pistas espelhadas: a pista superior é o caminho padrão Flux Omni Kontext, e a pista inferior é o caminho Nunchaku. Ambos aceitam uma imagem de sujeito e uma imagem de cena, constroem condicionamento consciente do contexto e amostram com Flux para produzir o composto.

Entradas

Forneça duas imagens: uma foto limpa do sujeito e uma cena alvo. O sujeito deve estar bem iluminado, centralizado e desobstruído para maximizar a transferência de identidade. A cena deve corresponder aproximadamente ao seu ângulo de câmera e iluminação pretendidos. Carregue-as nos nós rotulados como "Character or Subject" e "Scene," e mantenha-as consistentes em execuções enquanto você itera nos prompts.

Carregar modelos

A pista padrão carrega Flux com UNETLoader (#37) e aplica o patch de modelo Omni Kontext com OminiKontextModelPatch (#194). A pista Nunchaku carrega um modelo Flux quantizado com NunchakuFluxDiTLoader (#217) e aplica NunchakuOminiKontextPatch (#216). Ambas as pistas compartilham os mesmos codificadores de texto via DualCLIPLoader (#38) e o mesmo VAE via VAELoader (#39 ou #204). Se você planeja usar estilos ou identidades LoRA, mantenha-os conectados nesta seção para que afetem os pesos do modelo antes da amostragem.

Prompt

Escreva prompts concisos que digam ao sistema o que fazer com o sujeito. Na pista superior, CLIP Text Encode (Positive Prompt) (#6) conduz a inserção ou estilização, e na pista inferior CLIP Text Encode (Positive Prompt) (#210) desempenha o mesmo papel. Prompts como "add the character to the image" ou "she is wearing this jacket" funcionam bem. Evite descrições muito longas; mantenha o essencial que você quer mudar ou manter.

Condicionamento

Cada pista codifica o sujeito e a cena para latentes com VAEEncode, depois funde esses latentes com seu texto via ReferenceLatent e OminiKontextConditioning (#193 na pista superior, #215 na pista inferior). Este é o passo Omni Kontext que injeta dicas de identidade e espaciais significativas da referência no fluxo de condicionamento. Depois disso, FluxGuidance (#35 superior, #207 inferior) define quão fortemente o modelo segue o condicionamento composto. Prompts negativos são simplificados com ConditioningZeroOut (#135, #202) para que você possa se concentrar no que deseja em vez do que evitar.

Escolha Loras de acordo com o sujeito

Se o seu sujeito se beneficiar de um LoRA, conecte-o antes da amostragem. A pista padrão usa LoraLoaderModelOnly (#201 e companheiros) e a pista Nunchaku usa NunchakuFluxLoraLoader (#219, #220, #221). Use LoRAs de sujeito para consistência de identidade ou roupa e LoRAs de estilo para direção de arte. Mantenha as forças moderadas para preservar o realismo da cena enquanto ainda impõe traços do sujeito.

Nunchaku

Recorra ao grupo Nunchaku quando quiser iterações mais rápidas ou tiver VRAM limitada. O NunchakuFluxDiTLoader (#217) suporta configurações INT4 que reduzem substancialmente a memória enquanto mantém o comportamento "Flux Omni Kontext" via NunchakuOminiKontextPatch (#216). Você ainda pode usar os mesmos prompts, entradas e LoRAs, depois amostrar com KSampler (#213) e decodificar com VAEDecode (#208) para salvar os resultados.

Nós principais no fluxo de trabalho Comfyui Omni Kontext

OminiKontextModelPatch (#194)

Aplica as modificações do modelo Omni Kontext à espinha dorsal do Flux para que o contexto de referência seja respeitado durante a amostragem. Deixe habilitado sempre que quiser que a identidade do sujeito e as dicas espaciais sejam carregadas na geração. Combine com uma força LoRA moderada ao usar LoRAs de personagem ou produto para que o patch e o LoRA não concorram.

OminiKontextConditioning (#193, #215)

Funde seu condicionamento de texto com latentes de referência de sujeito e cena. Se a identidade estiver desviando, aumente a ênfase na referência do sujeito; se a cena estiver sendo sobrepujada, diminua-a levemente. Este nó é o coração da composição Omni Kontext e geralmente precisa apenas de pequenos ajustes uma vez que suas entradas estejam limpas.

FluxGuidance (#35, #207)

Controla quão estritamente o modelo segue o condicionamento composto. Valores mais altos aproximam mais do prompt e da referência ao custo de espontaneidade; valores mais baixos permitem mais variedade. Se você vir texturas excessivamente trabalhadas ou perda de harmonia com a cena, tente uma pequena redução aqui.

NunchakuFluxDiTLoader (#217)

Carrega uma variante quantizada Flux DiT para velocidade e menor memória. Escolha INT4 para visualizações rápidas e FP16 ou BF16 para qualidade final. Combine com NunchakuFluxLoraLoader quando precisar de suporte LoRA na pista Nunchaku.

Extras opcionais

• Use cortes apertados de sujeito com fundos limpos para melhorar a captura de identidade durante a codificação VAE.
• Mantenha os prompts curtos e concretos. Prefira "add the product to the table" a longas listas de estilo.
• Se o sujeito parecer colado, diminua um pouco a força do LoRA e reduza levemente a orientação para permitir que a cena reafirme iluminação e perspectiva.
• Para rodadas rápidas, itere na pista Nunchaku, depois volte para a pista padrão Flux Omni Kontext para renderizações finais.
• Salve algumas sementes intermediárias que funcionaram bem para que você possa reutilizá-las enquanto refina a força do LoRA e a orientação.

Agradecimentos

• Omni Kontext por Saquib764. Este fluxo de trabalho adapta conceitos e componentes do projeto para habilitar a composição Flux Omni Kontext no ComfyUI.