Omni Kontext | 无缝场景整合

ComfyUI 的 Omni Kontext 图像合成工作流程

此工作流程让您可以使用 Omni Kontext 将主体添加到新场景中，同时保留强烈的身份感和上下文。它结合了 Flux Omni Kontext 模型补丁与参考引导的调节，以便所提供的角色或产品自然地融合到目标背景中，同时尊重您的提示。包含两个平行路径：最大保真度的标准 Flux 路径和更快、更节省内存的 Nunchaku 路径，使用量化权重。

想要一致品牌素材、产品替换或角色放置的创作者会发现这特别有用。您提供干净的主体图像、场景图像和简短提示，图表将处理上下文提取、引导、LoRA 风格化和解码，以生成一致的合成图像。

ComfyUI Omni Kontext 工作流程中的关键模型

• FLUX.1 Dev – 用于生成的扩散变压器主干。提供强大的提示遵从性和现代采样器行为，适用于上下文感知的合成。
• Flux 文本编码器 (CLIP-L 和 T5-XXL) – 配对编码器，将您的文本标记化并嵌入到适合 FLUX 的调节中。工作流程加载 clip_l.safetensors 和 t5xxl 变体，经过 Flux 优化。
• Omni Kontext 节点 – 自定义节点，通过从您的主体潜在中注入上下文到最终引导流来修补模型和调节。
• Nunchaku Flux DiT – 可选加载器，支持 FP16/BF16 和 INT4 量化的 FLUX 权重，以提高速度和降低 VRAM，同时保持竞争力质量。
• Lumina VAE – 用于编码主体和场景图像以及解码最终输出的强大 VAE。工作流程引用 Lumina Image 2.0 重新包装的 ae.safetensors。

如何使用 ComfyUI Omni Kontext 工作流程

图表有两个镜像通道：上通道是标准 Flux Omni Kontext 路径，下通道是 Nunchaku 路径。两者都接受主体图像和场景图像，构建上下文感知的调节，并使用 Flux 进行采样以生成合成图像。

输入

提供两张图像：干净的主体照和目标场景。主体应光线充足、居中且无阻碍，以最大化身份传递。场景应大致匹配您预期的相机角度和光照。将它们加载到标记为“角色或主体”和“场景”的节点中，然后在迭代提示时保持一致。

加载模型

标准通道通过 UNETLoader (#37) 加载 Flux，并使用 OminiKontextModelPatch (#194) 应用 Omni Kontext 模型补丁。Nunchaku 通道通过 NunchakuFluxDiTLoader (#217) 加载量化的 Flux 模型，并应用 NunchakuOminiKontextPatch (#216)。两者通过 DualCLIPLoader (#38) 共享相同的文本编码器，通过 VAELoader (#39 或 #204) 共享相同的 VAE。如果您计划使用 LoRA 风格或身份，请在此部分保持它们连接，以便在采样前影响模型权重。

提示

撰写简明的提示，告知系统如何处理主体。在上通道中，CLIP Text Encode (Positive Prompt) (#6) 驱动插入或风格化，下通道中 CLIP Text Encode (Positive Prompt) (#210) 扮演相同角色。像“将角色添加到图像”或“她穿着这件夹克”的提示效果良好。避免过长的描述；保持在您希望更改或保留的要点上。

调节

每个通道使用 VAEEncode 对主体和场景进行编码，然后通过 ReferenceLatent 和 OminiKontextConditioning (#193 在上通道，#215 在下通道) 将这些潜在与您的文本融合。这是 Omni Kontext 步骤，将有意义的身份和空间线索从参考注入到调节流中。之后，FluxGuidance (#35 上通道，#207 下通道) 设置模型遵循合成调节的严格程度。负面提示通过 ConditioningZeroOut (#135, #202) 简化，因此您可以专注于您想要的，而不是要避免的。

根据主体选择 Loras

如果您的主体受益于 LoRA，请在采样前连接。在标准通道中使用 LoraLoaderModelOnly (#201 及其伴随者)，在 Nunchaku 通道中使用 NunchakuFluxLoraLoader (#219、#220、#221)。使用主体 LoRA 以确保身份或服装一致性，使用风格 LoRA 以实现艺术指导。保持强度适中，以保留场景的现实主义，同时仍然强制执行主体特征。

Nunchaku

当您想要更快的迭代或受限于 VRAM 时，请转向 Nunchaku 组。NunchakuFluxDiTLoader (#217) 支持 INT4 设置，大幅减少内存，同时通过 NunchakuOminiKontextPatch (#216) 保持“Flux Omni Kontext”行为。您仍然可以使用相同的提示、输入和 LoRA，然后使用 KSampler (#213) 进行采样，并使用 VAEDecode (#208) 进行解码以保存结果。

ComfyUI Omni Kontext 工作流程中的关键节点

OminiKontextModelPatch (#194)

将 Omni Kontext 模型修改应用于 Flux 主干，以便在采样期间尊重参考上下文。每当您希望主体身份和空间线索传递到生成中时，请保持启用。当使用角色或产品 LoRA 时，配对适度的 LoRA 强度，以便补丁和 LoRA 不竞争。

OminiKontextConditioning (#193，#215)

将您的文本调节与主体和场景的参考潜在融合。如果身份漂移，增加对主体参考的强调；如果场景被否决，则稍微减少。这是 Omni Kontext 合成的核心节点，通常只需要在输入干净后进行小幅调整。

FluxGuidance (#35，#207)

控制模型遵循合成调节的严格程度。更高的值使模型更接近提示和参考，但以自发性为代价；较低的值允许更多变化。如果您看到过度烘焙的纹理或与场景的和谐丧失，请尝试在此处稍微减少。

NunchakuFluxDiTLoader (#217)

加载量化的 Flux DiT 变体，以提高速度和降低内存。选择 INT4 进行快速预览，选择 FP16 或 BF16 进行最终质量。需要在 Nunchaku 通道中支持 LoRA 时，与 NunchakuFluxLoraLoader 结合使用。

可选附加功能

• 使用干净背景的紧凑主体裁剪以改善 VAE 编码期间的身份捕捉。
• 保持提示简短具体。优先使用“将产品添加到桌子上”而不是长风格列表。
• 如果主体看起来像粘贴的，稍微降低 LoRA 强度并略微减少引导，以便场景重新增强光照和透视。
• 对于快速轮次，先在 Nunchaku 通道上迭代，然后切换回标准 Flux Omni Kontext 通道进行最终渲染。
• 保存一些效果良好的中间种子，以便在优化 LoRA 强度和引导时重复使用。

致谢

• Omni Kontext 由 Saquib764 开发。此工作流程改编了项目中的概念和组件，以在 ComfyUI 中启用 Flux Omni Kontext 合成。