Omni Kontext | 無縫場景整合

ComfyUI 的 Omni Kontext 圖像組合工作流程

此工作流程允許您使用 Omni Kontext 將主題添加到新場景中，同時強調身份和上下文保留。它結合了 Flux Omni Kontext 模型補丁和參考指導的條件，使提供的角色或產品自然地融入目標背景，同時遵循您的提示。包括兩個平行路徑：標準 Flux 路徑以獲得最大保真度，Nunchaku 路徑則提供更快、更節省記憶體的採樣，使用量化權重。

希望獲得一致品牌資產、產品替換或角色放置的創作者將發現這特別有用。您提供一張乾淨的主題圖像、一張場景圖像和一個簡短的提示，圖表處理上下文提取、指導、LoRA 風格化和解碼，以生成連貫的合成圖像。

ComfyUI Omni Kontext 工作流程中的關鍵模型

• FLUX.1 Dev – 用於生成的擴散變壓器骨幹。提供強大的提示遵從性和現代採樣器行為，適合上下文感知組合。
• Flux 文本編碼器 (CLIP-L 和 T5-XXL) – 配對編碼器，將您的文本標記化並嵌入到適合 FLUX 的條件中。工作流程加載 clip_l.safetensors 和 t5xxl 變體，優化為 Flux。
• Omni Kontext 節點 – 自定義節點，修補模型和條件，將上下文從您的主題潛在變量注入最終指導流。
• Nunchaku Flux DiT – 可選加載器，支持 FP16/BF16 和 INT4 量化 FLUX 權重，以提高速度和降低 VRAM 使用，同時保持競爭品質。
• Lumina VAE – 用於編碼主題和場景圖像並解碼最終輸出的穩健 VAE。工作流程引用來自 Lumina Image 2.0 repackaged 的 ae.safetensors。

如何使用 ComfyUI Omni Kontext 工作流程

圖表有兩條鏡像通道：上通道是標準 Flux Omni Kontext 路徑，下通道是 Nunchaku 路徑。兩者都接受一個主題圖像和一個場景圖像，構建上下文感知條件，並使用 Flux 採樣以生成合成圖像。

輸入

提供兩張圖像：乾淨的主題照和目標場景。主題應光照良好、居中且無遮擋，以最大化身份傳遞。場景應大致匹配您的預期相機角度和光照。將它們加載到標記為“Character or Subject”和“Scene”的節點中，然後在提示迭代過程中保持一致。

加載模型

標準通道通過 UNETLoader (#37) 加載 Flux，並通過 OminiKontextModelPatch (#194) 應用 Omni Kontext 模型補丁。Nunchaku 通道通過 NunchakuFluxDiTLoader (#217) 加載量化的 Flux 模型，並應用 NunchakuOminiKontextPatch (#216)。兩條通道通過 DualCLIPLoader (#38) 共享相同的文本編碼器，並通過 VAELoader (#39 或 #204) 共享相同的 VAE。如果您計劃使用 LoRA 風格或身份，請在此部分保持它們連接，以便它們在採樣前影響模型權重。

提示

撰寫簡潔的提示，告訴系統如何處理主題。在上通道，CLIP Text Encode (Positive Prompt) (#6) 驅動插入或風格化，而在下通道 CLIP Text Encode (Positive Prompt) (#210) 扮演相同角色。提示如“將角色添加到圖像”或“她穿著這件夾克”效果良好。避免過長描述；保持在您想要改變或保留的基本要素。

條件

每條通道使用 VAEEncode 將主題和場景編碼為潛在變量，然後通過 ReferenceLatent 和 OminiKontextConditioning (#193 在上通道，#215 在下通道) 將這些潛在變量與您的文本融合。這是 Omni Kontext 步驟，將有意義的身份和空間線索從參考注入條件流。之後，FluxGuidance (#35 上，#207 下) 設置模型遵循合成條件的強度。負面提示通過 ConditioningZeroOut (#135, #202) 簡化，讓您專注於想要的，而不是避免的。

根據主題選擇 Loras

如果您的主題受益於 LoRA，請在採樣前連接。標準通道使用 LoraLoaderModelOnly (#201 及其伴隨) 和 Nunchaku 通道使用 NunchakuFluxLoraLoader (#219, #220, #221)。使用主題 LoRA 以保持身份或服裝一致性，使用風格 LoRA 以藝術指導。保持適度強度以保留場景的現實感，同時仍然強調主題特徵。

Nunchaku

當您需要更快的迭代或有限的 VRAM 時，轉向 Nunchaku 組。NunchakuFluxDiTLoader (#217) 支持 INT4 設置，大幅減少記憶體，同時通過 NunchakuOminiKontextPatch (#216) 保持“Flux Omni Kontext”行為。您仍然可以使用相同的提示、輸入和 LoRA，然後通過 KSampler (#213) 採樣並通過 VAEDecode (#208) 解碼以保存結果。

ComfyUI Omni Kontext 工作流程中的關鍵節點

OminiKontextModelPatch (#194)

將 Omni Kontext 模型修改應用於 Flux 骨幹，以便在採樣期間參考上下文得到尊重。每當您希望主題身份和空間線索進入生成時，都保持啟用。使用角色或產品 LoRA 時，與適度的 LoRA 強度配對，以免補丁和 LoRA 競爭。

OminiKontextConditioning (#193, #215)

將您的文本條件與主題和場景的參考潛在變量合併。如果身份漂移，增加對主題參考的強調；如果場景被取代，稍微減少。這個節點是 Omni Kontext 組合的核心，通常只需要在您的輸入乾淨後進行小幅調整。

FluxGuidance (#35, #207)

控制模型遵循合成條件的嚴格程度。更高的值推向提示和參考，但以自發性為代價；較低的值允許更多多樣性。如果您看到過度烘焙的紋理或與場景的和諧丟失，嘗試小幅減少這裡的值。

NunchakuFluxDiTLoader (#217)

加載量化的 Flux DiT 變體以提高速度和降低記憶體。選擇 INT4 以快速查看，選擇 FP16 或 BF16 以獲得最終品質。當您需要在 Nunchaku 通道中支持 LoRA 時，與 NunchakuFluxLoraLoader 結合使用。

可選額外功能

• 使用緊密的主題裁剪和乾淨的背景以改善在 VAE 編碼期間的身份捕獲。
• 保持提示簡短和具體。優先“將產品添加到桌子上”而不是冗長的風格列表。
• 如果主題看起來像被粘貼的，稍微降低 LoRA 強度並略微減少指導，以讓場景重新確立光照和透視。
• 對於快速回合，在 Nunchaku 通道迭代，然後切換回標準 Flux Omni Kontext 通道以進行最終渲染。
• 保存一些效果良好的中間種子，以便在微調 LoRA 強度和指導時重用。

致謝

• Omni Kontext 由 Saquib764 提供。此工作流程改編了項目的概念和組件，以在 ComfyUI 中實現 Flux Omni Kontext 組合。