Omni Kontext | Nahtlose Szenenintegration

Omni Kontext Bildkompositions-Workflow für ComfyUI

Dieser Workflow ermöglicht es Ihnen, ein Subjekt in eine neue Szene mit starker Identitäts- und Kontextbewahrung mithilfe von Omni Kontext einzufügen. Er kombiniert Flux Omni Kontext Modell-Patches mit referenzgesteuerter Konditionierung, sodass ein bereitgestellter Charakter oder ein Produkt sich nahtlos in einen Zielhintergrund einfügt und dabei Ihren Prompt respektiert. Zwei parallele Pfade sind enthalten: ein Standard-Flux-Pfad für maximale Treue und ein Nunchaku-Pfad für schnellere, speicherschonende Abtastung mit quantisierten Gewichten.

Kreative, die konsistente Markenassets, Produkttausche oder Charakterplatzierungen wünschen, werden dies besonders nützlich finden. Sie liefern ein sauberes Subjektbild, ein Szenenbild und einen kurzen Prompt, und das Diagramm übernimmt die Kontextextraktion, Führung, LoRA-Stilgestaltung und Dekodierung, um ein kohärentes Komposit zu erzeugen.

Schlüsselmodelle im Comfyui Omni Kontext Workflow

• FLUX.1 Dev – Das Diffusion Transformer Rückgrat zur Generierung. Es bietet starke Prompt-Adhärenz und modernes Sampler-Verhalten, das für kontextbewusste Komposition geeignet ist.
• Flux Text Encoder (CLIP-L und T5-XXL) – Paarweise Encoder, die Ihren Text in eine Konditionierung einbetten, die für FLUX geeignet ist. Der Workflow lädt clip_l.safetensors und t5xxl Varianten, die für Flux optimiert sind.
• Omni Kontext Nodes – Benutzerdefinierte Knoten, die das Modell und die Konditionierung patchen, um den Kontext aus Ihrem Subjektlatenz in den endgültigen Führungspfad zu injizieren.
• Nunchaku Flux DiT – Optionaler Loader, der FP16/BF16 und INT4 quantisierte FLUX-Gewichte für Geschwindigkeit und niedrigeren VRAM unterstützt, während die Qualität wettbewerbsfähig bleibt.
• Lumina VAE – Ein robustes VAE, das zur Kodierung der Subjekt- und Szenenbilder und zur Dekodierung der endgültigen Ausgaben verwendet wird. Der Workflow referenziert ae.safetensors aus Lumina Image 2.0 repackaged.

Verwendung des Comfyui Omni Kontext Workflows

Das Diagramm hat zwei gespiegelte Bahnen: die obere Bahn ist der Standard-Flux Omni Kontext-Pfad, und die untere Bahn ist der Nunchaku-Pfad. Beide akzeptieren ein Subjektbild und ein Szenenbild, erstellen kontextbewusste Konditionierung und sampeln mit Flux, um das Komposit zu erzeugen.

Eingaben

Stellen Sie zwei Bilder bereit: eine saubere Subjektaufnahme und eine Zielszene. Das Subjekt sollte gut beleuchtet, zentriert und ungehindert sein, um die Identitätsübertragung zu maximieren. Die Szene sollte grob Ihrem beabsichtigten Kamerawinkel und der Beleuchtung entsprechen. Laden Sie sie in die Knoten "Charakter oder Subjekt" und "Szene" und halten Sie sie konsistent über die Läufe hinweg, während Sie an Prompts iterieren.

Modelle laden

Die Standardbahn lädt Flux mit UNETLoader (#37) und wendet den Omni Kontext Modell-Patch mit OminiKontextModelPatch (#194) an. Die Nunchaku-Bahn lädt ein quantisiertes Flux-Modell mit NunchakuFluxDiTLoader (#217) und wendet NunchakuOminiKontextPatch (#216) an. Beide Bahnen teilen die gleichen Text-Encoder über DualCLIPLoader (#38) und das gleiche VAE über VAELoader (#39 oder #204). Wenn Sie vorhaben, LoRA-Stile oder -Identitäten zu verwenden, halten Sie sie in diesem Abschnitt verbunden, damit sie die Modellgewichte vor der Abtastung beeinflussen.

Prompt

Schreiben Sie prägnante Prompts, die dem System mitteilen, was mit dem Subjekt zu tun ist. In der oberen Bahn treibt CLIP Text Encode (Positive Prompt) (#6) die Einfügung oder Stilgestaltung an, und in der unteren Bahn spielt CLIP Text Encode (Positive Prompt) (#210) die gleiche Rolle. Prompts wie "füge den Charakter in das Bild ein" oder "sie trägt diese Jacke" funktionieren gut. Vermeiden Sie zu lange Beschreibungen; beschränken Sie sich auf das Wesentliche, das Sie geändert oder beibehalten haben möchten.

Konditionierung

Jede Bahn kodiert das Subjekt und die Szene in Latents mit VAEEncode und fusioniert diese Latents dann mit Ihrem Text über ReferenceLatent und OminiKontextConditioning (#193 in der oberen Bahn, #215 in der unteren Bahn). Dies ist der Omni Kontext Schritt, der bedeutungsvolle Identitäts- und Raumhinweise aus der Referenz in den Konditionierungsstrom injiziert. Danach legt FluxGuidance (#35 oben, #207 unten) fest, wie stark das Modell der Kompositkonditionierung folgt. Negative Prompts werden mit ConditioningZeroOut (#135, #202) vereinfacht, sodass Sie sich darauf konzentrieren können, was Sie wollen, anstatt was Sie vermeiden möchten.

LoRAs nach Subjekt wählen

Wenn Ihr Subjekt von einem LoRA profitiert, verbinden Sie es vor der Abtastung. Die Standardbahn verwendet LoraLoaderModelOnly (#201 und Begleiter) und die Nunchaku-Bahn verwendet NunchakuFluxLoraLoader (#219, #220, #221). Verwenden Sie Subjekt-LoRAs für Identitäts- oder Kostümkonsistenz und Stil-LoRAs für künstlerische Leitung. Halten Sie die Stärken moderat, um die Realismus der Szene zu erhalten, während Sie dennoch Subjekteigenschaften durchsetzen.

Nunchaku

Wenden Sie sich an die Nunchaku-Gruppe, wenn Sie schnellere Iterationen oder begrenzten VRAM wünschen. Der NunchakuFluxDiTLoader (#217) unterstützt INT4-Einstellungen, die den Speicherbedarf erheblich reduzieren, während das "Flux Omni Kontext"-Verhalten über NunchakuOminiKontextPatch (#216) beibehalten wird. Sie können weiterhin die gleichen Prompts, Eingaben und LoRAs verwenden, dann mit KSampler (#213) abtasten und mit VAEDecode (#208) dekodieren, um Ergebnisse zu speichern.

Schlüsselknoten im Comfyui Omni Kontext Workflow

OminiKontextModelPatch (#194)

Wendet die Omni Kontext-Modellmodifikationen auf das Flux-Rückgrat an, sodass der Referenzkontext während der Abtastung berücksichtigt wird. Lassen Sie es aktiviert, wann immer Sie möchten, dass Subjektidentität und Raumhinweise in die Generierung einfließen. Kombinieren Sie es mit einer moderaten LoRA-Stärke, wenn Sie Charakter- oder Produkt-LoRAs verwenden, damit der Patch und LoRA nicht konkurrieren.

OminiKontextConditioning (#193, #215)

Verschmilzt Ihre Textkonditionierung mit Referenzlatents von Subjekt und Szene. Wenn die Identität abdriftet, erhöhen Sie die Betonung auf die Subjektreferenz; wenn die Szene überstimmt wird, verringern Sie sie leicht. Dieser Knoten ist das Herzstück der Omni Kontext-Komposition und benötigt im Allgemeinen nur kleine Anpassungen, wenn Ihre Eingaben sauber sind.

FluxGuidance (#35, #207)

Steuert, wie strikt das Modell der Kompositkonditionierung folgt. Höhere Werte drängen näher an Prompt und Referenz auf Kosten von Spontaneität; niedrigere Werte erlauben mehr Vielfalt. Wenn Sie überzogene Texturen oder Verlust der Harmonie mit der Szene sehen, versuchen Sie eine kleine Reduzierung hier.

NunchakuFluxDiTLoader (#217)

Lädt eine quantisierte Flux DiT-Variante für Geschwindigkeit und geringeren Speicherbedarf. Wählen Sie INT4 für schnelle Vorschauen und FP16 oder BF16 für endgültige Qualität. Kombinieren Sie mit NunchakuFluxLoraLoader, wenn Sie LoRA-Unterstützung in der Nunchaku-Bahn benötigen.

Optionale Extras

• Verwenden Sie enge Subjektausschnitte mit sauberen Hintergründen, um die Identitätserfassung während der VAE-Kodierung zu verbessern.
• Halten Sie Prompts kurz und konkret. Bevorzugen Sie "füge das Produkt zum Tisch hinzu" gegenüber langen Stil-Listen.
• Wenn das Subjekt eingefügt aussieht, reduzieren Sie die LoRA-Stärke etwas und verringern Sie die Führung leicht, um der Szene zu erlauben, Beleuchtung und Perspektive wiederherzustellen.
• Für schnelle Runden, iterieren Sie auf der Nunchaku-Bahn, dann wechseln Sie zurück zur Standard-Flux Omni Kontext-Bahn für endgültige Renderings.
• Speichern Sie einige Zwischen-Samen, die gut funktioniert haben, damit Sie sie wiederverwenden können, während Sie LoRA-Stärke und Führung verfeinern.

Danksagungen

• Omni Kontext von Saquib764. Dieser Workflow adaptiert Konzepte und Komponenten aus dem Projekt, um Flux Omni Kontext-Komposition in ComfyUI zu ermöglichen.