Qwen Image 2.1 Inpainting: Versatzfreier lokaler Bearbeitungs-Workflow für präzise, anweisungsgeführte Änderungen#
Dieser ComfyUI-Workflow liefert gezielte lokale Bearbeitungen mit Qwen Image 2.1 Inpainting unter Verwendung eines Eingabebildes, einer Benutzermaske und klaren englischen Anweisungen. Er folgt einer versatzfreien Strategie, die das Arbeitsbild und die Maske perfekt ausgerichtet hält und dann latenten Rauschen nur innerhalb des maskierten Bereichs anwendet, sodass das Modell sich auf Ihre angeforderte Änderung konzentriert, während die umgebende Komposition erhalten bleibt.
Verwenden Sie es, um lokale Details wie einen Taucher, einen Cowboy oder ein Leinenhemd hinzuzufügen oder zu ersetzen. Das Design betont Realismus und Szenenkonsistenz mit optionalen Referenzbildern, garantiert jedoch keine pixelidentischen Ergebnisse außerhalb der Maske. Erwarten Sie treue Einfügungen, natürliche Beleuchtung und Kontaktschatten sowie minimale Nebenänderungen in der Nähe der Maskengrenze.
Schlüsselmodelle im Comfyui Qwen Image 2.1 Inpainting-Workflow#
- Qwen-Image 2.1 Diffusionsmodell. Der Kernbildgenerator, der anweisungsgeführtes Inpainting und lokale Bearbeitungen durchführt, konditioniert durch Ihre Aufforderung und Referenzbilder. Model card
- Qwen-Image 2.1 VAE. Kodiert das Eingabebild in Latente und dekodiert die bearbeiteten Latenten zurück zu Pixeln, um das globale Erscheinungsbild und den Farbraum zu erhalten. Model card
- Qwen-Image 2.1 Text/Bild-Encoder. Transformiert englische Bearbeitungsanweisungen und Szenenreferenzen in Konditionierungssignale, die den Diffusionsprozess in Richtung Ihrer angeforderten Bearbeitung lenken. Model card
So verwenden Sie den Comfyui Qwen Image 2.1 Inpainting-Workflow#
Auf einen Blick: Sie liefern ein Bild, malen eine Maske über den zu ändernden Bereich und schreiben prägnante englische Anweisungen. Der Workflow skaliert das Bild für das Modell, richtet die Maske ohne Versatz aus, setzt Rauschen nur dort ein, wo Bearbeitungen erforderlich sind, kodiert Ihre Aufforderung und optional Referenzbilder, denoisiert, um die Änderung zu realisieren, und speichert einen Vergleich nebeneinander.
Eingabebild + Inpaint-Maske (LoadImage (#11))#
Laden Sie das Arbeitsbild und seine Inpaint-Maske. Die Maske sollte nur den Bereich abdecken, den Sie ändern möchten, mit einem kleinen Puffer um die Kanten zum Mischen. Weichere Kanten erzeugen typischerweise sauberere Nähte. Halten Sie den Rest des Bildes unmaskiert, damit das Modell die gezielte Einfügung oder den Ersatz priorisiert.
Bearbeitungsanweisungen (Englisch) (Text (#165))#
Schreiben Sie klare, spezifische Anweisungen, die beschreiben, was hinzugefügt oder geändert werden soll, wo es erscheinen soll und wie es im Verhältnis zur Szene aussehen soll. Erwähnen Sie Maßstab, Pose, Perspektive und Beleuchtung, um das Foto zu entsprechen. Kurze Einschränkungen wie "das Haus und die Küstenlinie erhalten" helfen, den Kontext zu bewahren. Negative Formulierungen sind optional, können aber das Modell von unerwünschten Attributen ablenken.
Referenz 2 – Originalszene (LoadImage (#134))#
Fügen Sie eine originale, unberührte Ansicht derselben Szene als Erhaltungsreferenz hinzu. Der Workflow verwendet sie, um Komposition und Beleuchtung zu verankern, sodass das Inpainting natürlich verschmilzt. Übereinstimmender Kamerablickwinkel und Rahmen sind am effektivsten. Dieser Schritt ist optional, wird aber für Realismus empfohlen.
Referenz 3 – Originalszene (LoadImage (#136))#
Optional können Sie eine zweite Original-Szenenreferenz hinzufügen. Mehrere konsistente Referenzen verbessern die Struktur und Farbkonstanz um die Bearbeitung herum. Verwenden Sie Bilder mit demselben Objektiv, derselben Tageszeit und Belichtung, wenn möglich.
Bild & Maske skalieren (Gruppe)#
Diese Gruppe standardisiert die Auflösung und garantiert die Maskenausrichtung mit einem versatzfreien Ansatz. Das Bild wird auf eine modellfreundliche Größe skaliert, durch die VAE gerundet, um die Dimensionen zu sperren, dann GetImageSize (#132) liefert diese exakten Dimensionen an ImageScale (#158) und ResizeMask (#148), sodass Pixel und Maske perfekt übereinstimmen. GrowMaskWithBlur (#128) kann die Maske sanft erweitern und verwischen, um harte Nähte zu reduzieren. Schließlich stellt SetLatentNoiseMask (#126) sicher, dass frisches Rauschen nur innerhalb des maskierten Bereichs angewendet wird, um sich auf die bearbeiteten Bereiche zu konzentrieren.
Modell (Gruppe)#
Modellkomponenten werden geladen, Ihre Anweisung und Referenzbilder werden kodiert und der Denoising-Schritt wird ausgeführt. UNETLoader (#192), VAELoader (#178) und CLIPLoader (#177) bringen die Qwen-Image 2.1-Modellsuite ein. TextEncodeQwenImage21 (#191) konvertiert Ihre Aufforderung plus Referenzen in Konditionierung, während KSamplerAdvanced (#193) Inpainting mit den maskierten Latenten von SetLatentNoiseMask (#126) durchführt. VAEDecode (#194) gibt das endgültige Bild zurück.
Vergleichen und speichern#
Image Comparer (rgthree) (#51) zeigt eine Live-Vorher/Nachher-Ansicht, die Ihnen hilft, die Ausrichtung, Beleuchtung und Nahtqualität zu beurteilen. SaveImage (#201) schreibt das Ergebnis auf die Festplatte mit Ihrem gewählten Präfix, sodass Sie schnell iterieren und organisierte Versionen beibehalten können.
Schlüssel-Knoten im Comfyui Qwen Image 2.1 Inpainting-Workflow#
TextEncodeQwenImage21 (#191)#
Kodiert englische Anweisungen zusammen mit bis zu drei Szenenbildern in Konditionierung für Qwen Image 2.1 Inpainting. Verwenden Sie das prompt-Feld für das, was hinzugefügt oder geändert werden soll, und negative_prompt für Merkmale, die vermieden werden sollen. Die resolution-Kontrolle legt den internen Arbeitsmaßstab des Modells fest; Werte, die durch 32 teilbar sind, werden empfohlen. Höhere Werte können den globalen Detailgrad erhöhen, erfordern jedoch möglicherweise mehr VRAM und Zeit.
SetLatentNoiseMask (#126)#
Wendet eine Rauschmaske an, sodass neues Signal hauptsächlich innerhalb des von Ihnen gemalten Bereichs eingeführt wird, was lokale Bearbeitungen mit starkem Hintergrundschutz ermöglicht. Kombinieren Sie dies mit einer sanft gefiederten Maske für nahtlose Übergänge. Unmaskierte Bereiche werden respektiert, aber nicht auf Pixelebene eingefroren, sodass winzige zufällige Änderungen in der Nähe von Kanten möglich sind.
GrowMaskWithBlur (#128)#
Verarbeitet Ihre Maske für saubere Grenzen vor. Eine leichte Erweiterung kann sicherstellen, dass das gesamte neue Objekt innerhalb der bearbeitbaren Zone liegt, und das Hinzufügen von Unschärfe federt die Kanten, um Nähte zu minimieren. Wenn Präzision von größter Bedeutung ist, reduzieren Sie Erweiterung und Unschärfe; wenn das Mischen Priorität hat, erhöhen Sie sie moderat.
KSamplerAdvanced (#193)#
Führt den Denoising-Prozess durch, der Ihre Anweisung innerhalb des maskierten Bereichs realisiert. Passen Sie Schritte und Sampler an, um Geschwindigkeit und Treue auszugleichen, und setzen Sie einen Seed, um Ergebnisse während der Iteration zu reproduzieren. Geringere Führung mischt Einfügungen oft natürlicher, während höhere Führung eine stärkere Einhaltung des Textes erzwingen kann.
ImageScaleToMaxDimension (#138)#
Setzt die lange Kante des Arbeitsbildes für einen guten Kompromiss zwischen Detail und Rechenkosten. Größere Werte liefern schärfere Einfügungen, erhöhen jedoch den Speicherbedarf und die Renderzeit. Beginnen Sie moderat und skalieren Sie nur, wenn Sie mehr feine Details benötigen.
ResizeMask (#148)#
Ändert die Größe der Inpaint-Maske, um genau mit den zuvor bestimmten Arbeitsdimensionen des Modells übereinzustimmen. Diese versatzfreie Ausrichtung verhindert "Maskenverschiebungs"-Artefakte und hält Ihren gemalten Bereich perfekt mit den Bildpixeln abgestimmt.
Optionale Extras#
- Halten Sie die Anweisungen prägnant und konkret: was, wo, Maßstab, Perspektive, Beleuchtung und alle zu erhaltenden Elemente.
- Entwerfen Sie Masken mit einem kleinen Puffer und weichen Kanten; enthalten Sie den vollständigen Objektfußabdruck plus Kontaktschatten für realistische Erdung.
- Stellen Sie eine oder zwei Original-Szenen-Referenzen für bessere Komposition und Farbkonstanz bereit, insbesondere bei komplexen Hintergründen.
- Verwenden Sie eine Auflösung, die durch 32 teilbar ist; erhöhen Sie sie schrittweise, wenn Sie mehr Details benötigen, wobei Sie VRAM und Zeit im Auge behalten.
- Sperren Sie einen Seed für Reproduzierbarkeit beim Vergleichen von Aufforderungs- oder Maskenänderungen.
- Für hartnäckige Nähte, führen Sie einen leichten zweiten Durchgang mit einer engeren, weicheren Maske durch, die nur die Übergangszone abdeckt.
Dieser versatzfreie ComfyUI-Pipeline macht Qwen Image 2.1 Inpainting praktisch und vorhersehbar für alltägliche Objekteinfügungen und lokale Ersetzungen. Mit ausgerichteten Masken, maskiertem latentem Rauschen und referenzgeführter Konditionierung können Sie glaubwürdige Elemente hinzufügen, die zur Geometrie und Beleuchtung Ihrer Szene passen.
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken RunningHub für die Workflow-Quelle, Qwen für das Qwen-Image-2.1-Modell und Qwen für die offiziellen lokalen Bearbeitungsbeispiele für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und die unten verlinkten Repositories.
Ressourcen#
- RunningHub/Workflow source
- Docs / Release Notes: Workflow source
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Official local editing examples
- Docs / Release Notes: Official local editing examples
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und des Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Maintainer.
