Präzise Porträtbearbeitung mit PixelSmile Feinabstimmung der Ausdruckskontrolle
Dieser ComfyUI-Workflow bietet PixelSmile Feinabstimmung der Ausdruckskontrolle auf Basis von Qwen Image Edit. Er ermöglicht es, ein Gesicht von neutral zu spezifischen Emotionen zu steuern und zwischen ihnen zu blenden, während Identität und Komposition intakt bleiben. Typische Anwendungsfälle sind subtile Retusche von Porträts, das Erkunden emotionaler Variationen eines Charakters und das Erstellen kontrollierter Ausdrucksmischungen auf einer einzigen Leinwand.
Unter der Oberfläche kodiert das Diagramm neutrale und Ziel-Prompts mit Qwen’s Edit-Encoder, berechnet PixelSmile-Deltas, um den Ausdruckswechsel zu isolieren, mischt mehrere Ziele und sampelt dann mit einem leichten Lightning LoRA für schnelle, konsistente Ergebnisse. Sie erhalten vorhersehbare Kontrolle über glückliche, überraschte, neutrale oder andere anpassbare Ausdrücke, ohne die Szene neu zu strukturieren.
Schlüsselmodelle im Comfyui PixelSmile Feinabstimmung der Ausdruckskontrolle Workflow
- Qwen-Image-Edit-2511. Das Diffusions-basierte Bildbearbeitungs-Backbone, das Layout und Identität während der Bearbeitung bewahrt. Es erweitert Qwen-Image für strukturierte, lokalisierte Modifikationen und stabile text-konditionierte Änderungen. Model card
- Qwen2.5-VL-7B-Instruct. Das Text-Vision-Modell, das hier als Prompt-Encoder verwendet wird, um robuste Edit-Konditionierungen aus kurzen, natürlichen Phrasen zu erzeugen. Model card
- PixelSmile LoRA. Ausdrucksorientiertes LoRA, das lineare, intensitätsgesteuerte Gesichtsänderungen bietet, die mit den Prompt-Semantiken übereinstimmen. Sehen Sie die Open-Source-Gewichte und Projektressourcen. Hugging Face Paper
- Qwen-Image-Edit-2511-Lightning LoRA. Ein geschwindigkeitsoptimiertes LoRA, das hochwertige Bearbeitungen in sehr wenigen Schritten ermöglicht, ideal für interaktive Ausdruckserkundung. Model card
Verwendung des Comfyui PixelSmile Feinabstimmung der Ausdruckskontrolle Workflows
Der Flow nimmt ein Quellporträt, erstellt neutrale und Ziel-Ausdruckskonditionierungen, berechnet PixelSmile-Deltas, mischt mehrere Ziele und sampelt und dekodiert das Ergebnis. Bearbeiten Sie Prompts in den Encoder-Knoten, passen Sie PixelSmile-Intensität und Mischung an und sehen Sie sich die Ausgabe an.
Laden Sie das Quellporträt und stellen Sie die Arbeitsgröße ein
- Verwenden Sie
LoadImage(#129), um Ihr Porträt zu laden. Das Bild speist sowohl die Encoder als auch eine Größenprobe, sodass das Diagramm in der Originalauflösung rendern kann. GetImageSize+(#257) liest Breite und Höhe, undEmptySD3LatentImage(#119) weist ein Latent der gleichen Größe zu. Dies hält das Framing und die Komposition während des Samplings stabil.
Beschreiben Sie neutrale und Ziel-Ausdrücke
TextEncodeQwenImageEditPlus(#248) kodiert eine neutrale Beschreibung (zum Beispiel "neutraler Ausdruck") zusammen mit dem Quellbild. Dies wird Ihr Referenzzustand.- Erstellen Sie eine oder mehrere Zielbeschreibungen in
TextEncodeQwenImageEditPlus(#113, #260), wie "glücklicher Ausdruck" oder "überraschter Ausdruck." Jedes Ziel verwendet das gleiche Quellbild, das Identität und Pose verankert. - Prompts können kurz und natürlich sein. Der Encoder verwendet Qwen2.5-VL-7B-Instruct, um Edit-Konditionierungen abzuleiten, die auf Qwen-Image-Edit-2511 zugeschnitten sind.
Berechnen Sie PixelSmile-Deltas für präzise Kontrolle
- Für jedes Ziel nimmt
PixelSmileConditioning(#249, #259) die Zielkonditionierung und die neutrale Konditionierung und berechnet ein Delta, das nur die Änderung des Gesichtsausdrucks isoliert. - Der Knoten bietet eine Stärke-Kontrolle, die die Ausdrucksintensität linear skaliert. Er unterstützt auch eine Token-Bereichs-Methode, die die Interpolation auf das Ausdruckswort beschränkt, was hilft, unerwünschte Änderungen außerhalb des Gesichtsbereichs zu vermeiden.
Mischen Sie mehrere Ausdrücke
ConditioningAverage(#261) mischt zwei PixelSmile-Ausgaben in eine einzige positive Konditionierung. Verwenden Sie es, um zum Beispiel 40% überrascht mit 60% glücklich für zusammengesetzte Emotionen zu mischen.ConditioningZeroOut(#231) bietet ein sauberes Negativ, indem es verbleibende Anweisungen auf null setzt. Dies hält die Bearbeitung fokussiert und reduziert Drift.
Samplen mit Qwen Image Edit und Lightning
- Der Modellstapel lädt den Qwen-Image-Edit-2511 UNet, wendet das PixelSmile LoRA an und schichtet dann das Lightning LoRA für schnelle, konsistente Schritte (
UNETLoader(#244) →LoraLoaderModelOnly(#250, #251) →ModelSamplingAuraFlow(#118)). KSampler(#133) führt das Denoising mit den gemischten positiven und genullten negativen Konditionierungen aus. Das Lightning LoRA ermöglicht reaktionsschnelle Vorschauen mit wenigen Schritten, was ideal ist, wenn Sie die PixelSmile-Stärke und Mischung iterieren.
Dekodieren und Vorschau
VAEDecode(#120) konvertiert das endgültige Latent zurück zu einem Bild, undPreviewImage(#134) zeigt das Ergebnis an. Da die Latentgröße der Quelle entspricht, wird die Komposition und das Seitenverhältnis beibehalten.
Schlüssel-Knoten im Comfyui PixelSmile Feinabstimmung der Ausdruckskontrolle Workflow
PixelSmileConditioning (#249)
Berechnet das Ausdrucks-Delta zwischen einem Ziel-Prompt und der neutralen Basislinie und skaliert es dann, um die Intensität zu steuern. Passen Sie score an, um die Ausdrucksverschiebung zu verstärken oder zu mildern. Der method-Schalter ermöglicht es Ihnen, über alle Tokens für breitere stilistische Änderungen zu interpolieren oder die Interpolation auf das Ausdrucks-Token zu beschränken, was oft Haare und Hintergrund treuer bewahrt. Siehe die Knotenimplementierung für Details. GitHub
PixelSmileConditioning (#259)
Eine zweite Instanz, die ein paralleles Ziel (zum Beispiel "überrascht") gegen die gleiche neutrale Basislinie ermöglicht. Verwenden Sie dies, um A/B-Ausdruckstracks einzurichten, die Sie mischen können. Halten Sie beide PixelSmile score-Werte moderat, wenn Sie planen, sie zu mischen, da extreme Einstellungen auf beiden Tracks das Ergebnis aufheben oder übersteuern können.
ConditioningAverage (#261)
Mischt zwei PixelSmile-Konditionierungen in eine positive Konditionierung. Erhöhen Sie das Gewicht in Richtung des Ausdrucks, den Sie dominieren lassen möchten, oder stellen Sie es vollständig auf eine Seite für einen reinen Single-Expression-Run ein. Wenn Sie nuancierte Emotionen aufbauen, beginnen Sie in der Nähe einer gleichmäßigen Aufteilung und neigen dann in kleinen Schritten, bis Mikro-Merkmale wie Augenbrauen und Mundwinkel natürlich aussehen.
TextEncodeQwenImageEditPlus (#113)
Erzeugt Edit-Konditionierungen aus kurzen Prompts und dem Eingabebild, unter Verwendung von Qwen2.5-VL-7B-Instruct als Encoder für Qwen-Image-Edit-2511. Halten Sie die Formulierung prägnant und spezifisch für die Emotion. Die Paarung des gleichen Quellbildes über neutrale und Ziel-Encoder hinweg ist entscheidend für den Erhalt der Identität.
KSampler (#133)
Führt das Denoising mit dem gestapelten Qwen-Image-Edit-Backbone und Lightning LoRA aus. Verwenden Sie es hauptsächlich, um die Gesamtanzahl der Iterationen und die Variabilität zu steuern, während Sie die PixelSmile-Intensität und die Mischung feinabstimmen. Wenn Artefakte auftreten, reduzieren Sie zuerst den PixelSmile score, bevor Sie die Schritte erhöhen.
Optionale Extras
- Halten Sie Ausdruckswörter explizit, zum Beispiel "subtler glücklicher Ausdruck" oder "leichte Überraschung," um PixelSmile-Deltas auf Mikro-Ausdrücke auszurichten.
- Wenn sich die Gesichtsänderungen in Haare oder Hintergrund ausbreiten, wechseln Sie die PixelSmile
methodzu token-limitierter Interpolation und reduzieren Siescoreleicht. - Schneiden Sie locker um das Gesicht, bevor Sie bearbeiten, wenn sich Ausdrücke schwach anfühlen, und wenden Sie es dann erneut auf das volle Bild an, sobald Sie eine Einstellung gefunden haben, die Ihnen gefällt.
- Für Vorschaugeschwindigkeit iterieren Sie mit dem Lightning LoRA und niedrigen Schritten, dann erhöhen Sie die Schritte nur für den finalen Export, wenn nötig.
Links zu Referenzmodellen und Projektressourcen:
- PixelSmile-Projekt und Gewichte: Hugging Face und Paper PixelSmile: Toward Fine-Grained Facial Expression Editing
- PixelSmile ComfyUI-Knoten: GitHub
- Qwen-Image-Edit-2511: Hugging Face
- Qwen2.5-VL-7B-Instruct: Hugging Face
- Qwen-Image-Edit-2511-Lightning: Hugging Face
Danksagungen
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken der r/StableDiffusion-Community für den Quellbeitrag, PixelSmile für das PixelSmile-Modell und judian17 für den ComfyUI PixelSmile Conditioning Interpolation-Knoten für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.
Ressourcen
- r/StableDiffusion/Quellbeitrag
- Docs / Release Notes: Reddit post
- PixelSmile/PixelSmile
- Hugging Face: PixelSmile/PixelSmile
- judian17/ComfyUI-PixelSmile-Conditioning-Interpolation
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.