Édition précise des portraits avec le contrôle d'expression précis de PixelSmile
Ce flux de travail ComfyUI offre un contrôle d'expression précis avec PixelSmile sur la base de Qwen Image Edit. Il vous permet de faire passer un visage d'une expression neutre à des émotions spécifiques et de mélanger entre elles tout en gardant l'identité et la composition intactes. Les cas d'utilisation typiques incluent la retouche subtile des portraits, l'exploration des variations émotionnelles d'un personnage et la création de mélanges d'expressions contrôlés sur une seule toile.
Sous le capot, le graphique encode des invites neutres et cibles avec l'encodeur d'édition de Qwen, calcule les deltas PixelSmile pour isoler le changement d'expression, mélange plusieurs cibles, puis échantillonne avec un Lightning LoRA léger pour des résultats rapides et cohérents. Vous obtenez un contrôle prévisible sur des expressions heureuses, surprises, neutres ou toute autre expression incitée sans restructurer la scène.
Modèles clés dans le flux de travail de contrôle d'expression précis PixelSmile de Comfyui
- Qwen-Image-Edit-2511. L'épine dorsale de l'édition d'images basée sur la diffusion qui préserve la mise en page et l'identité pendant les éditions. Il étend Qwen-Image pour des modifications localisées et stables conditionnées par le texte. Model card
- Qwen2.5-VL-7B-Instruct. Le modèle texte-vision utilisé ici comme encodeur d'invite pour produire des conditionnements d'édition robustes à partir de phrases courtes et naturelles. Model card
- PixelSmile LoRA. LoRA axé sur l'expression qui fournit des changements faciaux linéaires, contrôlés par l'intensité, alignés avec la sémantique des invites. Voir les poids open-source et les ressources du projet. Hugging Face Paper
- Qwen-Image-Edit-2511-Lightning LoRA. Un LoRA optimisé pour la vitesse qui permet des éditions de haute qualité en très peu d'étapes, idéal pour l'exploration interactive des expressions. Model card
Comment utiliser le flux de travail de contrôle d'expression précis PixelSmile de Comfyui
Le flux prend un portrait source, construit des conditionnements d'expression neutres et cibles, calcule les deltas PixelSmile, mélange plusieurs cibles, puis échantillonne et décode le résultat. Modifiez les invites dans les nœuds de l'encodeur, ajustez l'intensité et le mélange de PixelSmile, et prévisualisez le résultat.
Charger le portrait source et définir la taille de travail
- Utilisez
LoadImage(#129) pour importer votre portrait. L'image alimente à la fois les encodeurs et une sonde de taille afin que le graphique puisse rendre à la résolution originale. GetImageSize+(#257) lit la largeur et la hauteur, etEmptySD3LatentImage(#119) alloue un latent de la même taille. Cela maintient le cadrage et la composition stables tout au long de l'échantillonnage.
Décrire les expressions neutres et cibles
TextEncodeQwenImageEditPlus(#248) encode une description neutre (par exemple "expression neutre") associée à l'image source. Cela devient votre état de référence.- Créez une ou plusieurs descriptions cibles dans
TextEncodeQwenImageEditPlus(#113, #260), telles que "expression heureuse" ou "expression surprise". Chaque cible utilise la même image source, ce qui ancre l'identité et la pose. - Les invites peuvent être courtes et naturelles. L'encodeur utilise Qwen2.5-VL-7B-Instruct pour dériver des conditionnements d'édition adaptés à Qwen-Image-Edit-2511.
Calculer les deltas PixelSmile pour un contrôle précis
- Pour chaque cible,
PixelSmileConditioning(#249, #259) prend le conditionnement cible et le conditionnement neutre, puis calcule un delta qui isole juste le changement d'expression faciale. - Le nœud expose un contrôle de force qui échelonne linéairement l'intensité de l'expression. Il prend également en charge une méthode de portée des tokens qui limite l'interpolation au mot d'expression, ce qui aide à éviter les changements indésirables en dehors de la région du visage.
Mélanger plusieurs expressions
ConditioningAverage(#261) mélange deux sorties PixelSmile en un seul conditionnement positif. Utilisez-le pour mélanger, par exemple, 40% surpris avec 60% heureux pour des émotions composées.ConditioningZeroOut(#231) fournit un négatif propre en annulant la guidance résiduelle. Cela garde l'édition concentrée et réduit la dérive.
Échantillonner avec Qwen Image Edit et Lightning
- La pile de modèles charge le UNet Qwen-Image-Edit-2511, applique le PixelSmile LoRA, puis superpose le Lightning LoRA pour des étapes rapides et cohérentes (
UNETLoader(#244) →LoraLoaderModelOnly(#250, #251) →ModelSamplingAuraFlow(#118)). KSampler(#133) exécute la débruitage en utilisant les conditionnements positifs mélangés et négatifs annulés. Le Lightning LoRA permet des aperçus réactifs avec peu d'étapes, ce qui est idéal lors de l'itération sur l'intensité et le mélange de PixelSmile.
Décoder et prévisualiser
VAEDecode(#120) convertit le latent final en image, etPreviewImage(#134) affiche le résultat. Parce que la taille du latent correspond à la source, la sortie maintient la composition et le ratio d'aspect.
Nœuds clés dans le flux de travail de contrôle d'expression précis PixelSmile de Comfyui
PixelSmileConditioning (#249)
Calcule le delta d'expression entre une invite cible et la ligne de base neutre, puis l'échelonne pour contrôler l'intensité. Ajustez score pour augmenter ou adoucir le changement d'expression. Le basculement method vous permet d'interpoler sur tous les tokens pour des changements stylistiques plus larges ou de limiter l'interpolation au token d'expression pour un contrôle facial plus serré, ce qui préserve souvent plus fidèlement les cheveux et l'arrière-plan. Voir l'implémentation du nœud pour plus de détails. GitHub
PixelSmileConditioning (#259)
Une deuxième instance qui permet une cible parallèle (par exemple "surpris") contre la même ligne de base neutre. Utilisez cela pour configurer des pistes d'expression A/B que vous pouvez mélanger. Gardez les deux valeurs de score PixelSmile modérées si vous prévoyez de les mélanger, car des paramètres extrêmes sur les deux pistes peuvent annuler ou suralimenter le résultat.
ConditioningAverage (#261)
Mélange deux conditionnements PixelSmile en un conditionnement positif. Augmentez le poids vers l'expression que vous voulez dominer, ou réglez complètement d'un côté pour un exécution à expression unique pure. Lors de la construction d'émotions nuancées, commencez près d'une répartition égale, puis biaisez par petits incréments jusqu'à ce que des micro-caractéristiques comme les sourcils et les coins de la bouche aient l'air naturel.
TextEncodeQwenImageEditPlus (#113)
Produit des conditionnements d'édition à partir de courtes invites et de l'image d'entrée, en utilisant Qwen2.5-VL-7B-Instruct comme encodeur pour Qwen-Image-Edit-2511. Gardez le phrasé concis et spécifique à l'émotion. Associer la même image source aux encodeurs neutres et cibles est essentiel pour la préservation de l'identité.
KSampler (#133)
Exécute le débruitage avec l'épine dorsale empilée Qwen-Image-Edit et Lightning LoRA. Utilisez-le principalement pour contrôler le nombre total d'itérations et la variabilité pendant que vous affinez l'intensité et le mélange de PixelSmile. Si des artefacts apparaissent, réduisez d'abord le score de PixelSmile avant d'augmenter les étapes.
Extras optionnels
- Gardez les mots d'expression explicites, par exemple "expression heureuse subtile" ou "légère surprise", pour orienter les deltas de PixelSmile vers les micro-expressions.
- Si les changements de visage se propagent dans les cheveux ou l'arrière-plan, passez la
methodde PixelSmile à l'interpolation limitée aux tokens et réduisez légèrement lescore. - Recadrez lâchement autour du visage avant de modifier si les expressions semblent sous-puissantes, puis réappliquez à l'image complète une fois que vous avez trouvé un réglage qui vous plaît.
- Pour la vitesse de prévisualisation, itérez avec le Lightning LoRA et peu d'étapes, puis augmentez les étapes uniquement pour l'exportation finale si nécessaire.
Liens vers les modèles de référence et les ressources du projet :
- Projet PixelSmile et poids : Hugging Face et article PixelSmile: Toward Fine-Grained Facial Expression Editing
- Nœud ComfyUI PixelSmile : GitHub
- Qwen-Image-Edit-2511 : Hugging Face
- Qwen2.5-VL-7B-Instruct : Hugging Face
- Qwen-Image-Edit-2511-Lightning : Hugging Face
Remerciements
Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement la communauté r/StableDiffusion pour le post source, PixelSmile pour le modèle PixelSmile, et judian17 pour le nœud ComfyUI PixelSmile Conditioning Interpolation pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources
- r/StableDiffusion/Post source
- Docs / Notes de version : Reddit post
- PixelSmile/PixelSmile
- Hugging Face : PixelSmile/PixelSmile
- judian17/ComfyUI-PixelSmile-Conditioning-Interpolation
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
