Qwen Image 2.1 Inpainting : Flux de travail d'édition locale sans décalage pour des changements précis guidés par des instructions#
Ce flux de travail ComfyUI offre des éditions locales ciblées avec Qwen Image 2.1 Inpainting en utilisant une image d'entrée, un masque utilisateur et des instructions claires en anglais. Il suit une stratégie sans décalage qui maintient l'image de travail et le masque parfaitement alignés, puis applique du bruit latent uniquement à l'intérieur de la région masquée afin que le modèle se concentre sur votre changement demandé tout en préservant la composition environnante.
Utilisez-le pour ajouter ou remplacer des détails localisés tels qu'un plongeur, un cow-boy ou une chemise en lin. La conception met l'accent sur le réalisme et la cohérence de la scène avec des images de référence facultatives, mais ne garantit pas des résultats identiques au pixel en dehors du masque. Attendez-vous à des insertions fidèles, un éclairage naturel et des ombres de contact, et des changements collatéraux minimes près de la limite du masque.
Modèles clés dans le flux de travail Comfyui Qwen Image 2.1 Inpainting#
- Modèle de diffusion Qwen-Image 2.1. Le générateur d'image principal qui effectue l'inpainting guidé par des instructions et l'édition locale, conditionné par votre invite et les images de référence. Model card
- Qwen-Image 2.1 VAE. Encode l'image d'entrée en latents et décode les latents édités en pixels, aidant à préserver l'apparence globale et l'espace colorimétrique. Model card
- Encodeur texte/image Qwen-Image 2.1. Transforme les instructions d'édition en anglais et les références de scène en signaux de conditionnement qui orientent le processus de diffusion vers votre édition demandée. Model card
Comment utiliser le flux de travail Comfyui Qwen Image 2.1 Inpainting#
En bref : vous fournissez une image, peignez un masque sur la zone à changer et écrivez des instructions concises en anglais. Le flux de travail met à l'échelle l'image pour le modèle, aligne le masque sans décalage, ensemence le bruit uniquement là où les modifications sont nécessaires, encode votre invite et les images de référence facultatives, débruite pour réaliser le changement, et enregistre une comparaison côte à côte.
Image d'entrée + Masque d'inpainting (LoadImage (#11))#
Chargez l'image de travail et son masque d'inpainting. Le masque ne doit couvrir que la région que vous souhaitez changer, avec une petite marge autour des bords pour le mélange. Des bords plus doux produisent généralement des coutures plus propres. Gardez le reste de l'image non masqué pour que le modèle privilégie l'insertion ou le remplacement ciblé.
Instructions d'édition (anglais) (Text (#165))#
Écrivez des instructions claires et spécifiques décrivant ce qu'il faut ajouter ou modifier, où cela doit apparaître et comment cela doit être par rapport à la scène. Mentionnez l'échelle, la pose, la perspective et l'éclairage pour correspondre à la photo. Des contraintes brèves telles que "préserver la maison et la côte" aident à maintenir le contexte. La formulation négative est facultative mais peut éloigner le modèle des attributs non désirés.
Référence 2 – Scène originale (LoadImage (#134))#
Ajoutez une vue originale et non modifiée de la même scène comme référence de préservation. Le flux de travail l'utilise pour ancrer la composition et l'éclairage afin que l'inpainting se fonde naturellement. Le point de vue de la caméra et le cadrage correspondants sont les plus efficaces. Cette étape est facultative mais recommandée pour le réalisme.
Référence 3 – Scène originale (LoadImage (#136))#
Ajoutez éventuellement une deuxième référence de scène originale. Fournir plusieurs références cohérentes améliore la structure et la stabilité des couleurs autour de l'édition. Utilisez des images avec le même objectif, l'heure de la journée et l'exposition si possible.
Mise à l'échelle de l'image et du masque (groupe)#
Ce groupe standardise la résolution et garantit l'alignement du masque avec une approche sans décalage. L'image est mise à l'échelle à une taille adaptée au modèle, passée par le VAE pour verrouiller les dimensions, puis GetImageSize (#132) transmet ces dimensions exactes à ImageScale (#158) et ResizeMask (#148) afin que les pixels et le masque correspondent parfaitement. GrowMaskWithBlur (#128) peut étendre et estomper doucement le masque pour réduire les coutures dures. Enfin, SetLatentNoiseMask (#126) garantit que le bruit frais est appliqué uniquement à l'intérieur de la région masquée, concentrant les modifications là où vous avez peint.
modèle (groupe)#
Les composants du modèle sont chargés, votre instruction et vos images de référence sont encodées, et l'étape de débruitage est lancée. UNETLoader (#192), VAELoader (#178), et CLIPLoader (#177) apportent l'ensemble de modèles Qwen-Image 2.1. TextEncodeQwenImage21 (#191) convertit votre invite plus les références en conditionnement, tandis que KSamplerAdvanced (#193) effectue l'inpainting en utilisant les latents masqués de SetLatentNoiseMask (#126). VAEDecode (#194) renvoie l'image finale.
Comparer et enregistrer#
Image Comparer (rgthree) (#51) montre une vue avant/après en direct qui vous aide à juger de l'alignement, de l'éclairage et de la qualité des coutures. SaveImage (#201) écrit le résultat sur le disque en utilisant votre préfixe choisi afin que vous puissiez itérer rapidement et conserver des versions organisées.
Nœuds clés dans le flux de travail Comfyui Qwen Image 2.1 Inpainting#
TextEncodeQwenImage21 (#191)#
Encode des instructions en anglais avec jusqu'à trois images de scène dans le conditionnement pour Qwen Image 2.1 Inpainting. Utilisez le champ prompt pour ce qu'il faut ajouter ou changer et negative_prompt pour les traits à éviter. Le contrôle resolution définit l'échelle de travail interne du modèle ; des valeurs divisibles par 32 sont recommandées. Des valeurs plus élevées peuvent augmenter les détails globaux mais peuvent nécessiter plus de VRAM et de temps.
SetLatentNoiseMask (#126)#
Applique un masque de bruit afin qu'un nouveau signal soit introduit principalement à l'intérieur de la région que vous avez peinte, permettant des éditions locales avec une forte préservation de l'arrière-plan. Associez cela à un masque légèrement estompé pour des transitions sans couture. Les zones non masquées sont respectées mais ne sont pas figées au niveau du pixel, de sorte que de minuscules changements accidentels près des bords sont possibles.
GrowMaskWithBlur (#128)#
Pré-traite votre masque pour des limites propres. Une légère expansion peut garantir que l'objet entier est dans la zone éditable, et l'ajout d'un flou adoucit les bords pour minimiser les coutures. Si la précision est primordiale, réduisez l'expansion et le flou ; si le mélange est la priorité, augmentez-les modérément.
KSamplerAdvanced (#193)#
Exécute le processus de débruitage qui réalise votre instruction dans la région masquée. Ajustez les étapes et l'échantillonneur pour équilibrer la vitesse et la fidélité, et définissez une graine pour reproduire les résultats lors de l'itération. Une guidance inférieure intègre souvent les insertions plus naturellement, tandis qu'une guidance supérieure peut imposer une adhérence plus forte au texte.
ImageScaleToMaxDimension (#138)#
Définit le bord long de l'image de travail pour un bon compromis entre détail et coût de calcul. Des valeurs plus grandes produisent des insertions plus nettes mais augmentent l'utilisation de la mémoire et le temps de rendu. Commencez modérément, puis augmentez uniquement si vous avez besoin de plus de détails fins.
ResizeMask (#148)#
Redimensionne le masque d'inpainting pour correspondre exactement aux dimensions de travail du modèle déterminées précédemment. Cet alignement sans décalage prévient les artefacts de "décalage de masque" et garde votre région peinte parfaitement enregistrée avec les pixels de l'image.
Extras optionnels#
- Gardez les instructions concises et concrètes : quoi, où, échelle, perspective, éclairage, et tous les éléments à préserver impérativement.
- Concevez des masques avec une petite marge et des bords doux ; incluez l'empreinte complète de l'objet plus les ombres de contact pour un ancrage réaliste.
- Fournissez une ou deux références de scène originale pour une meilleure composition et stabilité des couleurs, surtout avec des arrière-plans complexes.
- Utilisez une résolution divisible par 32 ; augmentez progressivement si vous avez besoin de plus de détails, en surveillant la VRAM et le temps.
- Verrouillez une graine pour la reproductibilité lors de la comparaison des modifications de l'invite ou du masque.
- Pour des coutures tenaces, effectuez un deuxième passage léger avec un masque plus serré et plus doux qui ne couvre que la zone de transition.
Ce pipeline ComfyUI sans décalage rend Qwen Image 2.1 Inpainting pratique et prévisible pour les insertions d'objets quotidiennes et les remplacements locaux. Avec des masques alignés, un bruit latent masqué, et un conditionnement guidé par des références, vous pouvez ajouter des éléments crédibles qui correspondent à la géométrie et à la lumière de votre scène.
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement RunningHub pour la source du flux de travail, Qwen pour le modèle Qwen-Image-2.1, et Qwen pour les exemples d'édition locale officiels pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- Source du flux de travail RunningHub
- Docs / Notes de version : Workflow source
- Qwen/Qwen-Image-2.1
- GitHub : QwenLM/Qwen-Image-2.1
- Hugging Face : Qwen/Qwen-Image-2.1
- Exemples d'édition locale officiels de Qwen
- Docs / Notes de version : Official local editing examples
Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
