JoyAI Image Edit ComfyUI : édition d'images guidée par des instructions qui préserve la structure
Ce workflow offre des éditions rapides et guidées par des instructions pour une image de référence unique directement dans ComfyUI. Basé sur la pile JoyAI-Image-Edit, il effectue des modifications guidées par des prompts telles que des échanges d'objets et de couleurs, des ajustements spatiaux et un rendu de texte propre tout en gardant la composition source intacte. JoyAI Image Edit ComfyUI est idéal pour les designers, équipes produit et créateurs qui ont besoin d'éditions contrôlées sans masquage manuel.
Vous fournissez une image et une courte instruction comme "Rendre l'assiette bleue." Le workflow dirige cette demande à travers le transformateur JoyAI Image Edit, l'encodeur de texte, et le VAE, puis retourne une image éditée qui respecte les limites de mise en page et de contenu. C'est une configuration ComfyUI compacte et spécifique au modèle axée sur des résultats prévisibles et reproductibles.
Modèles clés dans le workflow Comfyui JoyAI Image Edit ComfyUI
- Transformateur JoyAI-Image-Edit. Modèle d'édition principal qui se base sur votre instruction et l'image de référence pour produire des changements qui préservent la structure. Carte du modèle : jdopensource/JoyAI-Image-Edit.
- Encodeur de texte et tokenizer JoyAI-Image-Edit. Encode l'instruction d'édition en embeddings que le transformateur peut suivre. L'implémentation et l'utilisation se trouvent dans le code source JoyAI Image : jd-opensource/JoyAI-Image.
- VAE pour JoyAI Image Edit. Compresse et reconstruit les images pour l'édition et le décodage, contribuant à la fidélité des couleurs et à la rétention des détails. Le workflow référence un checkpoint VAE Wan 2.1 intégré à la pile JoyAI.
Comment utiliser le workflow Comfyui JoyAI Image Edit ComfyUI
Le pipeline s'écoule de gauche à droite : chargez une image source, écrivez une instruction, chargez la pile JoyAI, exécutez l'édition, puis enregistrez. Vous n'avez pas besoin de masque pour les éditions typiques, et le workflow est conçu pour des résultats reproductibles.
- Préparez l'image source
- Chargez votre référence avec
LoadImage(#6). Utilisez une image propre et bien éclairée pour de meilleurs résultats et gardez le sujet raisonnablement centré. Si vous voulez préserver le cadrage exactement, recadrez la source au préalable plutôt que de changer la taille de la toile plus tard. Le workflow passe cette image directement à l'étape d'édition afin que sa structure ancre le résultat.
- Chargez votre référence avec
- Écrivez l'instruction d'édition
- Entrez votre demande dans
Prompt(#4) et définissez éventuellement des exclusions dansNegative Prompt(#5). Gardez les instructions courtes, spécifiques et réalisables, par exemple "rendre la tasse rouge," "remplacer le ciel par un coucher de soleil," ou "ajouter le texte JOYAI sur le carnet." Les prompts négatifs aident à éviter les couleurs, objets ou styles indésirables. JoyAI Image Edit ComfyUI respecte l'instruction tout en maintenant la cohérence de la mise en page avec l'original.
- Entrez votre demande dans
- Chargez la pile JoyAI
- Les composants du modèle sont chargés par
JoyAIImageEditTransformerLoader(#1),JoyAIImageEditTextEncoderLoader(#2), etJoyAIImageEditVAELoader(#3). Ces nœuds récupèrent les poids du transformateur, l'encodeur de texte plus le tokenizer, et le VAE qui régit l'encodage et le décodage des images. Vous n'avez normalement pas besoin de changer cela à moins que vous ne remplaciez les checkpoints pour un look ou un comportement différent. Garder ce trio cohérent assure que les sémantiques des instructions, la géométrie et l'espace colorimétrique restent stables.
- Les composants du modèle sont chargés par
- Exécutez l'édition
JoyAIImageEditPipeline(#7) fusionne votre image source avec les embeddings d'instruction pour générer le résultat édité. Le pipeline équilibre la force de l'instruction contre la fidélité structurelle afin que les objets restent à leur place tout en changeant leurs attributs comme demandé. Utilisez une graine fixe pour la reproductibilité ou changez les graines pour explorer les variations. Si vous avez besoin de lettrage plus net ou de bords fins, augmentez les paramètres de qualité dans l'échantillonneur tout en gardant la taille de l'image raisonnable par rapport à votre source.
- Enregistrez et examinez
SaveImage(#8) enregistre la sortie éditée. Utilisez des noms versionnés pour comparer les exécutions côte à côte et gardez la graine dans votre nom de fichier ou vos notes afin de pouvoir reproduire un résultat préféré. Lors de l'itération, ajustez un seul contrôle à la fois pour voir clairement la cause et l'effet.
Nœuds clés dans le workflow Comfyui JoyAI Image Edit ComfyUI
JoyAIImageEditPipeline(#7)- Orchestrateur central qui applique l'instruction à l'image de référence en utilisant le transformateur JoyAI, l'encodeur de texte et le VAE. Réglez d'abord
promptetnegative_prompt. Utilisez uneseedfixe pour des réexécutions déterministes, puis variez-la pour explorer des alternatives. Équilibrez la force de l'instruction et la qualité de l'échantillonnage pour échanger la vitesse contre la fidélité, et gardez les dimensions de sortie proches du rapport d'aspect de la source pour préserver la mise en page.
- Orchestrateur central qui applique l'instruction à l'image de référence en utilisant le transformateur JoyAI, l'encodeur de texte et le VAE. Réglez d'abord
JoyAIImageEditTransformerLoader(#1)- Charge le checkpoint du transformateur JoyAI-Image-Edit qui détermine à quel point et avec quelle clarté les éditions suivent votre texte. Changer ce poids peut modifier de manière significative le style et la réactivité. Associez le transformateur et l'encodeur de texte de la même famille de version pour éviter les incompatibilités d'embeddings.
JoyAIImageEditTextEncoderLoader(#2)- Fournit l'encodeur de texte et le tokenizer qui traduisent votre instruction en embeddings lisibles par le modèle. Une formulation claire et concise améliore la qualité des embeddings. Les paramètres de précision peuvent influencer l'utilisation de la VRAM et la vitesse, donc choisissez le mode qui correspond à votre matériel et à la taille de votre lot.
JoyAIImageEditVAELoader(#3)- Charge le VAE qui régit comment les images sont encodées et décodées autour de l'édition. Différents VAEs peuvent modifier subtilement la couleur et le contraste, donc gardez cela cohérent à travers les expériences lorsque vous évaluez des prompts. Si vous changez le VAE, revisitez vos prompts pour rééquilibrer la formulation des couleurs.
Extras optionnels
- Création de prompts
- Préférez des actions simples et claires comme "rendre l'assiette bleue" plutôt que des paragraphes à plusieurs étapes. Nommez précisément les objets visibles et utilisez des noms singuliers lorsque vous éditez des attributs. Pour les éditions spatiales, ancrez la demande avec des prépositions comme "sur la table," "en arrière-plan," ou "sur le mur."
- Résolution et composition
- Préservez le rapport d'aspect source pour maintenir la géométrie. Augmentez l'échelle après l'édition si vous avez besoin de livrables plus grands plutôt que de pousser des résolutions d'édition extrêmes.
- Reproductibilité
- Gardez une graine fixe lors de la comparaison des variations de prompts, puis déverrouillez la graine pour échantillonner des alternatives une fois que vous êtes satisfait.
- Références et sources
- Carte du modèle et poids : jdopensource/JoyAI-Image-Edit
- Détails de l'implémentation et mises à jour : jd-opensource/JoyAI-Image
- Modèle de graphe ComfyUI utilisé par ce projet : joyai_image_comfyui
Remerciements
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement jd-opensource pour le dépôt JoyAI-Image, jd-opensource pour le workflow JoyAI-Image ComfyUI, et jdopensource pour le modèle JoyAI-Image-Edit pour leurs contributions et leur maintenance. Pour des détails autorisés, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources
- jd-opensource/JoyAI-Image
- GitHub: jd-opensource/JoyAI-Image
- jd-opensource/joyai_image_comfyui
- GitHub: jd-opensource/JoyAI-Image
- jdopensource/JoyAI-Image-Edit
- Hugging Face: jdopensource/JoyAI-Image-Edit
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
