MOSS-Image Canny Control ComfyUI : Restylage guidé par des contours de référence#
Ce flux de travail transforme les contours d'une photo de référence en une nouvelle image fixe guidée par une invite textuelle. Il associe le modèle de base MOSS-Image-SFT à un Canny Control LoRA dédié afin que les contours détectés orientent la composition tandis que l'invite dicte les matériaux, les couleurs et l'éclairage. Le résultat est un moyen rapide et fiable de restyler des objets sans perdre les contours reconnaissables.
MOSS-Image Canny Control ComfyUI est idéal pour les photos de produits, les explorations de peinture et de garniture de véhicules, et les façades architecturales où la silhouette et la disposition doivent rester cohérentes. Vous fournissez une image et une invite claire ; le flux de travail préserve la géométrie de la carte des contours tout en vous donnant un contrôle créatif sur la finition et l'ambiance.
Modèles clés dans le flux de travail Comfyui MOSS-Image Canny Control ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. Modèle d'image conditionné par le texte, affiné pour un montage et une génération robustes ; il fournit le débruitage de base et la compréhension de votre invite tout en restant sensible aux indices structurels. Model card
- MOSS-Image Canny Control LoRA par thedeoxen. Adaptateur léger qui injecte un contrôle basé sur Canny dans MOSS-Image-SFT pour que le contenu généré suive la carte des contours fournie. Model card
Comment utiliser Comfyui MOSS-Image Canny Control ComfyUI#
À un niveau élevé, le flux de travail extrait les contours de votre référence, encode vos invites positives et négatives avec l'encodeur d'édition de MOSS-Image, échantillonne avec le modèle de base plus le Canny Control LoRA, puis décode en une image finale. L'image de contrôle définit la structure ; l'invite définit l'apparence.
Charger une image de référence (LoadImage (#1))#
Importez une photo unique et bien exposée du sujet avec le cadrage et le rapport d'aspect que vous souhaitez conserver. Le flux de travail considère cela comme la source géométrique pour le restylage. Les sources propres avec des frontières claires et un flou de mouvement minimal fonctionnent le mieux.
Extraire les contours Canny et prévisualiser (canny control (#2) et Control (#13))#
Le flux de travail calcule une carte des contours Canny à partir de votre photo en utilisant le préprocesseur auxiliaire ControlNet afin que seuls les contours les plus saillants dirigent la composition. Les contours forts du sujet principal seront prioritaires, tandis que le bruit fin est supprimé. Vous pouvez prévisualiser l'image de contrôle pour confirmer que les contours correspondent à votre intention avant de générer. Cette étape utilise l'implémentation de l'opérateur Canny de la suite auxiliaire ControlNet. Voir le dépôt : comfyui_controlnet_aux.
Faire correspondre la toile à l'image de contrôle (GetImageSize (#7) et EmptyLatentImage (#10))#
La largeur et la hauteur de la toile sont dérivées de l'image de contrôle pour garder les proportions parfaites. Cet alignement empêche la distorsion de l'aspect et réduit la dérive de la composition. Si vous avez besoin d'un rapport d'aspect différent, recadrez la référence avant de la charger afin que le contrôle et la toile restent synchronisés.
Écrire vos invites (Text Encode MOSS-Image Edit (positive) (#8) et Text Encode MOSS-Image Edit (negative) (#9))#
Décrivez les matériaux, le style, la couleur, l'éclairage et l'environnement souhaités dans l'invite positive. L'encodeur d'édition se conditionne à la fois sur votre texte et l'image de contrôle afin que les changements d'apparence se produisent tandis que la structure reste. Utilisez l'invite négative pour supprimer les artefacts que vous ne souhaitez pas, tels que le texte indésirable, la basse qualité ou les éléments hors style. Le conditionnement de l'édition d'image aide à maintenir la fidélité de la silhouette même lorsque votre invite est très stylisée.
Charger le modèle de base et appliquer le Canny Control LoRA (UNETLoader (#3) et canny control LoRA (#4))#
Le UNet de MOSS-Image-SFT fournit la colonne vertébrale générative. Le Canny Control LoRA est ensuite appliqué au modèle pour que la guidance basée sur les contours influence la trajectoire de débruitage. Ensemble, ils fusionnent le contrôle structurel des contours avec l'intention sémantique de votre invite, permettant des restylages fidèles sans masques manuels.
Échantillonner et décoder (KSampler (#11) et VAEDecode (#12))#
L'échantillonnage produit l'image latente sous vos conditions positives et négatives. Vous pouvez garder les résultats répétables avec une graine fixe ou explorer des alternatives en la changeant. Après l'échantillonnage, le VAE décode les latents en une image RVB pour prévisualisation et exportation. Si vous voyez une rigidité excessive des lignes, détendez le contrôle en réduisant l'influence du LoRA ou en augmentant la liberté créative pendant l'échantillonnage ; si vous voyez une dérive, faites le contraire.
Examiner le résultat (Result (#14))#
Inspectez l'aperçu du résultat. Si la silhouette est correcte mais que les détails manquent de précision, affinez l'invite positive ; si la structure dérive, renforcez le contrôle structurel ou simplifiez l'invite. Itérez jusqu'à ce que les matériaux, l'ambiance et la géométrie atteignent votre objectif.
Nœuds clés dans le flux de travail Comfyui MOSS-Image Canny Control ComfyUI#
canny control (#2)#
Génère la carte des contours qui agit comme le préalable structurel pour l'ensemble du processus. Ajuster les seuils bas et haut modifie les contours qui survivent : des seuils plus élevés accentuent les contours principaux, des seuils plus bas admettent des détails plus fins. Utilisez l'aperçu pour vous assurer que les contours capturent la silhouette de l'objet sans encombrement. Référence d'implémentation : comfyui_controlnet_aux.
canny control LoRA (#4)#
Applique le Canny Control LoRA au modèle de base pour que l'échantillonneur suive la carte des contours. Augmentez la force du LoRA lorsque vous souhaitez une adhésion stricte aux contours, et réduisez-la pour une géométrie plus libre et créative. Cet équilibre est essentiel pour concilier fidélité structurelle et liberté stylistique. Carte du modèle : thedeoxen/MOSS-Image-canny-controlnet.
Text Encode MOSS-Image Edit (positive) (#8)#
Encode votre invite principale, en se conditionnant à la fois sur le texte et l'image de contrôle pour une génération consciente de l'édition. Concentrez-vous sur des descripteurs concrets tels que les matériaux de surface, la finition, les indices de forme neutres en termes de marque, la qualité de l'éclairage et l'environnement. Si le modèle sous-spécifie la couleur ou la texture, ajoutez des adjectifs explicites et un langage de caméra. Référence du modèle de base : OpenMOSS-Team/MOSS-Image-SFT.
Text Encode MOSS-Image Edit (negative) (#9)#
Encode vos termes négatifs pour éloigner l'échantillonneur des caractéristiques indésirables. Utilisez des bloqueurs concis pour la basse qualité, les artefacts, les éléments hors sujet et les termes NSFW lorsqu'ils sont appropriés. Des négatifs serrés aident l'échantillonneur à investir sa capacité dans le look que vous souhaitez au lieu de réparer des erreurs courantes.
KSampler (#11)#
Effectue le processus de débruitage qui transforme le conditionnement et le bruit latent en une image. Les leviers clés sont la graine pour la reproductibilité, l'algorithme d'échantillonnage pour la texture et le caractère des détails, le nombre d'étapes pour le raffinement, l'échelle de guidance pour équilibrer la force de l'invite par rapport au réalisme, et la force de débruitage pour varier la rigueur avec laquelle le résultat suit le contrôle. En cas de doute, verrouillez la graine pendant que vous ajustez un levier à la fois pour comprendre son effet. Référence du projet : ComfyUI.
Extras optionnels#
- Commencez avec des photos de produits nettes et à contraste moyen ; évitez le flou de mouvement et les arrière-plans encombrés pour que Canny extraye des silhouettes propres.
- Si la structure est parfaite mais que l'ambiance est mauvaise, conservez la graine et affinez uniquement l'invite ; si la structure dérive, ajustez la force du LoRA ou le débruitage vers plus de contrôle.
- Mentionnez les ancres de composition dans l'invite (par exemple, "même silhouette centrée") pour renforcer la disposition sans lutter contre l'image de contrôle.
- Précadrez la référence à l'aspect exact que vous souhaitez ; la toile correspond automatiquement à l'image de contrôle.
- Pour les détails mécaniques fins, permettez des contours légèrement plus riches ; pour des restylages larges, privilégiez des contours plus espacés pour éviter de trop contraindre les textures.
Ce flux de travail MOSS-Image Canny Control ComfyUI vous offre un contrôle structurel précis avec un style flexible, en faisant un outil fiable pour des restylages rapides et favorables aux itérations à travers les produits, les véhicules et l'architecture.
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement thedeoxen pour MOSS-Image-canny-controlnet (Canny Control LoRA et flux de travail), OpenMOSS-Team pour MOSS-Image-SFT (modèle de base), et Fannovel16 pour comfyui_controlnet_aux (nœuds de préprocesseur Canny) pour leurs contributions et leur maintenance. Pour les détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- thedeoxen/MOSS-Image-canny-controlnet
- Hugging Face: thedeoxen/MOSS-Image-canny-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux
Note: L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
