Qu'est-ce que PhotoMakerV2
PhotoMakerV2, une mise à niveau de PhotoMaker, offre une méthode efficace pour la génération d'images personnalisées à partir de texte. Il synthétise des photos réalistes d'individus en utilisant quelques images d'identité en entrée et un prompt textuel.
Certaines caractéristiques clés de PhotoMakerV2 incluent:
- Haute efficacité: Génère rapidement des photos personnalisées.
- Excellente préservation de l'identité: Maintient la ressemblance des identités en entrée.
- Contrôle textuel flexible: Permet de spécifier le contexte, le style, les attributs, etc., dans le prompt.
- Fidélité d'identité améliorée: Améliorée par rapport à PhotoMaker V1.
PhotoMakerV2 génère des images photoréalistes d'une personne dans divers contextes, stylise les apparences, change les attributs tels que l'âge et le genre, fusionne les identités, et modernise les gens à partir de vieilles photos ou d'œuvres d'art. Il débloque de nombreuses possibilités créatives.
PhotoMakerV2 encode une ou plusieurs images d'identité en entrée dans un "stacked ID embedding", servant de représentation unifiée encapsulant les informations d'identité.
Cet embedding, combiné avec un prompt textuel, est alimenté dans un modèle de diffusion texte-image. Le modèle produit ensuite une image représentant l'identité encodée dans le contexte décrit par le prompt.
Quelques aspects clés de son fonctionnement en coulisses:
- Utilise un encodeur d'identité pour extraire les informations d'identité des images de visage en entrée
- Améliore la préservation de l'identité en utilisant un modèle de reconnaissance faciale externe (InsightFace)
- Encode plusieurs images d'identité en un embedding empilé pour capturer l'identité de manière exhaustive
- Alimente l'embedding empilé dans les couches de cross-attention du modèle de diffusion
- Guide la génération avec le prompt textuel tout en fusionnant de manière adaptative les informations d'identité
- Entraîné avec un jeu de données orienté identité pour améliorer les capacités d'identification
Pour utiliser PhotoMakerV2 dans ComfyUI, interagissez principalement avec le nœud PhotoMakerEncodePlus. Un workflow typique implique:
- Charger le modèle PhotoMakerV2 en utilisant le nœud "PhotoMaker Loader Plus".
- Charger une ou plusieurs images d'identité en utilisant le nœud "Prepare Images For CLIP Vision".
- Charger le modèle InsightFace requis par PhotoMakerV2 en utilisant le nœud "PhotoMaker InsightFace Loader".
- Connecter les sorties de ces nœuds aux entrées correspondantes du nœud "PhotoMaker Encode Plus".
- Dans le nœud "PhotoMaker Encode Plus", spécifiez le prompt décrivant l'image souhaitée. Utilisez le mot déclencheur spécial dans le prompt là où l'identité doit apparaître.
- Connectez le conditionnement de sortie de "PhotoMaker Encode Plus" à un nœud "KSampler" pour générer l'image.
Pour plus d'informations, veuillez visiter PhotoMaker Hugging Face et ComfyUI-PhotoMaker-Plus. Tous les crédits reviennent à leurs contributions.
