Flux Klein Face Swap pour ComfyUI : remplacement de visage sans couture, guidé par invite
Flux Klein Face Swap est un flux de travail ComfyUI ciblé qui remplace un visage dans une image par un visage d'une autre tout en préservant la pose, l'éclairage et la cohérence des textures. Il s'appuie sur la génération et l'édition d'images unifiées de FLUX Klein pour offrir des échanges réalistes qui se fondent naturellement dans la scène.
Ce flux de travail est idéal pour l'édition de portraits, la création de personnages et le raffinement de contenu. Vous fournissez une image de base et une image source de visage, guidez l'échange avec une courte invite, et le pipeline Flux Klein Face Swap aligne la géométrie, transfère l'identité et rend un résultat propre avec un suréchantillonnage optionnel.
Modèles clés dans le flux de travail Comfyui Flux Klein Face Swap
- Black Forest Labs FLUX.2-klein 9B FP8. Le transformateur de diffusion principal utilisé ici pour l'édition et la synthèse d'images. Il intègre le nouveau visage tout en maintenant la stabilité du style et de la composition de la scène. Model card
- FLUX.2-klein 4B. Une alternative plus légère qui réduit la mémoire et accélère l'itération avec une capacité légèrement inférieure. Utile pour les brouillons ou les GPU limités. Model card
- Qwen 3 encodeur de texte 8B ou 4B. Fournit la compréhension des invites pour FLUX 2 afin que l'échange respecte vos instructions textuelles concernant l'identité, la pose et le style. Les fichiers sont distribués avec les divisions Klein. Repository
- Flux 2 VAE. Encode les images dans l'espace latent utilisé par FLUX et décode le latent final en pixels avec une fidélité de couleur et de ton. Repository
- Détecteur d'objets YOLOX et estimateur DWPose. Utilisé pendant le prétraitement pour localiser le visage et la pose corporelle globale afin que l'alignement soit naturel après l'échange. YOLOX DWPose
Comment utiliser le flux de travail Comfyui Flux Klein Face Swap
Le pipeline s'écoule des entrées au prétraitement, au conditionnement de référence, à l'échantillonnage FLUX, au décodage et au suréchantillonnage optionnel. Chaque étape ci-dessous nomme les principaux nœuds UI que vous verrez.
Charger les entrées avec LoadImage (#81) et LoadImage Face Swap Image (#244)
Choisissez la photo de base dans LoadImage (#81). C'est la scène et les vêtements que vous souhaitez conserver. Choisissez le portrait donneur dans Face Swap Image (#244). Cela fournit l'identité à transférer. Choisissez des images avec une taille de tête similaire et un angle général pour de meilleurs résultats. Les deux images sont redimensionnées en interne à une résolution de travail cohérente.
Détecter la pose et les visages avec DWPreprocessor (#267) et normaliser avec ImageResizeKJv2 (#468)
Le préprocesseur analyse l'image de base pour trouver les points clés de la tête et du corps, produisant des conseils qui encodent la disposition faciale et la pose. Cela garantit que Flux Klein Face Swap aligne le nouveau visage avec l'orientation et l'éclairage d'origine. Le résultat est redimensionné pour correspondre aux dimensions de travail afin que les étapes ultérieures utilisent une géométrie cohérente. Vous n'avez pas besoin de fournir un masque.
Décrire l'échange avec CLIPTextEncode (#250)
Fournissez une instruction courte qui clarifie ce qui doit changer et ce qui doit rester. Par exemple, "remplacer la tête dans l'image 1 par la tête de l'image 2, garder les vêtements et la pose de l'image 1, assortir le teint et l'éclairage." L'encodeur de texte convertit votre invite en conditionnement qui guide le modèle pendant l'échantillonnage. Un libellé clair et précis donne des échanges plus fidèles.
Construire le conditionnement de référence avec VAEEncode et ReferenceLatent (#257, #253, #269)
L'image de base, l'image source du visage et les conseils de pose sont chacun encodés en latents avec VAEEncode. ReferenceLatent (#257) lie d'abord l'image de base à votre invite pour que le style et la scène soient préservés. ReferenceLatent (#253) injecte l'identité du visage donneur en tant que référence. ReferenceLatent (#269) ajoute la géométrie détectée, qui verrouille la position et les proportions de la tête avant l'échantillonnage.
Programmer et échantillonner avec FLUX en utilisant UNETLoader (#180), Flux2Scheduler (#237), KSamplerSelect (#240), BasicGuider (#277), et SamplerCustomAdvanced (#261)
UNETLoader (#180) charge le modèle FLUX.2-klein qui effectue la modification réelle. Flux2Scheduler (#237) définit le calendrier de débruitage à la largeur et à la hauteur de travail afin que la résolution latente reste cohérente. BasicGuider (#277) combine le modèle avec votre conditionnement assemblé et le passe à l'échantillonneur. Sélectionnez un échantillonneur dans KSamplerSelect (#240) et gardez une graine fixe dans RandomNoise (#256) pour reproduire les résultats lors de l'itération. SamplerCustomAdvanced (#261) génère ensuite le latent du visage échangé en un seul chemin sans masquage manuel.
Décoder et réviser avec VAEDecode (#251), PreviewImage (#457), et Image Comparer (rgthree) (#452)
VAEDecode (#251) transforme le latent final en pixels. Utilisez PreviewImage (#457) pour vérifier rapidement l'identité, la continuité du teint et les bords de la ligne de cheveux. Comparez l'avant et l'après avec Image Comparer (rgthree) (#452) pour confirmer que les vêtements, la pose et l'arrière-plan restent intacts. Si nécessaire, affinez votre invite et relancez pour ajuster l'expression ou le style.
Suréchantillonner et enregistrer avec SeedVR2VideoUpscaler (#326) et SaveImage (#467)
Le suréchantillonneur améliore les détails et lisse les coutures mineures tout en respectant l'identité modifiée. Gardez la correction des couleurs cohérente entre les exécutions pour éviter les changements de teint. Lorsque vous êtes satisfait, SaveImage (#467) enregistre le résultat final avec un préfixe de fichier clair pour que les lots restent organisés. Le suréchantillonneur est optionnel si vous travaillez déjà à haute résolution.
Nœuds clés dans le flux de travail Comfyui Flux Klein Face Swap
DWPreprocessor (#267)
Rôle : détecte les signaux du corps et du visage qui stabilisent l'alignement. Augmentez la résolution si les visages sont petits dans le cadre. Activez la détection du visage et du corps ensemble pour les portraits qui incluent les épaules ou les mains afin de maintenir la continuité des proportions.
ReferenceLatent (#257)
Rôle : ancre le style et la scène de l'image de base à l'invite pour que l'échange ne dérive pas. Si l'environnement ou la tenue change de manière inattendue, ajustez le recadrage de l'image de base pour que cette référence mette l'accent sur la région que vous souhaitez préserver.
ReferenceLatent (#253)
Rôle : injecte l'identité du donneur. Pour un transfert d'identité fort, utilisez un portrait de donneur net, de face avec une expression neutre. Évitez le maquillage lourd ou les occlusions qui pourraient surajuster des caractéristiques indésirables.
ReferenceLatent (#269)
Rôle : impose la géométrie spatiale de l'étape de détection pour que le nouveau visage repose naturellement sur la tête et le cou. Utilisez-le lorsque la pose ou l'angle de la tête est important. Si vous souhaitez plus de liberté d'expression, choisissez une image de base avec l'expression cible plutôt que d'affaiblir cette contrainte.
Flux2Scheduler (#237)
Rôle : définit le chemin de débruitage à votre résolution de travail. Plus d'étapes peuvent affiner les textures subtiles mais coûtent du temps. Gardez la largeur et la hauteur héritées du pipeline pour éviter les incompatibilités d'aspect avec l'entrée EmptyFlux2LatentImage.
SamplerCustomAdvanced (#261)
Rôle : effectue le débruitage guidé en utilisant votre choix d'échantillonneur et de graine. Utilisez une graine cohérente pour les comparaisons A/B et ne changez qu'une seule chose à la fois, généralement l'invite. Si les résultats semblent trop cuits, essayez un échantillonneur moins agressif ou réduisez le débruitage effectif en partant d'une référence plus forte.
SeedVR2VideoUpscaler (#326)
Rôle : amélioration finale et nettoyage des bords. Augmentez modérément la résolution cible pour garder l'identité stable. Si les couleurs changent, activez la correction des couleurs et gardez le bruit d'entrée bas pour préserver la continuité du teint.
Extras optionnels
- Choisissez des photos d'entrée avec une taille et une orientation de tête similaires pour le Flux Klein Face Swap le plus convaincant.
- Gardez les invites courtes et littérales. Mentionnez ce qu'il faut remplacer, ce qu'il faut conserver et toutes les notes de style.
- Utilisez une graine fixe lors de l'exploration des invites, puis variez la graine pour ajouter des changements subtils d'expression.
- Si un décalage de teint apparaît, ajoutez une phrase comme "assortir le teint et l'éclairage" à l'invite.
- Obtenez le consentement et respectez les lois locales et les licences de modèles lors de tout échange de visage.
Remerciements
Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions sincèrement @Ai Verse's Flux Klein Face Swap Source workflow pour leurs contributions et leur maintenance. Pour des détails officiels, veuillez vous référer à la documentation et aux dépôts originaux liés ci-dessous.
Ressources
- Flux Klein/Face Swap Source
- Docs / Notes de version : @Ai Verse's YouTube
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
