MOSS-Image Pose Control ComfyUI : Génération d'Images Transférées par Pose avec Invites#
MOSS-Image Pose Control ComfyUI crée de nouvelles images photoréalistes qui suivent la pose complète du corps d'une photo de référence téléchargée tout en vous permettant de changer librement le sujet, les vêtements et le cadre via une invite. Il extrait un squelette propre avec DWPose et dirige la génération à l'aide d'un LoRA d'édition de contrôle de pose léger réglé pour MOSS-Image SFT, évitant les checkpoints lourds de ControlNet.
Ce workflow est idéal pour la direction artistique, les visuels marketing et les scènes athlétiques ou de performance où le placement des membres doit paraître naturel. Lors des tests, il a reproduit des poses complexes telles qu'une fente d'escrime, un saut de ballet, un saut athlétique et une performance de violon avec une anatomie convaincante et des silhouettes claires.
Modèles clés dans le workflow MOSS-Image Pose Control ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. Le générateur d'images de base qui interprète votre invite textuelle et produit l'image finale ; il sert de colonne vertébrale que le LoRA de contrôle de pose module. Model card
- MOSS-Image pose-control LoRA par thedeoxen. Un LoRA d'édition compact qui injecte un comportement de suivi de pose fort dans MOSS-Image-SFT sans nécessiter un ControlNet autonome. Repository
- DWPose. Un détecteur de points clés de haute qualité utilisé ici pour extraire les repères du corps, du visage et des mains à partir de l'image de référence ; le préprocesseur ComfyUI provient du pack auxiliaire ControlNet. DWPose repo · ComfyUI node
Comment utiliser le workflow MOSS-Image Pose Control ComfyUI#
Le graphique suit un chemin clair de votre image de référence et votre invite à un résultat adapté à la pose. Les étapes ci-dessous correspondent aux principaux groupes de nœuds avec lesquels vous interagirez le plus.
Pose de référence et dimensionnement#
Chargez votre photo de référence avec LoadImage (#1). Le préprocesseur pose control (#2) DWPose extrait un squelette propre sur le cadre, y compris les points clés du visage et des mains facultatifs pour des prises de vue expressives. Utilisez l'aperçu Control (#13) pour vérifier que la pose extraite semble correcte et capture pleinement le geste souhaité. GetImageSize (#7) transmet la largeur et la hauteur de référence à la toile afin que la génération corresponde automatiquement au cadrage de votre source.
Conditionnement des invites avec MOSS-Image Edit#
Décrivez le nouveau sujet, les vêtements, l'éclairage et l'environnement dans Text Encode MOSS-Image Edit (positive) (#8). Des formulations typiques comme "photo cinématographique en pied", les détails des vêtements et les indices environnementaux fonctionnent bien. Utilisez Text Encode MOSS-Image Edit (negative) (#9) pour exclure les défauts et les styles que vous ne voulez pas. Les deux encodeurs reçoivent la même image de pose de pose control de sorte que le modèle intègre la contrainte de pose directement dans le conditionnement tout en respectant votre texte.
Modèle de base et LoRA de contrôle de pose#
UNETLoader (#3) charge le modèle de base MOSS-Image-SFT. Le pose control LoRA (#4) est appliqué par-dessus pour traduire le squelette détecté en une forte adhérence à la pose pendant la génération. Si le résultat est trop rigide ou trop lâche, ajustez la force du LoRA : des valeurs plus élevées verrouillent le corps plus près de la pose de référence, des valeurs plus faibles permettent plus de liberté tout en biaisant la composition.
Échantillonnage et décodage#
EmptyLatentImage (#10) initialise la toile latente à la résolution de référence. KSampler (#11) synthétise l'image à partir de votre conditionnement ; l'échantillonneur, le planificateur, les étapes, le guidage, la graine et le débruitage échangent collectivement vitesse, fidélité et variabilité. Définissez une graine fixe pour reproduire un excellent résultat ou changez-la pour de nouvelles variations qui gardent la même pose et l'intention de la scène. VAEDecode (#12) convertit le latent en RGB, et l'image finale apparaît dans Result (#14).
Nœuds clés dans le workflow MOSS-Image Pose Control ComfyUI#
pose control (#2)#
Ceci est le préprocesseur DWPose qui trouve le corps, le visage et les mains et rend une carte de pose utilisée pour l'orientation. Activez le visage et les mains lorsque les gestes ou les expressions comptent ; désactivez-les pour les prises de vue à distance ou d'action rapide pour simplifier le contrôle. Si des parties du squelette semblent coupées, agrandissez ou recadrez la référence pour que la figure entière soit à l'intérieur du cadre. Une résolution de prétraitement plus élevée affine la fidélité des membres mais augmente le calcul ; équilibrez-la avec votre taille de sortie cible.
Text Encode MOSS-Image Edit (positive) (#8)#
Encode votre brief créatif et l'image de pose dans un vecteur de conditionnement que MOSS-Image-SFT suit pendant l'échantillonnage. Rédigez des invites concrètes et conscientes de la caméra qui mentionnent le type de prise de vue, la garde-robe, les matériaux et l'éclairage. L'entrée image ancre la disposition du corps ; le texte gouverne l'identité, les vêtements et l'environnement. Si des textures fines dérivent, renforcez les noms descriptifs et les matériaux ; si cela semble trop contraint, réduisez l'influence de l'image.
pose control LoRA (#4)#
Applique le LoRA de contrôle de pose MOSS-Image qui biaise la génération vers le squelette extrait. Augmentez sa force pour un placement précis des membres ou diminuez-la pour laisser le modèle réinterpréter légèrement la posture tout en conservant le geste global. Associez les changements de force LoRA à des ajustements mineurs de l'invite pour préserver votre silhouette souhaitée tout en améliorant le style.
KSampler (#11)#
Conduit les étapes de diffusion qui transforment le conditionnement en pixels. Utilisez une graine reproductible lors de l'exploration des ajustements d'invite afin que la pose et la composition restent comparables. Les valeurs par défaut testées sont 30 étapes, CFG 4, échantillonnage Euler/simple et débruitage 1.0. Changez la graine pour des variations tout en gardant la pose de référence et l'invite fixes ; ajustez d'autres paramètres d'échantillonnage uniquement après avoir comparé un résultat de référence.
Extras optionnels#
- Visez une référence de figure complète avec une séparation claire des membres ; les arrière-plans chargés ou le flou de mouvement important peuvent gêner DWPose.
- Gardez l'échelle du sujet similaire entre la référence et la sortie souhaitée ; la toile correspond automatiquement à la taille, mais des changements d'échelle extrêmes réduisent la précision.
- Lorsque les mains ou les instruments sont importants (par exemple, une performance de violon), activez le visage et les mains dans
pose controlpour capturer les bouts des doigts et la prise. - Pour les scènes athlétiques comme un saut de ballet ou un saut, ajoutez des indices d'action dans l'invite (poussière, traînées de mouvement, vent) pour vendre la pose sans changer le placement des membres.
- Générez des variations cohérentes en ne changeant que la graine ; changez les vêtements, l'heure de la journée ou l'emplacement dans le texte tandis que la pose du corps reste verrouillée.
Remerciements#
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement thedeoxen pour le LoRA de contrôle de pose MOSS-Image, OpenMOSS-Team pour le modèle de base MOSS-Image-SFT et Fannovel16 pour le nœud préprocesseur DWPose pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation et aux référentiels originaux liés ci-dessous.
Ressources#
- thedeoxen/MOSS-Image-pose-controlnet
- Hugging Face: thedeoxen/MOSS-Image-pose-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux (DWPose preprocessor node)
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.