Contrôle du Mouvement des Objets et Corps SAM 3D ComfyUI
Ce workflow offre une génération consciente de la 3D, guidée par la structure à partir d'une seule image en utilisant le masquage basé sur Segment Anything et le raisonnement de profondeur. Il comprend deux modes prêts à l'emploi : le Mode Objet pour extraire et reconstruire tout sujet masqué comme un maillage 3D texturé ou un Gaussien 3D, et le Mode Corps pour construire un maillage humain conscient des parties du corps. Le design SAM 3D ComfyUI met l'accent sur la cohérence spatiale, ce qui le rend idéal pour le contrôle du mouvement des objets, l'orientation du mouvement corporel et la création d'assets contrôlables pour les pipelines vidéo ou 3D en aval.
Construit sur les projets open source SAM3D, ce workflow SAM 3D ComfyUI transforme une image simple plus un masque en assets GLB, STL et PLY exportables avec alignement de pose et cuisson de texture. Il convient bien aux créateurs qui souhaitent des résultats rapides et contrôlables sans ajustement fin.
Remarque : Ce workflow "Objet 3D" est recommandé pour fonctionner sur des machines Medium, Large ou XLarge. Les types de machines plus grands peuvent entraîner des erreurs d'exécution ou des résultats instables. Le workflow "Corps" fonctionne bien pour tous les types de machines. En raison de la complexité de la reconstruction et de l'optimisation 3D, le workflow "Objet 3D" peut prendre ~40 minutes ou plus pour se terminer.
Modèles clés dans le workflow Comfyui SAM 3D ComfyUI
- Modèle Segment Anything (SAM). Utilisé pour une segmentation de haute qualité et incitative qui ancre les contraintes spatiales. Voir l'article original pour plus de détails : Segment Anything.
- Composants préentraînés SAM3D Objects. Fournissent la profondeur, la structure éparse, la génération SLAT, les décodeurs de maillage et Gaussiens, et les intégrateurs de texture pour la reconstruction d'objets. Source : PozzettiAndrea/ComfyUI-SAM3DObjects.
- Composants préentraînés SAM3D Body. Fournissent un traitement conscient des parties du corps pour générer des maillages humains et une vue de débogage. Source : PozzettiAndrea/ComfyUI-SAM3DBody.
- Estimateur de profondeur monoculaire intégré dans les dépôts SAM3D. Fournit les paramètres intrinsèques de la caméra, une carte de points, et un masque informé par la profondeur qui améliorent la reconstruction et l'alignement de la pose. Voir les deux dépôts SAM3D ci-dessus.
- Formulation de Splatting Gaussien 3D. Permet des représentations de scènes basées sur des points rapides et photoréalistes utiles pour des aperçus rapides et certains moteurs de rendu : 3D Gaussian Splatting for Real-Time Rendering.
Comment utiliser le workflow Comfyui SAM 3D ComfyUI
À un niveau élevé, vous chargez une image unique et son masque, puis choisissez soit le groupe Objet soit le groupe Corps. Le Mode Objet reconstruit un maillage texturé et une représentation Gaussienne 3D avec un raffinement de pose optionnel. Le Mode Corps construit un maillage conscient des parties du corps et l'exporte pour une inspection rapide ou une utilisation en aval.
Groupe SAM3DObjects
Ce groupe transforme votre sujet masqué en un asset 3D. Fournissez une image avec un masque qui isole l'objet que vous souhaitez contrôler; le workflow gère automatiquement l'inversion pour traiter le sujet comme premier plan. La profondeur et les paramètres intrinsèques de la caméra sont estimés pour produire une carte de points, puis une structure éparse et une pose initiale sont créées. De là, une représentation SLAT est générée et décodée en un maillage et un Gaussien 3D; une cuisson de texture transfère l'apparence de l'image source au maillage. Enfin, l'optimisation de la pose affine l'alignement avant que vous ne prévisualisiez et exportiez; voir SAM3D_DepthEstimate (#59), SAM3DSparseGen (#52), SAM3DSLATGen (#35), SAM3DMeshDecode (#45), SAM3DGaussianDecode (#37), SAM3DTextureBake (#47), et SAM3D_PoseOptimization (#57).
Groupe SAM3DBody
Ce groupe se concentre sur les sujets humains. Fournissez une image et un masque qui couvre la personne. Le processeur corporel produit un maillage conscient des parties du corps et une image de débogage pour que vous puissiez vérifier la qualité de la segmentation. Vous pouvez exporter le résultat en tant que maillage pour inspection ou rigging, puis le prévisualiser de manière interactive. Les étapes essentielles passent par LoadSAM3DBodyModel (#62), SAM3DBodyProcess (#61), SAM3DBodyExportMesh (#64), et Preview3D (#65).
Nœuds clés dans le workflow Comfyui SAM 3D ComfyUI
LoadSAM3DModel (#44) Charge tous les poids en mode objet en un seul endroit, y compris la profondeur, le générateur de structure éparse, le générateur SLAT et les décodeurs, ainsi que les intégrateurs de texture. Si les poids sont hébergés sur Hugging Face, entrez votre jeton et gardez le fournisseur réglé en conséquence. Utilisez la précision automatique à moins que vous n'ayez une raison de forcer un dtype spécifique. Une fois chargé, les mêmes gestionnaires alimentent tout le pipeline objet.
SAM3D_DepthEstimate (#59) Estime la profondeur monoculaire, les paramètres intrinsèques de la caméra, une carte de points, et un masque informé par la profondeur de votre image d'entrée. Un bon cadrage est important : gardez le sujet raisonnablement centré et évitez les recadrages extrêmes pour des paramètres intrinsèques plus stables. Utilisez l'aperçu de nuage de points intégré pour vérifier la géométrie avant de vous engager dans des cuissons longues. Les paramètres intrinsèques et la carte de points produits ici sont réutilisés plus tard pour l'optimisation de la pose.
SAM3DSparseGen (#52) Construit une structure éparse et une pose initiale en combinant l'image, le masque de premier plan et les sorties de profondeur. Si votre masque est trop lâche, attendez-vous à des objets flottants et une structure plus faible; resserrez les bords pour des résultats plus nets. Le nœud émet également un objet de pose que vous pouvez prévisualiser pour vous assurer que l'orientation semble correcte. Cette structure éparse conditionne directement le générateur SLAT.
SAM3DSLATGen (#35) Convertit la structure éparse en une représentation SLAT compacte mais consciente de la géométrie. Un SLAT plus propre découle généralement d'un masque précis et d'une bonne profondeur. Si vous prévoyez de vous fier à la sortie de maillage plutôt qu'au Gaussien, favorisez les réglages qui préservent les détails plutôt qu'une extrême parcimonie. Le chemin SLAT émis alimente les deux décodeurs.
SAM3DMeshDecode (#45) Décode le SLAT en un maillage 3D étanche adapté au texturage et à l'exportation. Choisissez le maillage lorsque vous avez besoin d'une topologie qui fonctionne dans les outils DCC et les moteurs de jeu. Si vous voyez un lissage excessif ou des trous, revoyez le masque et la densité de la structure éparse en amont. Ce chemin produit un GLB qui sera cuit et éventuellement aligné sur la pose plus tard.
SAM3DGaussianDecode (#37) Génère une représentation Gaussienne 3D à partir du même SLAT pour des aperçus rapides et certains moteurs de rendu. Il est utile lorsque vous souhaitez valider la géométrie et la couverture du point de vue rapidement. Si votre Gaussien semble bruyant, améliorez le masque ou augmentez la qualité de la structure plutôt que de sur-ajuster ce nœud. Le PLY résultant aide également à la cuisson de texture.
SAM3DTextureBake (#47) Projette l'apparence de l'image source sur le maillage décodé. Utilisez une résolution de texture plus élevée lorsque vous avez besoin de gros plans, et un préréglage plus rapide pour une itération rapide. Le choix du moteur de rendu peut influencer la netteté et la vitesse; choisissez l'option plus rapide pour les aperçus et l'option de meilleure qualité pour les finales. Ce nœud produit le GLB texturé pour l'aperçu et le raffinement de la pose.
SAM3D_PoseOptimization (#57) Affiner l'alignement du GLB en utilisant les paramètres intrinsèques de la caméra, la carte de points, le masque original, et la pose initiale. Augmentez le budget d'optimisation si vous observez un mauvais alignement autour de structures fines comme les membres ou les poignées. Gardez le masque de premier plan propre pour empêcher l'optimiseur de dériver vers la géométrie de fond. Le GLB optimisé est alors prêt pour l'inspection dans l'aperçu 3D.
SAM3DBodyProcess (#61) Effectue un traitement conscient des parties du corps pour produire un maillage humain et une superposition de débogage. Sélectionnez le mode qui convient à votre cas d'utilisation, tel que corps entier ou une région spécifique, pour guider la couverture du maillage. Si les mains ou les cheveux se coupent, affinez le masque autour de ces zones pour une meilleure fidélité. Exportez en STL pour des vérifications rapides ou convertissez plus tard si nécessaire.
Extras optionnels
- Utilisez un masque propre et à fort contraste. Plumez légèrement; les bords durs se reconstruisent généralement mieux en mode objet SAM 3D ComfyUI.
- Pour une itération rapide, fiez-vous d'abord au chemin Gaussien, puis passez au décodage du maillage et aux cuissons de texture à plus haute résolution.
- Si les poids nécessitent une authentification, collez un jeton Hugging Face valide dans les nœuds de chargement avant de mettre en file d'attente le graphique.
- Inspectez le nuage de points et les aperçus de pose avant les cuissons longues pour détecter les problèmes de cadrage ou de masque tôt.
- Formats d'exportation : GLB est idéal pour les outils DCC et les moteurs, PLY Gaussiens pour les moteurs de rendu compatibles, STL en mode corps pour des vérifications rapides à l'échelle d'impression.
- Gardez l'échelle du sujet cohérente entre les prises si vous prévoyez d'utiliser les sorties SAM 3D ComfyUI pour piloter des mouvements en aval ou des séquences multi-vues.
Remerciements
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement PozzettiAndrea pour SAM 3D Objects et SAM 3D Body pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources
- PozzettiAndrea/SAM 3D Objects
- PozzettiAndrea/SAM 3D Body
- GitHub: PozzettiAndrea/ComfyUI-SAM3DBody
Remarque : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
