Idol ComfyUI Image to 3D : image unique en éclat gaussien 3D avec SPZ, GLB et vidéo en orbite#
Idol ComfyUI Image to 3D transforme une photo de sujet unique en une vue 3D navigable. Le flux de travail reconstruit un éclat gaussien à partir d'une image, vous permet d'orbiter le résultat dans une prévisualisation en direct et exporte à la fois un éclat SPZ et un maillage GLB optionnel pour les pipelines DCC, de jeu ou XR en aval. Il est propulsé par la fine-tune Idol de TripoSplat, qui lit des personnages stylisés, des figures et des accessoires avec de forts a priori.
Utilisez Idol ComfyUI Image to 3D lorsque vous souhaitez une exploration 3D rapide à partir d'une photo de produit propre ou d'une feuille de concept. Les côtés invisibles sont déduits de la vue visible, donc les détails fins de l'arrière peuvent être approximatifs, et la conversion GLB est destinée à des blocages rapides qui peuvent nécessiter un nettoyage avant une utilisation en production.
Modèles clés dans le flux de travail Comfyui Idol ComfyUI Image to 3D#
- Modèle de diffusion Comfy-Org Idol. Les poids UNet qui pilotent la génération 3D à vue unique basée sur la méthode TripoSplat. Offre de meilleures performances sur des sujets stylisés par rapport au modèle de base. Hugging Face: Comfy-Org/Idol et l'original speridlabs/idol.
- Encodeur de vision DINOv3 ViT-H. Fournit des fonctionnalités visuelles robustes à partir de l'image d'entrée qui conditionnent l'échantillonneur de TripoSplat pour une meilleure cohérence 3D. Distribué avec le dépôt Idol. Hugging Face: Comfy-Org/Idol
- Décodeur VAE Idol. Décode les échantillons latents en une représentation d'éclat gaussien qui peut être rendue et exportée. Hugging Face: Comfy-Org/Idol
- Flux2 VAE. Un VAE secondaire utilisé dans le chemin de conditionnement pour aligner les fonctionnalités pour l'espace latent de TripoSplat. Hugging Face: Comfy-Org/Idol
- Modèle de suppression de fond BiRefNet. Produit des masques de sujet propres qui améliorent la géométrie et la couleur autour des frontières fines telles que les cheveux ou les accessoires. Hugging Face: Comfy-Org/BiRefNet
Pour des informations de fond sur l'approche sous-jacente, voir TripoSplat sur GitHub et son article. GitHub: VAST-AI-Research/TripoSplat et arXiv:2605.16355
Comment utiliser le flux de travail Comfyui Idol ComfyUI Image to 3D#
Ce flux de travail a une étape de génération principale et trois branches de sortie qui fonctionnent en parallèle : une vidéo en orbite, un éclat SPZ et un maillage GLB expérimental. Chargez un sujet unique et centré sur un fond simple et mettez la file d'attente du graphe pour obtenir toutes les sorties en une seule passe.
Image à Éclat Gaussien (génération principale)#
Le nœud LoadImage (#99) charge votre image source et l'alpha optionnel. Le sous-graphe Image to Gaussian Splat (TripoSplat) (#88) gère le prétraitement, la segmentation optionnelle BiRefNet, et le conditionnement TripoSplat. En interne, CLIPVisionLoader et les VAE extraient les fonctionnalités, KSampler (#6) génère des latents, et VAEDecodeTripoSplat (#55) les convertit en un éclat gaussien 3D. Utilisez les contrôles du sous-graphe pour basculer auto_remove_background, définir num_gaussians, choisir les checkpoints Idol, et définir une seed. Activez enable_preview pour acheminer le modèle via TripoSplatSamplingPreview (#97) pour une vérification rapide avant le décodage complet.
Créer une Vidéo#
RenderSplat (#75) rend une orbite de l'éclat reconstruit. Le mouvement de la caméra est défini par CreateCameraInfo (#79) en mode orbite, que vous pouvez ajuster pour la distance et le cadrage. CreateVideo (#41) assemble les cadres et SaveVideo (#42) écrit le clip résultant. Cette branche est idéale pour examiner les silhouettes et vérifier les artefacts de flottement ou d'occlusion sans quitter ComfyUI.
Créer un Modèle 3D (éclat SPZ)#
SplatToFile3D (#92) écrit l'éclat gaussien dans un fichier .spz qui préserve les attributs de point utilisés pour le rendu d'éclat de haute qualité. SaveGLB (#51) fournit un visualiseur 3D pour inspecter l'orientation et l'échelle, puis engage le fichier sur le disque. Choisissez ce chemin lorsque vous avez besoin de la visualisation en temps réel la plus fidèle de la sortie Idol ComfyUI Image to 3D.
Créer un Modèle 3D (maillage expérimental)#
SplatToMesh (#76) convertit l'éclat en un maillage triangulaire pour l'interchange, avec des contrôles pour la résolution, le lissage et le nettoyage des composants. SaveGLB (#67) exporte le résultat en .glb. Ce chemin est expérimental et principalement pour des blocages rapides. Attendez-vous à retopologiser, décimer ou corriger l'ombrage dans un outil DCC pour la production.
Nœuds clés dans le flux de travail Comfyui Idol ComfyUI Image to 3D#
UNETLoader (#16)#
Charge les poids UNet Idol qui spécialisent TripoSplat pour les personnages et accessoires stylisés. Si vous avez besoin d'une comparaison de base, vous pouvez échanger avec le UNet TripoSplat standard de son dépôt. Gardez le UNet, le modèle de vision CLIP, et les VAE de la même famille de versions pour un comportement stable. Poids de référence : Hugging Face: Comfy-Org/Idol et GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Pilote le calendrier de débruitage qui produit la représentation 3D latente. Les contrôles les plus impactants sont steps, sampler_name, scheduler, cfg, et seed. Augmentez les étapes pour la fidélité, ajustez le CFG pour équilibrer l'adhérence au conditionnement par rapport à la douceur, et utilisez la seed pour la reproductibilité entre les exécutions. Évitez les CFG extrêmes avec des étapes très faibles, ce qui peut introduire une géométrie instable.
VAEDecodeTripoSplat (#55)#
Transforme le latent final en un éclat gaussien. Le paramètre décisif est num_gaussians, qui définit le nombre de points et impacte à la fois le détail et l'utilisation de la mémoire. Utilisez des comptes modérés pour les prévisualisations et des comptes plus élevés pour les exportations finales SPZ. Des comptes très élevés augmentent le coût de rendu et n'inventent pas de nouveaux détails au-delà de ce que le modèle a déduit.
ComfySwitchNode (#35) Switch: Source de Masque#
Choisit entre le masque BiRefNet et tout alpha ou masque que vous fournissez avec LoadImage. Utilisez le masque dérivé du modèle lorsque l'entrée a un fond chargé. Si vous fournissez un alpha propre, basculez sur votre masque pour préserver les structures fines.
TripoSplatSamplingPreview (#97)#
Fournit une prévisualisation rapide et peu coûteuse de l'orientation de l'échantillonnage et de la géométrie approximative. Activez cela lors du premier test d'un sujet ou lors du changement de checkpoints. Cela vous aide à vérifier le cadrage et l'échelle avant de vous engager dans un décodage complet.
RenderSplat (#75)#
Rend les cadres d'orbite utilisés pour la vidéo de prévisualisation. Les contrôles clés sont la largeur et hauteur de l'image, frames, splat_scale, headlight_shading, et opacity_threshold. Gardez un œil sur l'échelle de l'éclat et le seuil d'opacité ensemble, qui régissent l'apparence douce ou serrée du mélange de points.
SplatToMesh (#76)#
Convertit l'éclat en un maillage triangulaire pour l'exportation .glb. resolution, min_component, min_opacity, et smooth régulent l'équilibre entre le détail et la propreté. Augmentez la résolution pour plus de fidélité de surface, et augmentez le composant minimum pour supprimer les petites coques flottantes. Attendez-vous à exécuter un nettoyage de maillage dans un DCC pour de meilleurs résultats.
CreateCameraInfo (#79)#
Définit un chemin de caméra en orbite pour la branche vidéo. Ajustez la distance, le lacet et le tangage pour centrer le sujet et éviter le rognage. Associez les ajustements de caméra aux changements de résolution de RenderSplat pour garder votre sujet cadré de manière cohérente entre les sorties.
Extras optionnels#
- Préférez les images avec le sujet centré, entièrement dans le cadre, et avec un fond minimal.
- Si vous avez déjà un alpha de haute qualité, utilisez-le ; sinon, activez la suppression automatique de fond pour de meilleurs bords.
- Commencez avec un
num_gaussiansmodéré pour l'itération, puis augmentez-le pour l'exportation finale SPZ lorsque vous êtes satisfait de la forme. - Utilisez le basculement de prévisualisation pour valider la pose et l'échelle avant le décodage complet.
- SPZ est le meilleur pour la fidélité et l'itération rapide dans les visionneuses compatibles avec les éclats ; GLB est pour l'interchange et nécessitera généralement un nettoyage.
- Lors de la conversion en maillage, attendez-vous à décimer et à corriger les normales ou l'ombrage dans votre DCC.
- Pour la vidéo en orbite, ajustez la distance de la caméra et le nombre de cadres pour équilibrer douceur et temps de rendu.
- La méthode déduit les côtés invisibles de la vue visible, donc la symétrie et les formes simples se reconstruisent le plus fiablement.
Remerciements#
Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Comfy-Org pour les fichiers de modèles Idol ComfyUI, Sperid Labs pour le modèle IDOL original, et Comfy-Org pour le modèle de flux de travail ComfyUI (3d_idol_image_to_gaussian_splat.json) pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.
