Idol ComfyUI Immagine a 3D: singola immagine in splat gaussiano 3D con SPZ, GLB e video in orbita#
Idol ComfyUI Immagine a 3D trasforma una foto di un singolo soggetto in una vista 3D navigabile. Il workflow ricostruisce uno splat gaussiano da un'immagine, ti permette di orbitare il risultato in un'anteprima dal vivo e esporta sia uno splat SPZ che una mesh GLB opzionale per pipeline DCC, giochi o XR. È alimentato dall'affinamento Idol di TripoSplat, che legge personaggi stilizzati, figure e oggetti con forti pregiudizi.
Usa Idol ComfyUI Immagine a 3D quando vuoi un'esplorazione 3D rapida da uno scatto di prodotto pulito o un foglio concettuale. I lati non visibili sono dedotti dalla vista visibile, quindi i dettagli posteriori fini possono essere approssimativi, e la conversione GLB è intesa per blocchi rapidi che possono richiedere una pulizia prima dell'uso in produzione.
Modelli chiave nel workflow Idol ComfyUI Immagine a 3D#
- Modello di diffusione Comfy-Org Idol. I pesi UNet che guidano la generazione 3D da una singola vista basata sul metodo TripoSplat. Fornisce prestazioni più forti su soggetti stilizzati rispetto al modello base. Hugging Face: Comfy-Org/Idol e l'originale speridlabs/idol.
- Encoder di visione DINOv3 ViT-H. Fornisce robuste caratteristiche visive dall'immagine di input che condizionano il campionatore di TripoSplat per una migliore coerenza 3D. Distribuito con il repository Idol. Hugging Face: Comfy-Org/Idol
- Decoder VAE Idol. Decodifica campioni latenti in una rappresentazione di splat gaussiano che può essere reso ed esportato. Hugging Face: Comfy-Org/Idol
- VAE Flux2. Un VAE secondario utilizzato nel percorso di condizionamento per allineare le caratteristiche per lo spazio latente di TripoSplat. Hugging Face: Comfy-Org/Idol
- Modello di rimozione del background BiRefNet. Produce maschere del soggetto pulite che migliorano la geometria e il colore attorno a bordi sottili come capelli o oggetti. Hugging Face: Comfy-Org/BiRefNet
Per informazioni di base sull'approccio sottostante, vedi TripoSplat su GitHub e il suo documento. GitHub: VAST-AI-Research/TripoSplat e arXiv:2605.16355
Come utilizzare il workflow Idol ComfyUI Immagine a 3D#
Questo workflow ha una fase di generazione principale e tre rami di output che funzionano in parallelo: un video in orbita, uno splat SPZ e una mesh GLB sperimentale. Carica un soggetto singolo, centrato su uno sfondo semplice, e metti in coda il grafico per ottenere tutti gli output in un unico passaggio.
Immagine a Splat Gaussiano (generazione principale)#
Il nodo LoadImage (#99) porta dentro la tua immagine sorgente e un eventuale alfa. Il sottografo Immagine a Splat Gaussiano (TripoSplat) (#88) gestisce la pre-elaborazione, la segmentazione opzionale BiRefNet e il condizionamento TripoSplat. Internamente, CLIPVisionLoader e i VAE estraggono le caratteristiche, KSampler (#6) genera latenti, e VAEDecodeTripoSplat (#55) li converte in uno splat gaussiano 3D. Usa i controlli del sottografo per attivare auto_remove_background, impostare num_gaussians, scegliere i checkpoint Idol e impostare un seed. Attiva enable_preview per instradare il modello attraverso TripoSplatSamplingPreview (#97) per un rapido controllo di sanità mentale prima della decodifica completa.
Creare Video#
RenderSplat (#75) rende un'orbita dello splat ricostruito. Il movimento della telecamera è definito da CreateCameraInfo (#79) in modalità orbita, che puoi regolare per distanza e inquadratura. CreateVideo (#41) assembla i fotogrammi e SaveVideo (#42) scrive il clip risultante. Questo ramo è ideale per rivedere silhouette e controllare artefatti di galleggiamento o occlusione senza lasciare ComfyUI.
Creare Modello 3D (splat SPZ)#
SplatToFile3D (#92) scrive lo splat gaussiano in un file .spz che conserva gli attributi del punto utilizzati per il rendering splat di alta qualità. SaveGLB (#51) fornisce un visualizzatore 3D in modo da poter ispezionare orientamento e scala, quindi impegna il file su disco. Scegli questo percorso quando hai bisogno della visualizzazione in tempo reale più fedele dell'output Idol ComfyUI Immagine a 3D.
Creare Modello 3D (mesh sperimentale)#
SplatToMesh (#76) converte lo splat in una mesh triangolare per l'intercambio, con controlli per risoluzione, levigatura e pulizia dei componenti. SaveGLB (#67) esporta il risultato come .glb. Questo percorso è sperimentale e principalmente per blocchi rapidi. Aspettati di retopologizzare, decimare o correggere l'ombreggiatura in uno strumento DCC per la produzione.
Nodi chiave nel workflow Idol ComfyUI Immagine a 3D#
UNETLoader (#16)#
Carica i pesi UNet di Idol che specializzano TripoSplat per personaggi e oggetti stilizzati. Se hai bisogno di un confronto di base, puoi passare al TripoSplat UNet standard dal suo repository. Mantieni UNet, modello di visione CLIP e VAE dalla stessa famiglia di release per un comportamento stabile. Pesi di riferimento: Hugging Face: Comfy-Org/Idol e GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Guida il programma di denoising che produce la rappresentazione 3D latente. I controlli più impattanti sono steps, sampler_name, scheduler, cfg, e seed. Aumenta i passi per la fedeltà, regola CFG per bilanciare l'aderenza al condizionamento rispetto alla morbidezza, e usa il seed per la riproducibilità tra le esecuzioni. Evita CFG estremo con passi molto bassi, che possono introdurre geometrie instabili.
VAEDecodeTripoSplat (#55)#
Trasforma il latente finale in uno splat gaussiano. Il parametro decisivo è num_gaussians, che imposta il conteggio dei punti e influisce sia sul dettaglio che sull'uso della memoria. Usa conteggi moderati per le anteprime e conteggi più alti per le esportazioni finali SPZ. Conteggi molto alti aumentano il costo del rendering e non inventano nuovi dettagli oltre a quelli dedotti dal modello.
ComfySwitchNode (#35) Switch: Mask Source#
Sceglie tra la maschera BiRefNet e qualsiasi alfa o maschera fornita con LoadImage. Usa la maschera derivata dal modello quando l'input ha uno sfondo occupato. Se fornisci un'alfa pulita, passa alla tua maschera per preservare le strutture sottili.
TripoSplatSamplingPreview (#97)#
Fornisce un'anteprima rapida e a basso costo dell'orientamento del campionamento e della geometria approssimativa. Abilita questo quando testi per la prima volta un soggetto o quando cambi i checkpoint. Ti aiuta a verificare l'inquadratura e la scala prima di impegnarti in una decodifica completa.
RenderSplat (#75)#
Rende i fotogrammi dell'orbita utilizzati per il video di anteprima. I controlli chiave sono width e height dell'immagine, frames, splat_scale, headlight_shading, e opacity_threshold. Tieni d'occhio la scala dello splat e la soglia di opacità insieme, che governano quanto appare morbido o stretto il blending dei punti.
SplatToMesh (#76)#
Converte lo splat in una mesh triangolare per l'esportazione .glb. resolution, min_component, min_opacity, e smooth regolano l'equilibrio tra dettaglio e pulizia. Aumenta la risoluzione per maggiore fedeltà della superficie e aumenta il componente minimo per rimuovere piccoli gusci fluttuanti. Aspettati di eseguire la pulizia della mesh in un DCC per i migliori risultati.
CreateCameraInfo (#79)#
Definisce un percorso della telecamera in orbita per il ramo video. Regola distanza, imbardata e beccheggio per centrare il soggetto ed evitare il ritaglio. Abbina le modifiche della telecamera ai cambiamenti di risoluzione di RenderSplat per mantenere il soggetto inquadrato in modo coerente tra gli output.
Extra opzionali#
- Preferisci immagini con il soggetto centrato, completamente inquadrato e con sfondo minimo.
- Se hai già un'alfa di alta qualità, usala; altrimenti abilita la rimozione automatica dello sfondo per bordi migliori.
- Inizia con un
num_gaussiansmoderato per l'iterazione, poi aumentalo per l'esportazione finale SPZ quando sei soddisfatto della forma. - Usa il toggle di anteprima per validare posa e scala prima della decodifica completa.
- SPZ è il migliore per fedeltà e iterazione rapida in visualizzatori compatibili con splat; GLB è per l'intercambio e di solito avrà bisogno di pulizia.
- Quando converti in mesh, aspettati di decimare e correggere le normali o l'ombreggiatura nel tuo DCC.
- Per il video in orbita, regola la distanza della telecamera e il conteggio dei fotogrammi per bilanciare morbidezza e tempo di rendering.
- Il metodo deduce i lati non visibili dalla vista visibile, quindi simmetria e forme semplici si ricostruiscono più affidabilmente.
Riconoscimenti#
Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo Comfy-Org per i file modello ComfyUI Idol, Sperid Labs per il modello IDOL originale, e Comfy-Org per il template del workflow ComfyUI (3d_idol_image_to_gaussian_splat.json) per i loro contributi e la manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.