Pixal3D & TRELLIS.2 | Immagine-a-3D Rapido

Pixal3D & TRELLIS.2 ComfyUI Workflow: Immagine singola a 3D texturizzato GLB#

Questo Pixal3D & TRELLIS.2 ComfyUI Workflow trasforma una foto di prodotto o oggetto singolo in un asset 3D pulito e texturizzato con un GLB visualizzabile in anteprima. Il percorso predefinito esegue Pixal3D e un interruttore integrato espone il ramo TRELLIS.2, così puoi confrontare i risultati senza ricostruire il grafico. Il condizionamento DINOv3 condiviso, la stima della fotocamera MoGe, la rimozione dello sfondo, lo svolgimento UV e la cottura delle texture PBR aiutano a produrre mesh pronte per i giochi e mappe di texture. È un punto di partenza pratico per artisti, prototipisti di giochi e team di prodotto che necessitano di risultati immagine-a-3D rapidi e ripetibili all'interno di ComfyUI.

Gli output includono un'anteprima rapida del colore del vertice GLB per controlli rapidi e un GLB texturizzato PBR finale con supporto per colore di base, metallico, rugosità, occlusione ambientale e normale. Le anteprime in linea ti permettono di convalidare UV, canali di texture e comportamento della luce prima dell'esportazione.

Modelli chiave nel Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Pixal3D (Comfy‑Org) – backbone di diffusione 3D a immagine singola che prevede forma e texture dell'oggetto da una vista. Model card
• TRELLIS.2 (Comfy‑Org) – architettura a due fasi forma poi texture che migliora la coerenza geometrica e la fedeltà della texture. Model card
• DINOv3‑L vision encoder – estrattore di funzionalità usato per condizionare sia Pixal3D che TRELLIS.2 sulla tua immagine di input. (Pesi ospitati all'interno degli asset Pixal3D.) Repository
• MoGe 2 (Monocular Geometry Estimation, ViT‑L) – prevede geometria grossolana e campo visivo della fotocamera utilizzati per stabilizzare la ricostruzione a valle. Model card
• BiRefNet – rete di rimozione dello sfondo usata per isolare l'oggetto in primo piano e stringere il ritaglio. Model card
• TRELLIS.2 VAEs (Shape VAE and Texture VAE) – decodificatori per latenze di forma e texture utilizzati su entrambi i rami. Repository

Come usare il Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

Il flusso di lavoro scorre da sinistra a destra: pre-elaborazione e condizionamento dell'immagine, struttura sparsa, raffinamento della forma, generazione di texture, UV e cottura, quindi esportazione. Un singolo interruttore cambia il modello e il suo condizionamento tra Pixal3D e TRELLIS.2 mantenendo il resto della pipeline identico.

Carica Immagine di Input Qui#

Carica una foto ben illuminata di un singolo oggetto su uno sfondo pulito. I ritagli quadrati funzionano bene, ma il grafico ritaglierà automaticamente intorno al soggetto se la rimozione dello sfondo è attiva. I nodi PreviewImage mostrano esattamente cosa vedranno le fasi a valle, il che aiuta a individuare i problemi di inquadratura in anticipo.

Rimuovi Sfondo#

La separazione del primo piano utilizza BiRefNet in modo che il modello si concentri sul contorno dell'oggetto e non sulla scena. Usa Switch: Remove background (#248) per abilitare o bypassare il matting a seconda della tua immagine. La maschera risultante viene visualizzata in anteprima per una rapida verifica ed è anche usata per guidare il ritaglio.

Pre-Elaborazione dell'Immagine#

ImageCropToMask centra e riempie l'oggetto basato sulla maschera in modo che il soggetto riempia il fotogramma senza tagli. Questo migliora l'estrazione delle caratteristiche per il condizionamento e aiuta la stima della geometria a convergere sulla scala corretta. Un'anteprima conferma l'input finale che raggiunge i rami del modello 3D.

Ottieni FoV della Fotocamera#

MoGe stima i segnali di profondità monoculare e li converte in un campo visivo della fotocamera che stabilizza la ricostruzione. MoGeInference (#56) viene eseguito sull'immagine pre-elaborata, quindi MoGeGeometryToFOV alimenta l'angolo della fotocamera nel condizionamento. Il ramo Pixal3D utilizza questo segnale direttamente, mentre il ramo TRELLIS.2 si affida alle caratteristiche dell'immagine da DINOv3.

Condizionamento#

Sia Pixal3DConditioning che Trellis2Conditioning trasformano le caratteristiche DINOv3‑L in condizionamenti positivi e negativi per i campionatori di diffusione. Non è necessario regolare nulla qui nell'uso tipico. Il flusso di lavoro instrada automaticamente il condizionamento corretto al ramo del modello attivo.

Cambia Modello Qui#

Imposta Boolean (Switch to Trellis2) (#316) per scegliere il ramo attivo. L'interruttore guida ComfySwitchNode (#318) per il modello UNet e ComfySwitchNode (#314 e #315) per il corrispondente condizionamento positivo e negativo. Inizia con Pixal3D per velocità, quindi passa a TRELLIS.2 quando desideri una maggiore coerenza geometrica o dettaglio delle texture.

Generazione Struttura Sparsa#

Questa fase crea un'impalcatura di voxel grossolana dell'oggetto. KSampler (#3) funziona su una struttura latente vuota, guidata solo dal tuo condizionamento dell'immagine. VaeDecodeStructureTrellis2 (#119) converte il latente in una griglia di voxel a bassa risoluzione, che viene immediatamente convertita in una mesh approssimativa per un'anteprima 3D precoce. Utilizza questo passaggio per confermare il contorno generale prima di una campionatura più profonda.

Generazione Forma#

Trellis2ShapeStage (#91) inietta una guida consapevole della forma, quindi un KSampler mirato (#18) densifica la struttura. Trellis2UpsampleStage (#94) aumenta la risoluzione spaziale per catturare dettagli più fini senza perdere la forma stabilita. VaeDecodeShapeTrellis (#92) produce la prima mesh impermeabile più le suddivisioni della forma che mantengono il decodificatore delle texture allineato alla geometria.

Generazione Texture#

Questa fase condiziona la texture sulla forma finalizzata per evitare di dipingere al di fuori della superficie. Trellis2TextureStage (#98) prepara i latenti delle texture basati sulla forma upsampled e sul condizionamento. Un ultimo KSampler (#12) risolve il latente della texture, e VaeDecodeTextureTrellis (#93) lo converte in colori per voxel che corrispondono alla topologia della forma decodificata.

Post-Elaborazione Mesh#

Prima degli UV, la mesh viene pulita e dimensionata correttamente per la cottura e l'uso in tempo reale. RemeshMesh e DecimateMesh regolarizzano la topologia e riducono le facce preservando le caratteristiche. MeshSmoothNormals migliora la continuità dell'ombreggiatura. GetMeshInfo aiuta a instradare le versioni corrette ad alta e bassa poligonalità ai nodi di cottura.

Cottura Texture#

UnwrapMesh genera un layout UV alla dimensione della mappa scelta, controllato dal widget intero Texture Resolution. BakeTextureFromVoxel (#147) trasforma i colori dei voxel in texture di colore di base, metallico e rugosità nello spazio UV. BakeAmbientOcclusion (#233) e BakeNormalMapFromMesh (#224) cuociono mappe di occlusione e normali da alta a bassa poligonalità per l'ombreggiatura basata fisicamente. ApplyTextureToMesh (#210) assembla il set PBR sulla mesh, e i nodi di esportazione più MeshSmoothNormals scrivono il GLB finale. Usa le anteprime incluse per UV, colore di base, metallico, rugosità, AO e normali per convalidare i risultati prima di salvare.

Anteprima Colore Vertice#

Per iterazioni rapide, PaintMesh (#252) applica i colori dei voxel direttamente sulla mesh senza UV e cotture, producendo un GLB di anteprima leggero. Questo percorso è ideale per valutare rapidamente la copertura dei punti di vista, la separazione dei materiali e l'aspetto generale prima di impegnarsi nella cottura PBR completa. Usalo per individuare problemi in anticipo, quindi ritorna al ramo di cottura per le texture finali.

Nodi chiave nel Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Boolean (Switch to Trellis2) (#316) Controlla se il grafico esegue Pixal3D o TRELLIS.2. Usa Pixal3D per bozze rapide, quindi passa a TRELLIS.2 quando desideri il pipeline a due fasi forma e texture descritto nel modello card. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Instrada l'UNet selezionato in tutti i campionatori a valle in modo che il cambio di ramo sia globale e coerente. Abbinalo agli interruttori di condizionamento (ComfySwitchNode (#314) e ComfySwitchNode (#315)) per mantenere i prompt allineati con il backbone scelto.
• Trellis2ShapeStage (#91) Aggiunge una guida specifica per la geometria prima del campionamento denso, che aiuta a stabilizzare le proporzioni e il contorno. Utile quando gli input hanno contorni complessi o dettagli strutturali fini. TRELLIS.2
• Trellis2UpsampleStage (#94) Aumenta la risoluzione spaziale latente per la forma senza reintrodurre rumore. Regola solo se hai bisogno di dettagli della mesh visibilmente più fini o desideri bilanciare velocità e fedeltà. TRELLIS.2
• Trellis2TextureStage (#98) Condiziona la texture sulla forma finalizzata in modo che le mappe PBR aderiscano alle superfici. La regolazione qui influisce su quanto strettamente la texture segue la geometria rispetto ai segnali di aspetto. TRELLIS.2
• UnwrapMesh (#196) Genera un atlante UV utilizzato da tutte le cotture successive. Coordina la sua risoluzione con il controllo Texture Resolution per impostare la dimensione della mappa target per colore di base, metallico, rugosità, AO e normale.
• BakeTextureFromVoxel (#147) Converte i colori dei voxel in texture UV e li allinea con una mesh di riferimento dal decodificatore di forma per preservare i dettagli. Aumenta la dimensione della texture quando vedi sanguinamento di colore o perdita di piccoli segni.
• ApplyTextureToMesh (#210) Combina colore di base, metallico, rugosità, occlusione e normale in una mesh finale pronta per PBR. Usa le anteprime incluse per verificare ogni canale prima dell'esportazione.
• MoGeInference (#56) Stima la geometria e il FoV della fotocamera che migliorano la stabilità della ricostruzione, specialmente per lenti strette o larghe. Mantienilo attivo per la maggior parte degli input per evitare derive di scala. MoGe
• RemoveBackground (#192) e Switch: Remove background (#248) Matting del primo piano opzionale alimentato da BiRefNet. Abilita quando scene affollate o ombre confondono la ricostruzione. BiRefNet
• Save3DAdvanced (#322) Scrive il GLB finale e ti permette di impostare un prefisso per il nome del file e una fotocamera di anteprima. Usalo alla fine del ramo PBR una volta che tutti i controlli delle texture sembrano corretti.

Extra opzionali#

• Punta a un singolo oggetto centrato con minima occlusione e buon contrasto dei bordi per i migliori risultati del Pixal3D & TRELLIS.2 ComfyUI Workflow.
• Se gli sfondi sono ingombranti, abilita l'interruttore di rimozione dello sfondo per migliorare la qualità del contorno e l'efficienza del packing UV.
• Itera rapidamente con il GLB di anteprima del colore del vertice, quindi esegui il ramo di cottura completo quando la forma e la separazione dei materiali sembrano giuste.
• Aumenta Texture Resolution quando esporti asset eroe o scatti macro. Mantienilo modesto per accessori veloci o obiettivi mobili.
• Usa l'anteprima dell'atlante UV per individuare allungamenti o sovrapposizioni prima di cuocere normali e occlusione.
• Preferisci viste a 3/4 o angolate frontalmente piuttosto che prospettive estreme per ricostruzioni più complete.

Riconoscimenti#

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo Comfy.org per il modello di workflow di Source, Comfy-Org per i pesi dei modelli Pixal3D e TRELLIS.2, e Comfy-Org per i pesi dei modelli MoGe e BiRefNet per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• Comfy.org/Source workflow template
  • Docs / Note di rilascio: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

Nota: Ljson

uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e condizioni fornite dai loro autori e manutentori.