Pixal3D & TRELLIS.2 | Rápido de Imagem para 3D

Fluxo de Trabalho Pixal3D & TRELLIS.2 ComfyUI: Imagem única para GLB 3D texturizado#

Este fluxo de trabalho Pixal3D & TRELLIS.2 ComfyUI transforma uma foto de produto ou objeto único em um ativo 3D limpo e texturizado com um GLB visualizável. O caminho padrão executa Pixal3D e uma chave embutida expõe o ramo TRELLIS.2, permitindo comparar resultados sem reconstruir o gráfico. O condicionamento DINOv3 compartilhado, estimativa de câmera MoGe, remoção de fundo, desembrulho UV e cozimento de textura PBR ajudam a produzir malhas prontas para jogos e mapas de textura. É um ponto de partida prático para artistas, prototipadores de jogos e equipes de produto que precisam de resultados rápidos e repetíveis de imagem para 3D dentro do ComfyUI.

As saídas incluem uma visualização rápida de cor de vértice em GLB para verificações rápidas e um GLB final texturizado com PBR com cor base, metálico, rugosidade, oclusão ambiente e suporte normal. As visualizações em linha permitem validar UVs, canais de textura e comportamento de iluminação antes da exportação.

Modelos principais no fluxo de trabalho Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Pixal3D (Comfy‑Org) – backbone de difusão 3D de imagem única que prevê forma e textura de objeto a partir de uma visão. Model card
• TRELLIS.2 (Comfy‑Org) – arquitetura em dois estágios, forma e textura, que melhora a consistência geométrica e a fidelidade da textura. Model card
• Codificador de visão DINOv3‑L – extrator de características usado para condicionar tanto Pixal3D quanto TRELLIS.2 na sua imagem de entrada. (Pesos hospedados dentro dos ativos Pixal3D.) Repository
• MoGe 2 (Estimativa de Geometria Monocular, ViT‑L) – prevê geometria grosseira e campo de visão da câmera usado para estabilizar a reconstrução a jusante. Model card
• BiRefNet – rede de remoção de fundo usada para isolar o objeto em primeiro plano e apertar o corte. Model card
• TRELLIS.2 VAEs (Shape VAE e Texture VAE) – decodificadores para latentes de forma e textura usados em ambos os ramos. Repository

Como usar o fluxo de trabalho Comfyui Pixal3D & TRELLIS.2 ComfyUI#

O fluxo de trabalho flui da esquerda para a direita: pré-processamento e condicionamento de imagem, estrutura esparsa, refinamento de forma, geração de textura, UVs e cozimento, depois exportação. Um único botão alterna o modelo e seu condicionamento entre Pixal3D e TRELLIS.2 enquanto mantém o resto do pipeline idêntico.

Carregar Imagem de Entrada Aqui#

Carregue uma foto bem iluminada de um único objeto contra um fundo limpo. Cortes quadrados funcionam bem, mas o gráfico irá cortar automaticamente em torno do sujeito se a remoção de fundo estiver ativa. Os nós PreviewImage mostram exatamente o que as etapas a jusante verão, o que ajuda a detectar problemas de enquadramento cedo.

Remover Fundo#

A separação de primeiro plano usa BiRefNet para que o modelo foque na silhueta do objeto e não na cena. Use Switch: Remove background (#248) para habilitar ou ignorar o mascaramento dependendo da sua imagem. A máscara resultante é visualizada para verificação rápida e também é usada para conduzir o corte.

Pré-processamento de Imagem#

ImageCropToMask centraliza e preenche o objeto com base na máscara para que o sujeito preencha o quadro sem cortar. Isso melhora a extração de características para condicionamento e ajuda a estimativa de geometria a convergir na escala correta. Uma visualização confirma a entrada final que chega aos ramos do modelo 3D.

Obter Campo de Visão da Câmera#

MoGe estima pistas de profundidade monocular e as converte em um campo de visão da câmera que estabiliza a reconstrução. MoGeInference (#56) roda na imagem pré-processada, depois MoGeGeometryToFOV alimenta o ângulo da câmera de volta ao condicionamento. O ramo Pixal3D usa esse sinal diretamente, enquanto o ramo TRELLIS.2 depende de características de imagem do DINOv3.

Condicionamento#

Tanto Pixal3DConditioning quanto Trellis2Conditioning transformam características DINOv3‑L em condicionamentos positivos e negativos para os amostradores de difusão. Você não precisa ajustar nada aqui no uso típico. O fluxo de trabalho automaticamente direciona o condicionamento correto para o ramo de modelo ativo.

Alternar Modelo Aqui#

Defina Boolean (Switch to Trellis2) (#316) para escolher o ramo ativo. O botão aciona ComfySwitchNode (#318) para o modelo UNet e ComfySwitchNode (#314 e #315) para o condicionamento positivo e negativo correspondente. Comece com Pixal3D para velocidade, depois mude para TRELLIS.2 quando quiser consistência geométrica mais forte ou detalhes de textura.

Geração de Estrutura Esparsa#

Esta etapa cria um andaime de voxel grosseiro do objeto. KSampler (#3) roda em uma estrutura latente vazia, guiada apenas pelo seu condicionamento de imagem. VaeDecodeStructureTrellis2 (#119) converte o latente em uma grade de voxel de baixa resolução, que é imediatamente convertida em uma malha grosseira para visualização 3D inicial. Use esta passagem para confirmar a silhueta geral antes de uma amostragem mais profunda.

Geração de Forma#

Trellis2ShapeStage (#91) injeta orientação específica de forma, depois um KSampler (#18) direcionado densifica a estrutura. Trellis2UpsampleStage (#94) aumenta a resolução espacial para capturar detalhes mais finos sem perder a forma estabelecida. VaeDecodeShapeTrellis (#92) produz a primeira malha estanque mais as subdivisões de forma que mantêm a decodificação de textura posterior alinhada à geometria.

Geração de Textura#

Esta etapa condiciona a textura na forma finalizada para evitar pintura fora da superfície. Trellis2TextureStage (#98) prepara latentes de textura com base na forma aumentada e no condicionamento. Um KSampler (#12) final resolve o latente de textura, e VaeDecodeTextureTrellis (#93) converte em cores por voxel que combinam com a topologia da forma decodificada.

Pós-processamento de Malha#

Antes dos UVs, a malha é limpa e dimensionada para cozimento e uso em tempo real. RemeshMesh e DecimateMesh regularizam a topologia e reduzem faces enquanto preservam características. MeshSmoothNormals melhora a continuidade de sombreamento. GetMeshInfo ajuda a direcionar as versões de alta e baixa poligonal corretas para os nós de cozimento.

Cozimento de Textura#

UnwrapMesh gera um layout UV no tamanho de mapa escolhido, controlado pelo widget inteiro Texture Resolution. BakeTextureFromVoxel (#147) transforma cores de voxel em texturas de cor base, metálico e rugosidade no espaço UV. BakeAmbientOcclusion (#233) e BakeNormalMapFromMesh (#224) assam mapas de oclusão e normais de alta para baixa poligonal para sombreamento baseado em física. ApplyTextureToMesh (#210) monta o conjunto PBR na malha, e MeshSmoothNormals mais nós de exportação gravam o GLB final. Use as visualizações incluídas para UVs, cor base, metálico, rugosidade, AO e normais para validar os resultados antes de salvar.

Visualização de cor de vértice#

Para iteração rápida, PaintMesh (#252) aplica cores de voxel diretamente na malha sem UVs e cozimento, produzindo um GLB de visualização leve. Este caminho é ideal para avaliar rapidamente a cobertura do ponto de vista, separação de material e aparência geral antes de se comprometer com o cozimento completo de PBR. Use-o para identificar problemas cedo, depois retorne ao ramo de cozimento para texturas finais.

Nós principais no fluxo de trabalho Comfyui Pixal3D & TRELLIS.2 ComfyUI#

• Boolean (Switch to Trellis2) (#316) Controla se o gráfico executa Pixal3D ou TRELLIS.2. Use Pixal3D para rascunhos rápidos, depois mude para TRELLIS.2 quando quiser o pipeline de forma e textura em dois estágios descrito no cartão do modelo. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Direciona o UNet selecionado para todos os amostradores a jusante para que a mudança de ramo seja global e consistente. Emparelhe-o com os interruptores de condicionamento (ComfySwitchNode (#314) e ComfySwitchNode (#315)) para manter os prompts alinhados com o backbone escolhido.
• Trellis2ShapeStage (#91) Adiciona orientação específica de geometria antes da amostragem densa, o que ajuda a estabilizar proporções e silhueta. Útil quando as entradas têm contornos complexos ou detalhes estruturais finos. TRELLIS.2
• Trellis2UpsampleStage (#94) Aumenta a resolução espacial latente para forma sem reintroduzir ruído. Ajuste apenas se precisar de detalhes de malha visivelmente mais finos ou quiser equilibrar velocidade e fidelidade. TRELLIS.2
• Trellis2TextureStage (#98) Condiciona a textura na forma finalizada para que os mapas PBR adiram às superfícies. Ajustes aqui afetam quão fortemente a textura segue a geometria versus pistas de aparência. TRELLIS.2
• UnwrapMesh (#196) Gera um atlas UV usado por todos os cozimentos subsequentes. Coordene sua resolução com o controle Texture Resolution para definir o tamanho do mapa alvo para cor base, metálico, rugosidade, AO e normal.
• BakeTextureFromVoxel (#147) Converte cores de voxel em texturas UV e as alinha com uma malha de referência do decodificador de forma para preservar detalhes. Aumente o tamanho da textura quando vir vazamento de cor ou perda de pequenas marcações.
• ApplyTextureToMesh (#210) Combina cor base, metálico, rugosidade, oclusão e normal em uma malha final pronta para PBR. Use as visualizações incluídas para verificar cada canal antes da exportação.
• MoGeInference (#56) Estima geometria e campo de visão da câmera que melhoram a estabilidade da reconstrução, especialmente para lentes estreitas ou largas. Mantenha isso ligado para a maioria das entradas para evitar deriva de escala. MoGe
• RemoveBackground (#192) e Switch: Remove background (#248) Mascaramento de primeiro plano opcional alimentado por BiRefNet. Habilite quando cenas ocupadas ou sombras confundirem a reconstrução. BiRefNet
• Save3DAdvanced (#322) Grava o GLB final e permite definir um prefixo de nome de arquivo e câmera de visualização. Use-o no final do ramo PBR assim que todas as verificações de textura parecerem corretas.

Extras opcionais#

• Mire em um único objeto centralizado com mínima oclusão e bom contraste de borda para os melhores resultados do fluxo de trabalho Pixal3D & TRELLIS.2 ComfyUI.
• Se os fundos estiverem desordenados, habilite o interruptor de remoção de fundo para melhorar a qualidade da silhueta e a eficiência do empacotamento UV.
• Itere rapidamente com o GLB de visualização de cor de vértice, depois execute o ramo de cozimento completo quando a forma e a separação de material parecerem corretas.
• Aumente Texture Resolution ao exportar ativos heroicos ou fotos macro. Mantenha modesto para adereços rápidos ou alvos móveis.
• Use a visualização do atlas UV para detectar estiramentos ou sobreposições antes de assar normais e oclusão.
• Prefira vistas de 3/4 ou anguladas de frente em vez de perspectivas extremas para reconstruções mais completas.

Agradecimentos#

Este fluxo de trabalho implementa e constrói sobre os seguintes trabalhos e recursos. Agradecemos a Comfy.org pelo modelo de fluxo de trabalho Source, Comfy-Org pelos pesos dos modelos Pixal3D e TRELLIS.2, e Comfy-Org pelos pesos dos modelos MoGe e BiRefNet por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.

Recursos#

• Comfy.org/Source workflow template
  • Docs / Release Notes: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.