Idol ComfyUI Imagem para 3D: imagem única para splat Gaussian 3D com SPZ, GLB e vídeo em órbita#
Idol ComfyUI Imagem para 3D transforma uma foto de assunto único em uma visualização 3D navegável. O fluxo de trabalho reconstrói um splat Gaussian de uma imagem, permite que você orbite o resultado em uma pré-visualização ao vivo e exporta tanto um splat SPZ quanto uma malha GLB opcional para pipelines DCC, de jogos ou XR. É alimentado pelo ajuste fino Idol do TripoSplat, que lê personagens estilizados, figuras e adereços com fortes priors.
Use Idol ComfyUI Imagem para 3D quando quiser exploração 3D rápida a partir de uma foto de produto limpa ou folha de conceito. Os lados não vistos são inferidos da vista visível, portanto, detalhes finos da parte traseira podem ser aproximados, e a conversão GLB é destinada a bloqueios rápidos que podem exigir limpeza antes do uso em produção.
Modelos principais no fluxo de trabalho Comfyui Idol ComfyUI Imagem para 3D#
- Modelo de difusão Comfy-Org Idol. Os pesos UNet que impulsionam a geração 3D de visão única com base no método TripoSplat. Fornece desempenho mais forte em assuntos estilizados em comparação com o modelo base. Hugging Face: Comfy-Org/Idol e o original speridlabs/idol.
- Encoder de visão DINOv3 ViT-H. Fornece recursos visuais robustos a partir da imagem de entrada que condicionam o sampler do TripoSplat para melhor consistência 3D. Distribuído com o repositório Idol. Hugging Face: Comfy-Org/Idol
- Decoder Idol VAE. Decodifica amostras latentes em uma representação de splat Gaussian que pode ser renderizada e exportada. Hugging Face: Comfy-Org/Idol
- Flux2 VAE. Um VAE secundário usado no caminho de condicionamento para alinhar recursos para o espaço latente do TripoSplat. Hugging Face: Comfy-Org/Idol
- Modelo de remoção de fundo BiRefNet. Produz máscaras de assunto limpas que melhoram a geometria e a cor ao redor de limites finos, como cabelos ou adereços. Hugging Face: Comfy-Org/BiRefNet
Para informações de fundo sobre a abordagem subjacente, veja TripoSplat no GitHub e seu artigo. GitHub: VAST-AI-Research/TripoSplat e arXiv:2605.16355
Como usar o fluxo de trabalho Comfyui Idol ComfyUI Imagem para 3D#
Este fluxo de trabalho tem um estágio central de geração e três ramificações de saída que são executadas em paralelo: um vídeo de órbita, um splat SPZ e uma malha GLB experimental. Carregue um único assunto centralizado em um fundo simples e coloque na fila o gráfico para obter todas as saídas em uma única passagem.
Imagem para Splat Gaussian (geração central)#
O nó LoadImage (#99) traz sua imagem de origem e alfa opcional. O subgrafo Imagem para Splat Gaussian (TripoSplat) (#88) lida com pré-processamento, segmentação opcional BiRefNet e condicionamento TripoSplat. Internamente, CLIPVisionLoader e os VAEs extraem recursos, KSampler (#6) gera latentes, e VAEDecodeTripoSplat (#55) os converte em um splat Gaussian 3D. Use os controles do subgrafo para alternar auto_remove_background, definir num_gaussians, escolher os checkpoints Idol e definir uma seed. Ative enable_preview para direcionar o modelo através de TripoSplatSamplingPreview (#97) para uma rápida verificação de sanidade antes da decodificação completa.
Criar Vídeo#
RenderSplat (#75) renderiza uma órbita do splat reconstruído. O movimento da câmera é definido por CreateCameraInfo (#79) no modo órbita, que você pode ajustar para distância e enquadramento. CreateVideo (#41) monta os quadros e SaveVideo (#42) escreve o clipe resultante. Este ramo é ideal para revisar silhuetas e verificar por flutuadores ou artefatos de oclusão sem sair do ComfyUI.
Criar Modelo 3D (splat SPZ)#
SplatToFile3D (#92) escreve o splat Gaussian para um arquivo .spz que preserva os atributos de ponto usados para renderização de splat de alta qualidade. SaveGLB (#51) fornece um visualizador 3D para que você possa inspecionar orientação e escala, depois comita o arquivo para o disco. Escolha este caminho quando precisar da visualização em tempo real mais fiel da saída Idol ComfyUI Imagem para 3D.
Criar Modelo 3D (malha experimental)#
SplatToMesh (#76) converte o splat em uma malha de triângulos para intercâmbio, com controles para resolução, suavização e limpeza de componentes. SaveGLB (#67) exporta o resultado como .glb. Este caminho é experimental e principalmente para bloqueios rápidos. Espere retopologizar, dizimar ou corrigir sombreamento em uma ferramenta DCC para produção.
Nós principais no fluxo de trabalho Comfyui Idol ComfyUI Imagem para 3D#
UNETLoader (#16)#
Carrega os pesos UNet do Idol que especializam o TripoSplat para personagens e adereços estilizados. Se precisar de uma comparação de base, você pode trocar para o UNet TripoSplat padrão de seu repositório. Mantenha o UNet, o modelo de visão CLIP e os VAEs da mesma família de lançamento para comportamento estável. Pesos de referência: Hugging Face: Comfy-Org/Idol e GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Conduz o cronograma de remoção de ruído que produz a representação 3D latente. Os controles mais impactantes são steps, sampler_name, scheduler, cfg e seed. Aumente os steps para fidelidade, ajuste o CFG para equilibrar a adesão ao condicionamento versus suavidade, e use o seed para reprodutibilidade em execuções. Evite CFG extremo com steps muito baixos, o que pode introduzir geometria instável.
VAEDecodeTripoSplat (#55)#
Transforma o latente final em um splat Gaussian. O parâmetro decisivo é num_gaussians, que define a contagem de pontos e impacta tanto o detalhe quanto o uso de memória. Use contagens moderadas para pré-visualizações e contagens mais altas para exportações finais de SPZ. Contagens muito grandes aumentam o custo de renderização e não inventam novo detalhe além do que o modelo inferiu.
ComfySwitchNode (#35) Switch: Fonte de Máscara#
Escolhe entre a máscara BiRefNet e qualquer alfa ou máscara que você fornecer com LoadImage. Use a máscara derivada do modelo quando a entrada tiver um fundo ocupado. Se você fornecer um alfa limpo, mude para sua máscara para preservar estruturas finas.
TripoSplatSamplingPreview (#97)#
Fornece uma pré-visualização rápida e de baixo custo da orientação de amostragem e geometria aproximada. Ative isso ao testar um assunto pela primeira vez ou ao mudar checkpoints. Ajuda a verificar o enquadramento e a escala antes de se comprometer com uma decodificação completa.
RenderSplat (#75)#
Renderiza os quadros de órbita usados para o vídeo de pré-visualização. Os controles principais são width e height da imagem, frames, splat_scale, headlight_shading e opacity_threshold. Fique de olho na escala do splat e no limiar de opacidade juntos, que governam como a mistura de pontos aparece suave ou apertada.
SplatToMesh (#76)#
Converte o splat em uma malha de triângulos para exportação .glb. resolution, min_component, min_opacity e smooth regulam o equilíbrio entre detalhe e limpeza. Aumente a resolução para mais fidelidade de superfície e aumente o componente mínimo para remover pequenas cascas flutuantes. Espere executar a limpeza da malha em um DCC para obter os melhores resultados.
CreateCameraInfo (#79)#
Define um caminho de câmera em órbita para o ramo de vídeo. Ajuste a distância, o ângulo de guinada e a inclinação para centralizar o assunto e evitar recortes. Emparelhe ajustes de câmera com mudanças de resolução de RenderSplat para manter seu assunto enquadrado de forma consistente em todas as saídas.
Extras opcionais#
- Prefira imagens com o assunto centralizado, totalmente no quadro e fundo mínimo.
- Se você já tiver um alfa de alta qualidade, use-o; caso contrário, ative a remoção automática de fundo para melhores bordas.
- Comece com um
num_gaussiansmoderado para iteração, depois aumente para exportação final de SPZ quando estiver satisfeito com a forma. - Use a alternância de pré-visualização para validar pose e escala antes da decodificação completa.
- SPZ é melhor para fidelidade e iteração rápida em visualizadores compatíveis com splat; GLB é para intercâmbio e geralmente precisará de limpeza.
- Ao converter para malha, espere dizimar e corrigir normais ou sombreamento em seu DCC.
- Para o vídeo de órbita, ajuste a distância da câmera e a contagem de quadros para equilibrar suavidade e tempo de renderização.
- O método infere lados não vistos a partir da vista visível, então simetria e formas simples se reconstróem de forma mais confiável.
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos sinceramente à Comfy-Org pelos arquivos de modelo ComfyUI Idol, Sperid Labs pelo modelo IDOL original, e Comfy-Org pelo template de fluxo de trabalho ComfyUI (3d_idol_image_to_gaussian_splat.json) por suas contribuições e manutenção. Para detalhes autorizados, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.