1. Рабочий процесс ComfyUI: LayerDiffuse + TripoSR ｜ От изображения к 3D
В рабочем процессе ComfyUI мы используем возможности LayerDiffuse для создания изображений с прозрачным фоном. Затем как изображение, так и его маска передаются в TripoSR для создания 3D-объектов. Результатом является грубая, но быстро созданная 3D-модель, которая имеет многообещающий потенциал для дальнейшего совершенствования.
Для тех, кто хочет получить файл mesh (.obj), вы можете найти его в выходном разделе файловой системы. Этот упрощенный процесс предлагает прямой путь от изображения к 3D-модели, сочетая сильные стороны LayerDiffuse и TripoSR для улучшения вашего опыта создания 3D.
2. Обзор LayerDiffuse
Пожалуйста, ознакомьтесь с подробностями на How to use LayerDiffuse in ComfyUI
3. Обзор TripoSR
3.1. Введение в TripoSR
TripoSR - это передовая модель 3D-реконструкции, которая быстро преобразует одиночные изображения в 3D-объекты с удивительной скоростью и точностью. Эта инновация является совместным усилием Tripo AI и Stability AI. Используя архитектуру трансформера, TripoSR выделяется своей способностью быстро обрабатывать изображения в 3D-формы. Она базируется на архитектуре Large Reconstruction Model (LRM), но включает значительные улучшения в обработке данных, дизайне модели и процессе обучения. Эти достижения делают TripoSR более точной и эффективной, чем другие модели, доступные сегодня.
3.2. Техническая архитектура TripoSR
Основные части TripoSR включают три компонента: кодировщик изображений, декодер "изображение-в-триплан" и нейронное поле излучения на основе трипланов (NeRF). Кодировщик изображений использует предварительно обученную модель vision transformer для захвата как общих, так и специфических деталей входного изображения. Эти детали затем превращаются в подробную 3D-модель с помощью инновационной настройки triplane-NeRF. Уникально, что TripoSR может угадывать настройки камеры, что делает её универсальной и эффективной в различных условиях изображения без необходимости точной информации о камере.
3.3. Бенчмаркинг производительности TripoSR
Производительность TripoSR выделяется на фоне других ведущих моделей. Она постоянно превосходит в захвате тонких текстур и сложных форм объектов быстро. Эта исключительная производительность, достигнутая быстро на стандартном компьютерном оборудовании, демонстрирует потенциал TripoSR изменить ландшафт 3D-реконструкции.