Idol ComfyUI Image to 3D: одно изображение в трёхмерный Gaussian splat с SPZ, GLB и орбитальным видео#
Idol ComfyUI Image to 3D превращает одиночное фото объекта в управляемый трёхмерный вид. Рабочий процесс реконструирует Gaussian splat из одного изображения, позволяет вам орбитировать результат в живом превью и экспортирует как SPZ splat, так и необязательную сетку GLB для последующих DCC, игр или XR-пайплайнов. Это осуществляется благодаря точной настройке Idol на TripoSplat, которая считывает стилизованных персонажей, фигуры и реквизит с сильными приоритетами.
Используйте Idol ComfyUI Image to 3D, когда вам нужна быстрая 3D-эксплорация от чистого продуктового снимка или концепт-листа. Невидимые стороны выводятся из видимого вида, поэтому мелкие детали на задней стороне могут быть приблизительными, а конверсия GLB предназначена для быстрых блокировок, которые могут потребовать очистки перед использованием в производстве.
Ключевые модели в рабочем процессе Comfyui Idol ComfyUI Image to 3D#
- Comfy-Org Idol diffusion model. UNet веса, которые управляют генерацией трёхмерного изображения с одного вида на основе метода TripoSplat. Обеспечивает более сильную производительность на стилизованных объектах по сравнению с базовой моделью. Hugging Face: Comfy-Org/Idol и оригинальная speridlabs/idol.
- DINOv3 ViT-H vision encoder. Обеспечивает надёжные визуальные особенности из входного изображения, которые кондиционируют сэмплер TripoSplat для лучшей 3D-согласованности. Распространяется с репозиторием Idol. Hugging Face: Comfy-Org/Idol
- Idol Decoder VAE. Декодирует латентные образцы в представление Gaussian splat, которое может быть визуализировано и экспортировано. Hugging Face: Comfy-Org/Idol
- Flux2 VAE. Вторичный VAE, используемый в пути кондиционирования для выравнивания особенностей для латентного пространства TripoSplat. Hugging Face: Comfy-Org/Idol
- BiRefNet background removal model. Создаёт чистые маски объектов, которые улучшают геометрию и цвет вокруг тонких границ, таких как волосы или реквизит. Hugging Face: Comfy-Org/BiRefNet
Для информации об основной методике см. TripoSplat на GitHub и его статью. GitHub: VAST-AI-Research/TripoSplat и arXiv:2605.16355
Как использовать рабочий процесс Comfyui Idol ComfyUI Image to 3D#
Этот рабочий процесс имеет одну основную стадию генерации и три выходных ветви, работающие параллельно: орбитальное видео, SPZ splat и экспериментальная сетка GLB. Загрузите одно, центрированное изображение объекта на простом фоне и поставьте график в очередь, чтобы получить все выходы за один проход.
Изображение в Gaussian Splat (основное поколение)#
Узел LoadImage (#99) загружает ваше исходное изображение и опциональный альфа-канал. Подграф Image to Gaussian Splat (TripoSplat) (#88) обрабатывает предварительную обработку, опциональную сегментацию BiRefNet и кондиционирование TripoSplat. Внутри CLIPVisionLoader и VAE извлекают особенности, KSampler (#6) генерирует латенты, а VAEDecodeTripoSplat (#55) преобразует их в трёхмерный Gaussian splat. Используйте элементы управления подграфом, чтобы переключать auto_remove_background, устанавливать num_gaussians, выбирать контрольные точки Idol и задавать seed. Включите enable_preview, чтобы направить модель через TripoSplatSamplingPreview (#97) для быстрой проверки здравого смысла перед полной декодировкой.
Создание видео#
RenderSplat (#75) рендерит орбиту реконструированного splat. Движение камеры определяется CreateCameraInfo (#79) в режиме орбиты, который вы можете настроить для расстояния и кадрирования. CreateVideo (#41) собирает кадры, а SaveVideo (#42) записывает полученный клип. Эта ветвь идеально подходит для просмотра силуэтов и проверки на плавающие или окклюзионные артефакты, не покидая ComfyUI.
Создание 3D модели (SPZ splat)#
SplatToFile3D (#92) записывает Gaussian splat в файл .spz, который сохраняет атрибуты точек, используемых для высококачественного рендеринга splat. SaveGLB (#51) предоставляет 3D-просмотрщик, чтобы вы могли проверить ориентацию и масштаб, затем сохраняет файл на диск. Выберите этот путь, когда вам нужна самая верная визуализация в реальном времени вывода Idol ComfyUI Image to 3D.
Создание 3D модели (экспериментальная сетка)#
SplatToMesh (#76) преобразует splat в треугольную сетку для обмена, с элементами управления для разрешения, сглаживания и очистки компонентов. SaveGLB (#67) экспортирует результат как .glb. Этот путь является экспериментальным и в основном для быстрых блокировок. Ожидайте ретопологию, уменьшение или исправление затенения в DCC-инструменте для производства.
Ключевые узлы в рабочем процессе Comfyui Idol ComfyUI Image to 3D#
UNETLoader (#16)#
Загружает веса Idol UNet, которые специализируют TripoSplat для стилизованных персонажей и реквизита. Если вам нужна базовая сравнение, вы можете переключиться на стандартный UNet TripoSplat из его репозитория. Держите UNet, модель CLIP vision и VAE из одной и той же версии для стабильного поведения. Референсные веса: Hugging Face: Comfy-Org/Idol и GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Управляет расписанием денойзинга, которое производит латентное трёхмерное представление. Наиболее влиятельные элементы управления: steps, sampler_name, scheduler, cfg и seed. Увеличивайте шаги для повышения точности, регулируйте CFG для балансировки соответствия кондиционированию против гладкости и используйте seed для воспроизводимости на разных запусках. Избегайте крайних значений CFG с очень низкими шагами, которые могут ввести нестабильную геометрию.
VAEDecodeTripoSplat (#55)#
Преобразует финальный латент в Gaussian splat. Решающий параметр — num_gaussians, который задаёт количество точек и влияет как на детали, так и на использование памяти. Используйте умеренные значения для превью и более высокие значения для окончательных экспортов SPZ. Очень большие значения увеличивают стоимость рендеринга и не создают новых деталей, кроме тех, которые модель вывела.
ComfySwitchNode (#35) Switch: Источник маски#
Выбирает между маской BiRefNet и любым альфа-каналом или маской, которую вы предоставляете с LoadImage. Используйте маску, полученную от модели, когда входное изображение имеет загруженный фон. Если вы предоставляете чистый альфа-канал, переключитесь на вашу маску, чтобы сохранить тонкие структуры.
TripoSplatSamplingPreview (#97)#
Обеспечивает быстрое, недорогое превью ориентации сэмплирования и грубой геометрии. Включите это при первом тестировании объекта или при изменении контрольных точек. Это поможет вам проверить кадрирование и масштаб перед полным декодированием.
RenderSplat (#75)#
Рендерит орбитальные кадры, используемые для превью-видео. Ключевые элементы управления: width и height изображения, frames, splat_scale, headlight_shading и opacity_threshold. Следите за splat scale и opacity threshold, которые определяют, насколько мягким или жёстким будет выглядеть смешивание точек.
SplatToMesh (#76)#
Преобразует splat в треугольную сетку для экспорта .glb. resolution, min_component, min_opacity и smooth регулируют баланс между деталями и чистотой. Повышайте разрешение для большей точности поверхности и увеличивайте минимальный компонент для удаления мелких плавающих оболочек. Ожидайте выполнения очистки сетки в DCC для лучших результатов.
CreateCameraInfo (#79)#
Определяет орбитальный путь камеры для видео-ветви. Настройте расстояние, угол поворота и наклон, чтобы центрировать объект и избежать обрезания. Сочетайте изменения камеры с изменениями разрешения RenderSplat, чтобы ваш объект оставался в кадре последовательно на всех выходах.
Дополнительные рекомендации#
- Предпочитайте изображения с объектом в центре, полностью в кадре и с минимальным фоном.
- Если у вас уже есть высококачественный альфа-канал, используйте его; в противном случае включите автоматическое удаление фона для улучшения краёв.
- Начните с умеренного
num_gaussiansдля итерации, затем увеличьте его для окончательного экспорта SPZ, когда вы будете довольны формой. - Используйте переключатель превью для проверки позы и масштаба перед полной декодировкой.
- SPZ лучше всего подходит для точности и быстрой итерации в совместимых с splat просмотрщиках; GLB предназначен для обмена и обычно требует очистки.
- При преобразовании в сетку ожидайте уменьшения и исправления нормалей или затенения в вашем DCC.
- Для орбитального видео настройте расстояние камеры и количество кадров, чтобы сбалансировать плавность и время рендеринга.
- Метод выводит невидимые стороны из видимого вида, поэтому симметрия и простые формы реконструируются наиболее надёжно.
Благодарности#
Этот рабочий процесс реализует и строится на основе следующих работ и ресурсов. Мы с благодарностью признаём Comfy-Org за файлы модели ComfyUI Idol, Sperid Labs за оригинальную модель IDOL и Comfy-Org за шаблон рабочего процесса ComfyUI (3d_idol_image_to_gaussian_splat.json) за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.
