Pixal3D & TRELLIS.2 | Быстрое Изображение-в-3D

Pixal3D & TRELLIS.2 ComfyUI Workflow: Одно изображение в текстурированный 3D GLB#

Этот Pixal3D & TRELLIS.2 ComfyUI Workflow превращает фото одного продукта или объекта в чистый, текстурированный 3D-ресурс с возможностью предварительного просмотра GLB. Путь по умолчанию запускает Pixal3D, а встроенный переключатель открывает ветку TRELLIS.2, чтобы вы могли сравнить результаты без перестройки графа. Общее кондиционирование DINOv3, оценка камеры MoGe, удаление фона, развертка UV и запекание текстур PBR помогают создавать готовые к игре меши и текстурные карты. Это практическая отправная точка для художников, прототиперов игр и продуктовых команд, которым нужны быстрые, повторяемые результаты изображения-в-3D внутри ComfyUI.

Выходные данные включают быстрый предварительный просмотр GLB с цветом вершин для быстрой проверки и окончательный PBR-текстурированный GLB с базовым цветом, металлическим, шероховатостью, окружающей окклюзией и поддержкой нормалей. Встроенные предварительные просмотры позволяют проверять UV, текстурные каналы и поведение освещения перед экспортом.

Ключевые модели в Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Pixal3D (Comfy‑Org) – основа для 3D-диффузии с одним изображением, предсказывающая форму и текстуру объекта с одного вида. Model card
• TRELLIS.2 (Comfy‑Org) – архитектура в два этапа, сначала форма, затем текстура, которая улучшает геометрическую согласованность и точность текстуры. Model card
• DINOv3‑L vision encoder – извлекатель признаков, используемый для кондиционирования как Pixal3D, так и TRELLIS.2 на вашем входном изображении. (Весы размещены в ресурсах Pixal3D.) Repository
• MoGe 2 (Monocular Geometry Estimation, ViT‑L) – предсказывает грубую геометрию и поле зрения камеры, используемое для стабилизации последующей реконструкции. Model card
• BiRefNet – сеть удаления фона, используемая для изоляции объекта на переднем плане и сужения обрезки. Model card
• TRELLIS.2 VAEs (Shape VAE и Texture VAE) – декодеры для латентных форм и текстур, используемые в обеих ветках. Repository

Как использовать Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

Рабочий процесс идет слева направо: предварительная обработка изображения и кондиционирование, разреженная структура, уточнение формы, генерация текстур, UV и запекание, затем экспорт. Один переключатель переключает модель и ее кондиционирование между Pixal3D и TRELLIS.2, сохраняя остальную часть конвейера идентичной.

Загрузите входное изображение здесь#

Загрузите одну хорошо освещенную фотографию одного объекта на чистом фоне. Квадратные обрезки работают хорошо, но граф автоматически обрежет вокруг объекта, если активировано удаление фона. Узлы PreviewImage показывают именно то, что увидят последующие этапы, что помогает рано выявить проблемы с кадрированием.

Удаление фона#

Разделение переднего плана использует BiRefNet, чтобы модель сосредоточилась на силуэте объекта, а не на сцене. Используйте Switch: Remove background (#248), чтобы включить или обойти матирование в зависимости от вашего изображения. Полученная маска предварительно просматривается для быстрой проверки и также используется для управления обрезкой.

Предварительная обработка изображения#

ImageCropToMask центрирует и заполняет объект на основе маски, так что субъект заполняет кадр без обрезки. Это улучшает извлечение признаков для кондиционирования и помогает оценке геометрии сходиться на правильном масштабе. Предварительный просмотр подтверждает окончательный ввод, который достигает 3D-модельных веток.

Получить поле зрения камеры#

MoGe оценивает монокулярные подсказки глубины и преобразует их в поле зрения камеры, которое стабилизирует реконструкцию. MoGeInference (#56) работает на предварительно обработанном изображении, затем MoGeGeometryToFOV возвращает угол камеры обратно в кондиционирование. Ветка Pixal3D использует этот сигнал напрямую, в то время как ветка TRELLIS.2 полагается на особенности изображения от DINOv3.

Кондиционирование#

Оба Pixal3DConditioning и Trellis2Conditioning преобразуют функции DINOv3‑L в положительное и отрицательное кондиционирование для диффузионных сэмплеров. Вам не нужно ничего настраивать здесь в типичном использовании. Рабочий процесс автоматически направляет правильное кондиционирование в активную модельную ветку.

Переключить модель здесь#

Установите Boolean (Switch to Trellis2) (#316) для выбора активной ветки. Переключатель управляет ComfySwitchNode (#318) для модели UNet и ComfySwitchNode (#314 и #315) для соответствующего положительного и отрицательного кондиционирования. Начните с Pixal3D для скорости, затем переключитесь на TRELLIS.2, когда вам нужна более сильная геометрическая согласованность или текстурная детализация.

Генерация разреженной структуры#

Этот этап создает грубую воксельную структуру объекта. KSampler (#3) работает на пустой латентной структуре, направляемой только вашим кондиционированием изображения. VaeDecodeStructureTrellis2 (#119) преобразует латент в низкоразрешенную воксельную сетку, которая немедленно преобразуется в грубую сетку для раннего 3D-просмотра. Используйте этот проход, чтобы подтвердить общий силуэт перед более глубоким сэмплированием.

Генерация формы#

Trellis2ShapeStage (#91) вводит руководство, осведомленное о форме, затем целенаправленный KSampler (#18) уплотняет структуру. Trellis2UpsampleStage (#94) повышает пространственное разрешение для захвата более мелких деталей без потери установленной формы. VaeDecodeShapeTrellis (#92) дает первую водонепроницаемую сетку плюс подразделения формы, которые сохраняют согласованность декодирования текстур с геометрией.

Генерация текстур#

Этот этап кондиционирует текстуру на финализированной форме, чтобы избежать рисования за пределами поверхности. Trellis2TextureStage (#98) готовит латенты текстур на основе усовершенствованной формы и кондиционирования. Финальный KSampler (#12) разрешает латент текстуры, а VaeDecodeTextureTrellis (#93) преобразует его в цвета на вокселях, которые соответствуют декодированной топологии формы.

Постобработка сетки#

Перед UV-сеткой сетка очищается и подгоняется для запекания и использования в реальном времени. RemeshMesh и DecimateMesh регуляризуют топологию и уменьшают количество граней, сохраняя особенности. MeshSmoothNormals улучшает непрерывность затенения. GetMeshInfo помогает направить правильные версии высокой и низкой детализации на узлы запекания.

Запекание текстур#

UnwrapMesh генерирует UV-макет с выбранным размером карты, контролируемым виджетом Texture Resolution. BakeTextureFromVoxel (#147) преобразует цвета вокселей в базовый цвет, металлические и шероховатые текстуры в UV-пространстве. BakeAmbientOcclusion (#233) и BakeNormalMapFromMesh (#224) запекают окклюзию и карты нормалей с высокой детализации на низкую для физического затенения. ApplyTextureToMesh (#210) собирает набор PBR на сетку, и узлы MeshSmoothNormals плюс экспорт записывают финальный GLB. Используйте включенные предварительные просмотры для UV, базового цвета, металлического, шероховатости, AO и нормалей для проверки результатов перед сохранением.

Предварительный просмотр цвета вершин#

Для быстрой итерации PaintMesh (#252) применяет цвета вокселей непосредственно к сетке без UV и запекания, создавая легкий предварительный просмотр GLB. Этот путь идеален для быстрой оценки покрытия точек обзора, разделения материалов и общего вида перед окончательным запеканием PBR. Используйте его для выявления проблем на раннем этапе, затем вернитесь к ветке запекания для окончательных текстур.

Ключевые узлы в Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Boolean (Switch to Trellis2) (#316) Управляет тем, будет ли граф запускать Pixal3D или TRELLIS.2. Используйте Pixal3D для быстрых черновиков, затем переключитесь на TRELLIS.2, когда вам нужна двухэтапная форма и текстурный конвейер, описанный в карточке модели. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Маршрутизирует выбранный UNet во все последующие сэмплеры, чтобы изменение ветки было глобальным и согласованным. Используйте его с переключателями кондиционирования (ComfySwitchNode (#314) и ComfySwitchNode (#315)), чтобы держать подсказки в соответствии с выбранной основой.
• Trellis2ShapeStage (#91) Добавляет руководство, специфичное для геометрии, перед плотным сэмплированием, что помогает стабилизировать пропорции и силуэт. Полезно, когда входные данные имеют сложные контуры или мелкие структурные детали. TRELLIS.2
• Trellis2UpsampleStage (#94) Увеличивает латентное пространственное разрешение для формы без повторного введения шума. Настраивайте только если вам нужны заметно более детализированные сетки или хотите сбалансировать скорость и точность. TRELLIS.2
• Trellis2TextureStage (#98) Кондиционирует текстуру на финализированной форме, чтобы PBR карты прилипали к поверхностям. Настройка здесь влияет на то, насколько сильно текстура следует геометрии по сравнению с визуальными подсказками. TRELLIS.2
• UnwrapMesh (#196) Генерирует UV-атлас, используемый всеми последующими запеканиями. Соответствуйте его разрешение с контролем Texture Resolution, чтобы установить целевой размер карты для базового цвета, металлического, шероховатости, AO и нормалей.
• BakeTextureFromVoxel (#147) Преобразует цвета вокселей в UV-текстуры и выравнивает их с эталонной сеткой из декодера формы для сохранения деталей. Увеличьте размер текстуры, когда вы видите размывание цвета или потерю мелких отметок.
• ApplyTextureToMesh (#210) Объединяет базовый цвет, металлический, шероховатость, окклюзию и нормали в окончательную PBR-готовую сетку. Используйте включенные предварительные просмотры для проверки каждого канала перед экспортом.
• MoGeInference (#56) Оценивает геометрию и поле зрения камеры, которые улучшают стабильность реконструкции, особенно для узких или широких линз. Оставьте это включенным для большинства входных данных, чтобы избежать дрейфа масштаба. MoGe
• RemoveBackground (#192) и Switch: Remove background (#248) Дополнительное матирование переднего плана на базе BiRefNet. Включите, когда загруженные сцены или тени сбивают с толку реконструкцию. BiRefNet
• Save3DAdvanced (#322) Записывает финальный GLB и позволяет установить префикс имени файла и камеру предварительного просмотра. Используйте его в конце ветки PBR, когда все проверки текстур выглядят правильно.

Дополнительные опции#

• Стремитесь к одному, центрированному объекту с минимальной окклюзией и хорошим контрастом краев для наилучших результатов Pixal3D & TRELLIS.2 ComfyUI Workflow.
• Если фоны загромождены, включите переключатель удаления фона, чтобы улучшить качество силуэта и эффективность упаковки UV.
• Быстро итерайте с предварительным просмотром GLB цветом вершин, затем выполните полную ветку запекания, когда форма и разделение материалов выглядят правильно.
• Увеличьте Texture Resolution при экспорте основных активов или макросъемок. Держите его скромным для быстрых реквизитов или мобильных целей.
• Используйте предварительный просмотр UV-атласа, чтобы обнаружить растяжение или перекрытия перед запеканием нормалей и окклюзией.
• Предпочитайте виды 3/4 или с переднего угла, а не экстремальные перспективы для более полных реконструкций.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы выражаем признательность Comfy.org за шаблон рабочего процесса Source, Comfy-Org за веса моделей Pixal3D и TRELLIS.2, и Comfy-Org за веса моделей MoGe и BiRefNet за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• Comfy.org/Source workflow template
  • Документы / Примечания к выпуску: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и сопровождающими лицами.