Создание текстур PBR с моделью CHORD в ComfyUI#
Этот рабочий процесс превращает короткий текстовый запрос в бесшовную текстуру, а затем преобразует эту текстуру в полные карты материалов PBR с использованием модели CHORD. Создан для художников по материалам, команд по окружению и технических художников, он производит текстуру с возможностью плитки вместе с базовым цветом, нормалью, шероховатостью, металличностью и дополнительной картой высоты для активов, готовых к смещению.
График следует двухэтапной идее генерации и оценки, лежащей в основе модели CHORD: сначала синтезируется текстура с возможностью плитки, затем она разлагается на каналы SVBRDF, подходящие для движков в реальном времени и инструментов DCC. Вы также можете пропустить генерацию и напрямую подать любую эталонную текстуру на этап оценки.
Ключевые модели в рабочем процессе ComfyUI CHORD Model#
- Ubisoft La Forge CHORD v1. Контролируемая оценка SVBRDF, предсказывающая базовый цвет, нормаль, шероховатость и металличность из одного текстурного изображения. Контрольная точка: Ubisoft/ubisoft-laforge-chord. Пользовательские узлы ComfyUI: ubisoft/ComfyUI-Chord.
- Comfy-Org z_image_turbo UNet. Быстрая диффузионная основа, используемая для синтеза текстуры с возможностью плитки из вашего запроса. Контрольные точки и пакет: Comfy-Org/z_image_turbo.
- Кодировщик текста, упакованный с z_image_turbo (Qwen 3 4B). Кодирует ваш запрос для генератора как совместимое с CLIP условие. Предоставляется в том же пакете модели, что и выше.
- Автокодировщик VAE из пакета z_image_turbo. Декодирует латентное изображение, созданное семплером, в текстуру RGB. Включен в Comfy-Org/z_image_turbo.
Как использовать рабочий процесс модели CHORD в ComfyUI#
Этот график организован в две группы, которые могут выполняться от начала до конца или независимо. Группа 1 создает текстуру с возможностью плитки из текста. Группа 2 запускает модель CHORD для оценки карт PBR из этой текстуры или из предоставленной вами текстуры.
1. Генерация изображения текстуры#
Эта группа превращает ваш запрос в безшовную, равномерно освещенную текстуру. Запрос кодируется CLIPTextEncode (#4) и отправляется в KSampler (#7), который семплирует z_image_turbo UNet с планировщиком AuraFlow, установленным ModelSamplingAuraFlow (#2). Пустой латентный образ из EmptySD3LatentImage (#6) определяет рабочее разрешение и пакет. Декодированное изображение из VAEDecode (#9) сохраняется как эталонная текстура и также передается вниз по потоку для оценки материалов. Пишите запросы, которые указывают на идентичность материала, микроструктуру и намерение плитки, например, включайте фразы, такие как "бесшовная плитка" и "ортографический вид сверху".
2. Генерация карт материалов#
Эта группа загружает модель CHORD с помощью ChordLoadModel (#12) и подготавливает текстуру с помощью ResizeAndPadImage (#11) на квадратный холст. ChordMaterialEstimation (#20) предсказывает базовый цвет, нормаль, шероховатость и металличность непосредственно из входной текстуры. Граф также производит карту высоты, преобразовывая предсказанную нормаль с помощью ChordNormalToHeight (#18), что ценно для рабочих процессов смещения или параллакса. Если у вас уже есть текстура, обойдите Группу 1 и подайте ее сюда; держите ее равномерно освещенной и без запеченных теней для лучших результатов модели CHORD.
Ключевые узлы в рабочем процессе ComfyUI CHORD Model#
CLIPTextEncode (#4)#
Кодирует ваш текст в условие для генератора текстур. Будьте конкретны относительно класса материала, качеств поверхности и намерения плитки. Такие термины, как "ортографический", "бесшовный", "линии швов", "поры", "волокна" или "микроцарапины" помогают генератору создавать структуры, которые модель CHORD может надежно разложить.
KSampler (#7)#
Управляет латентным диффузионным процессом, создающим текстуру. Используйте его для обмена скоростью на точность, переключения семплеров и исследования вариаций через семя. Пустой отрицательный запрос предоставляется ConditioningZeroOut (#5); добавляйте типичные отрицательные только если вы видите артефакты, которые хотите подавить.
ModelSamplingAuraFlow (#2)#
Применяет планирование в стиле AuraFlow к UNet для более четкого и согласованного синтеза текстур с z_image_turbo. Изменяйте планировщик здесь, когда вы экспериментируете с различными поведениями семплирования, упакованными с моделью.
ChordMaterialEstimation (#20)#
Запускает модель CHORD для оценки карт SVBRDF из входной текстуры. Результаты — это готовые для производства базовый цвет, нормаль, шероховатость и металличность. Используйте равномерно освещенные входы без перспективы для максимальной точности; сложные тени или блики могут смещать разложение.
ChordNormalToHeight (#18)#
Преобразует предсказанную моделью CHORD нормаль в карту высоты, подходящую для смещения. Рассматривайте высоту как относительный сигнал поверхности и калибруйте интенсивность в вашем рендерере, чтобы соответствовать предполагаемому масштабу.
EmptySD3LatentImage (#6)#
Устанавливает размер холста и пакет для синтеза текстур. Выберите квадратное разрешение, которое соответствует вашим целям материала и держите это согласованным во всех поколениях для предсказуемой плотности текселей.
Дополнительные функции#
- Замените сгенерированную текстуру своей, подключив эталонное изображение напрямую к
ResizeAndPadImage(#11) во 2-й группе. - Используйте физически значимые формулировки в запросах, чтобы генератор создавал структуры, которые модель CHORD может интерпретировать, например направление зерна, размер хлопьев, плотность плетения или окисленные пятна.
- Держите исходные текстуры нейтральными и свободными от AO, бликов или теней, чтобы избежать запекания освещения в выходах модели CHORD.
- Проверьте ориентацию нормалей в вашем движке и переверните зеленый канал, если это требуется, перед оценкой карты высоты, полученной из нее.
- Упакуйте выходы в соответствии с соглашениями движка, например, металличность и шероховатость в комбинированные каналы, после того как вы проверите отдельные карты.
Благодарности#
Этот рабочий процесс реализует и расширяет следующие работы и ресурсы. Мы благодарим Ubisoft La Forge за модель CHORD (Chain of Rendering Decomposition), за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.
Ресурсы#
- Ubisoft La Forge/CHORD Model
- GitHub: ubisoft/ubisoft-laforge-chord
- Hugging Face: Ubisoft/ubisoft-laforge-chord
- Документы / Примечания к выпуску: Ubisoft Open-Sources the CHORD Model and ComfyUI Nodes
Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.