1. ComfyUI SUPIR для разрешения изображений | ComfyUI Upscale Workflow#
Этот рабочий процесс ComfyUI Upscale использует SUPIR (Scaling-UP Image Restoration), передовую модель с открытым исходным кодом, предназначенную для улучшения изображений и видео. В этом рабочем процессе вы увидите, как SUPIR восстанавливает и улучшает изображения, достигая фотореалистичных результатов.
2. Обзор ComfyUI SUPIR#
SUPIR, передовая технология улучшения изображений, сравнима с коммерческим программным обеспечением, таким как Magnific и Topaz AI. Наше руководство охватывает SUPIR upscaler wrapper node в рабочем процессе ComfyUI, который успешно улучшает и восстанавливает реалистичные изображения и видео.
Для улучшения изображений достаточно настроек по умолчанию этого рабочего процесса. Чтобы изменить его для улучшения видео, переключите "load image" на "load video" и измените выходной параметр с "save image" на "combine video" для обработки видеофайлов.
3. Введение в модель SUPIR#
Технология Scaling-UP Image Restoration представляет собой прорывную модель улучшения и масштабирования изображений, представленную в статье Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild. SUPIR внедряет метод фотореалистичного восстановления изображений, используя генеративный приор вместе с масштабированием модели, обогащенный мультимодальными техниками, позволяющими восстанавливать изображения на основе текстовых подсказок, что значительно расширяет спектр её применения.
4. Как использовать ComfyUI SUPIR для разрешения изображений#
4.1. Совместимые модели SUPIR#
Перед использованием SUPIR убедитесь, что контрольные модели доступны:
- Две версии SDXL CLIP Encoder от OpenAI и LAION соответственно.
- Базовые модели SDXL и LLaVA, важные для начальных этапов обработки изображений.
- Дополнительные модели, такие как версии Juggernaut-XL, которые могут заменить базу SDXL в определённых сценариях для улучшенных фотореалистичных результатов.
4.2. Модели SUPIR#
Доступны две ключевые версии SUPIR:
- SUPIR-v0Q: Оптимизирована для высокой обобщаемости и качества, подходит для широкого спектра изображений.
- SUPIR-v0F: Разработана для изображений с лёгкими повреждениями, сохраняет больше деталей в таких условиях
4.3. Ключевые параметры SUPIR#
scale_by: Коэффициент масштабирования для данных входных данных определяет, насколько увеличивается размер изображения во время восстановления.steps: Этот параметр указывает количество шагов для EDM Sampling Scheduler, вероятно, влияя на детализацию и качество процесса восстановления.cfg_scale: Это шкала руководства без классификатора для подсказок, влияющая на то, насколько сильно выходное изображение соответствует предоставленным текстовым подсказкам.positive-promptиnegative_prompt: Эти параметры позволяют пользователям направлять восстановление к желаемым качествам (positive prompt) и от нежелательных характеристик (negative prompt).s_churnиs_noise: Представляют собой оригинальные гиперпараметры EDM, контролирующие аспекты модели шума в процессе диффузии, влияя на текстуру и чёткость конечного изображения.color_fix_type: Этот параметр позволяет выбрать методы коррекции цвета после восстановления, включая варианты 'None', 'AdaIn' и 'Wavelet'.
4.4. Советы по производительности для SUPIR#
- Требования к оборудованию: Для достижения оптимальных результатов при масштабировании с высоким разрешением с помощью SUPIR upscaler необходимо иметь достаточно мощное оборудование. Мы рекомендуем использовать машину с не менее 48 ГБ видеопамяти, такую как Extra Large Machine, доступную на RunComfy, для обработки интенсивных вычислительных задач по детализации изображений.
- Максимизация детализации изображений с помощью текстовых подсказок: Кроме того, чтобы максимально использовать потенциал передовых алгоритмов ИИ SUPIR, полностью используйте функцию детализированных подсказок. Это позволяет более точно управлять процессом восстановления, улучшая детализацию и реалистичность масштабированных изображений. Эффективно используя эти подсказки, SUPIR может создавать результаты, которые не только больше по размеру, но и превосходят по качеству.
5. Дополнительная информация о SUPIR#
Технология восстановления изображений значительно выросла, теперь предоставляя визуально потрясающие и умные результаты. Этот рост в значительной степени связан с внедрением SUPIR Upscaler, который использует передовые генеративные модели для улучшения изображений.
5.1. Основные возможности модели SUPIR#
- Надежные модели: В основе SUPIR Upscaler лежит мощная генеративная модель StableDiffusion-XL (SDXL) с 2,6 миллиардами параметров. Её поддерживает адаптерная модель, добавляющая ещё 600 миллионов параметров, что позволяет SUPIR Upscaler восстанавливать изображения с исключительной детализацией и точностью.
5.2. Достижения на основе данных#
- Обширные тренировочные данные: SUPIR Upscaler обучен на наборе данных, состоящем из более чем 20 миллионов высококачественных изображений, каждое из которых аннотировано подробными описаниями. Этот набор данных обучает многомодальную языковую модель с 13 миллиардами параметров, улучшая способность SUPIR Upscaler создавать точные контентные подсказки для целевого восстановления изображений.
5.3. Инновационные технологии и стратегическая реализация#
- Продвинутый дизайн: SUPIR Upscaler включает несколько стратегических улучшений, таких как ZeroSFT connector, который повышает эффективность и снижает вычислительные требования. Кроме того, его кодировщик изображений настроен для лучшей обработки деградации изображений, увеличивая точность результатов восстановления.
- Комплексное обучение: Помимо высококачественных изображений, набор данных также включает изображения низкого качества, негативные примеры. Это помогает SUPIR Upscaler научиться выявлять и исправлять визуальные дефекты, улучшая общее качество восстановления.
5.4. Баланс между улучшением и точностью#
- Сложные техники: Несмотря на использование генеративных моделей, SUPIR Upscaler применяет новую технику выборки, чтобы сбалансировать качество улучшения с точностью оригинальных изображений. Это гарантирует, что при повышении визуального качества сохраняется подлинность оригинальных изображений.
Для более глубокого изучения возможностей SUPIR Upscaler и технических деталей, исследуйте ресурсы на его GitHub странице или основную научную статью. Эти ресурсы предоставляют исчерпывающую информацию о технологиях и стратегиях, которые делают SUPIR Upscaler лидером в области восстановления изображений.
