FlashVSR | Увеличение разрешения видео в реальном времени

Суперразрешение видео FlashVSR для ComfyUI: ультра-быстрое восстановление, качество трансляции и интеграция с WanVideo

Этот рабочий процесс приносит FlashVSR в ComfyUI с тремя готовыми к запуску путями: ультра-быстрое увеличение разрешения для быстрой обработки, образец качества трансляции для высокой точности и интегрированный маршрут WanVideo, который объединяет кондиционирование FlashVSR с текстово-видеозаписным ядром. Он разработан для редакторов, колористов и создателей, которым нужно суперразрешение и восстановление видео в реальном времени, сохраняя временную согласованность.

FlashVSR использует одношаговую диффузию, локально ограниченное разреженное внимание и небольшой условный декодер для увеличения разрешения и очистки низкокачественного или сгенерированного AI видео с минимальными вычислениями. График сохраняет ваш звук, предоставляет рендеры для сравнения "бок о бок" и записывает отдельные результаты для каждой ветви, чтобы вы могли выбрать лучший результат для вашего кадра.

Ключевые модели в рабочем процессе Comfyui FlashVSR

• FlashVSR (Ultra Fast). Легковесная реализация, оптимизированная для одношаговой диффузии и инференса в реальном времени; идеально подходит для быстрого улучшения и живых предварительных просмотров. См. плагин и заметки в реализации ComfyUI Ultra Fast здесь.
• FlashVSR (Streaming/SM weights). Вариант с более высокой точностью с небольшим условным декодером для надежных временных деталей и восстановления; используется ветвью KSampler. Основная реализация узла и веса задокументированы в репозитории ComfyUI FlashVSR здесь.
• Wan 2.1 text-to-video 1.3B (FlashVSR-tuned). Ядро WanVideo, подготовленное для принятия кондиционирования FlashVSR для одношагового восстановления внутри образца Wan; обеспечивает декодирование через FlashVSR TCDecoder.
• uMT5-XXL text encoder. Поставляет текстовые эмбеддинги в образец Wan, когда используются подсказки; ссылка на модель: google/umt5-xxl.

Как использовать рабочий процесс Comfyui FlashVSR

Кратко: загрузите исходный клип, затем выберите одну или несколько ветвей для рендеринга. Все ветви наследуют один и тот же ввод и звук и могут работать независимо, создавая свои собственные выходные файлы и дополнительные видео для сравнения.

Глобальные параметры

• VHS_LoadVideo (#123) загружает ваш исходный клип и передает звук каждому рендереру для сохранения звука. VHS_VideoInfo (#129) отображает FPS для согласованных экспортов. Два вспомогательных узла, "Before Resize" GetImageSizeAndCount (#162) и "After Resize" GetImageSizeAndCount (#163), сообщают размеры и количество кадров, так что вы всегда знаете, что обрабатывает каждая ветвь.
• LayerUtility: ImageScaleByAspectRatio V2 (#140, #154, #155) нормализует кадры для каждого пути, используя масштабирование с сохранением пропорций. Выберите свою долгую сторону для каждой ветви, чтобы контролировать компромисс между качеством и скоростью.

FlashVSR Ultra-Fast

• Этот путь отдает приоритет пропускной способности, сохраняя характерную временную стабильность FlashVSR. Кадры изменяются в размере (ImageScaleByAspectRatio V2 (#154)) и отправляются в два варианта FlashVSRNode (#152, установлен на "full", #143, установлен на "tiny"), чтобы вы могли сравнить скорость и резкость.
• Каждый вариант записывает свое собственное видео через VHS_VideoCombine (#144 и #153) с передачей звука. Используйте это, когда вам нужны быстрые проверки клиента, увеличение разрешения ежедневников или быстрая очистка AI-видео.

FlashVSR_SM_KSampler

• Ветвь потоковой передачи стремится к более высокой точности, используя веса FlashVSR SM. Два загрузчика FlashVSR_SM_Model (#158 с TCDecoder, #150 без) подают два прохода FlashVSR_SM_KSampler (#146 и #148) для A/B сравнения на сложных кадрах.
• Кадры изменяются до рабочего разрешения (ImageScaleByAspectRatio V2 (#155)), затем обрабатываются в Проходе 1 и Проходе 2. LayerUtility: PurgeVRAM V2 (#145, #147) освобождает память между проходами для стабильности на ограниченных GPU.
• Каждый проход записывает результат (VHS_VideoCombine #157 "Pass_1", #156 "Pass_2"). Два композитора для сравнения (ImageConcanate #165 и #167) создают видео "бок о бок" исходника и результата (VHS_VideoCombine #166, #168), чтобы вы могли быстро оценить, какой проход сохранить.

KJ Wan Flash VSR

• Этот маршрут вводит кондиционирование FlashVSR в образец WanVideo для одношагового восстановления, направляемого опциональными текстовыми подсказками. WanVideoModelLoader (#22) загружает настроенную модель Wan с FlashVSR, в то время как LoadWanVideoT5TextEncoder (#11) и WanVideoTextEncode (#104) предоставляют эмбеддинги подсказок, если вам нужна стилистическая направленность.
• Ваши кадры изменяются в размере (ImageScaleByAspectRatio V2 (#140)), затем WanVideoEmptyEmbeds (#78) устанавливает правильную ширину, высоту и количество кадров. WanVideoAddFlashVSRInput (#114) объединяет подготовленные изображения с эмбеддингами FlashVSR, которые ожидает образец.
• WanVideoSampler (#27) выполняет одношаговый вывод; WanVideoDecode (#121) восстанавливает кадры с загрузчиком FlashVSR TCDecoder (#119). Этап ColorMatch (#142) восстанавливает оригинальный вид, за которым следует опциональное соединение "бок о бок" (ImageConcatMulti #117). Финальные выходные данные записываются через VHS_VideoCombine (#135, #30).

Ключевые узлы в рабочем процессе Comfyui FlashVSR

FlashVSRNode (#152, полный)

• Основной ультра-быстрый увеличитель разрешения в режиме "full". Настройте scale для работы в 2x/4x, включите color_fix для стабилизации яркости и используйте tiled_vae или tiled_dit при работе на больших разрешениях. Настраивайте sparse_ratio, kv_ratio и local_range только если вы видите мягкость движения или временной дрейф. Ссылка на реализацию: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSRNode (#143, tiny)

• Ультра-быстрый режим "tiny" для максимальной скорости. Используйте его для предварительных просмотров или очень длинных последовательностей. Те же элементы управления, что и у полного узла, но ожидайте немного мягче микродетали. Ссылка: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSR_SM_KSampler (#146, Проход 1)

• Образец качества трансляции в паре с моделью, поддерживающей TCDecoder (#158). Сначала установите scale, затем балансируйте cfg и steps для деталей против скорости. Если VRAM тесен на высоких разрешениях, включите full_tiled и уменьшите split_num. Подробности реализации и веса: ComfyUI_FlashVSR.

FlashVSR_SM_KSampler (#148, Проход 2)

• Второй проход трансляции с дополнительной настройкой модели (#150). Используйте его для тестирования альтернативных комбинаций TCDecoder/эмбеддингов на тех же кадрах. Держите kv_ratio и local_range постоянными на всех проходах, когда хотите контролируемое A/B.

WanVideoAddFlashVSRInput (#114)

• Соединяет ваши предварительно обработанные кадры в образец Wan как кондиционирование FlashVSR. Контроль strength определяет, насколько настойчиво применяется восстановление FlashVSR относительно любого влияния подсказок. Увеличьте силу, когда исходник очень сжат или сгенерирован AI.

WanVideoSampler (#27)

• Одношаговый вывод внутри конвейера Wan. Если вы используете подсказки, начните с нейтрального и избегайте сильных отрицательных списков; позвольте FlashVSR обрабатывать восстановление, в то время как текст слегка подталкивает тон или интерпретацию сцены. Держите steps на одном для истинного поведения FlashVSR в этом маршруте.

ColorMatch (#142)

• Гармонизирует цвет обратно к исходнику после восстановления. Используйте его, чтобы избежать непреднамеренных сдвигов оттенков или гаммы, особенно при экспорте сравнений.

Дополнительные возможности

• Выбор ветви
  • Используйте FlashVSR Ultra-Fast для редактирования в реальном времени, быстрых ежедневников или длительных временных периодов.
  • Используйте FlashVSR SM KSampler, когда вам нужна дополнительная надежность на шумных, сжатых или мерцающих кадрах.
  • Используйте KJ Wan Flash VSR, если хотите одношаговое восстановление с легким руководством по подсказкам внутри образца Wan.
• Гигиена VRAM
  • Ветвь потоковой передачи включает явные очистки VRAM для стабильности. Если вы связываете длинные кадры, держите их включенными.
• Сравнения и доставка
  • Рабочий процесс записывает выходные данные для каждой ветви плюс сравнения "бок о бок". Сначала просмотрите файлы "Compare_", затем сохраните проход, который выглядит лучше всего для вашей сцены.
• Ссылки
  • Реализация Ultra Fast: ComfyUI-FlashVSR_Ultra_Fast
  • Узлы FlashVSR и SM образец: ComfyUI_FlashVSR
  • Кодировщик uMT5-XXL: google/umt5-xxl

Благодарности

Этот рабочий процесс реализует и строится на следующих работах и ресурсах. Мы благодарны smthemex за узел ComfyUI FlashVSR (FlashVSR Source) и lihaoyun6 за узел ComfyUI FlashVSR Ultra Fast (FlashVSR Ultra Fast) за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы

• FlashVSR Source
  • GitHub: smthemex/ComfyUI_FlashVSR
• FlashVSR Ultra Fast
  • GitHub: lihaoyun6/ComfyUI-FlashVSR_Ultra_Fast

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.