DiffuEraser | Видеозаливка

Описание рабочего процесса видеозаливки ComfyUI DiffuEraser

Что такое рабочий процесс ComfyUI DiffuEraser?

DiffuEraser — это передовое решение для видеозаливки, которое бесшовно удаляет нежелательные объекты из видео, сохраняя временную согласованность. Используя мощную диффузионную модель заливки, DiffuEraser восстанавливает отсутствующие области с контекстуально точным содержанием. Этот рабочий процесс интегрируется с Segment Anything 2 (SAM2) для автоматической генерации масок, устраняя необходимость в вручную созданных масках.

DiffuEraser использует денойзинг UNet вместе с дополнительной ветвью BrushNet, интегрируя временное внимание для поддержания согласованности кадров. Используя предварительную информацию, он уменьшает галлюцинации и артефакты, обеспечивая безупречное удаление объектов.

Интеграция от Runcomfy Crew автоматизирует создание масок с помощью интерфейса выбора точек, позволяя пользователям отмечать объекты для удаления без ручного создания масок. Это значительно упрощает рабочий процесс заливки.

Преимущества рабочего процесса DiffuEraser

• Высококачественная реконструкция с естественным смешиванием сцен.
• Автоматическая генерация масок через SAM2, уменьшая ручные усилия.
• Временная согласованность для бесшовной заливки между кадрами.
• Гибкий выбор объектов с интерфейсом на основе точек.
• Профессиональные результаты с минимальным вводом от пользователя.
• Подавление галлюцинаций за счет использования предварительной информации.
• Совместимость со стандартными видеоформатами для легкой интеграции.

Как использовать рабочий процесс DiffuEraser

Удаление объектов с помощью DiffuEraser

Основной метод генерации: SAM2 + DiffuEraser

• Входные данные: Оригинальное видео, кадры для выбора объектов по координатам точек
• Лучше всего подходит для: Удаления объектов, людей, водяных знаков или других нежелательных элементов
• Характеристики:
  • Использует SAM2 для автоматической генерации масок
  • Обеспечивает естественную заливку с высокой визуальной точностью
  • Гарантирует временную согласованность во всех кадрах

Пример рабочего процесса

1. Подготовьте входные данные
   • В Load Video Node: Загрузите исходное видео
   • В Points Editor: Загрузите первый кадр, чтобы добавить положительные точки (зеленые) для обозначения объектов для удаления
2. Уточнение (по желанию)
   • В DiffuEraserSampler настройте mask_dilation_iter для точного маскирования
   • Измените crf в Video Combine для повышения качества вывода
3. Вывод
   • В Video Combine: найдите предварительный просмотр и сохраните его на вашем локальном компьютере

Альтернативный метод: Ручное создание масок

• Входные данные: Предварительно созданное видео с масками.
• Лучше всего подходит для: Пользователей, нуждающихся в точном контроле над маскируемыми областями.
• Характеристики:
  • Требует ручного создания масок.
  • Предоставляет полный контроль над выбором объектов.
  • Идеально подходит для сложных сцен или художественных рабочих процессов.

Справочник параметров для DiffuEraser

• DiffuEraserLoader:
  • checkpoint: [SD1.5/v1-5-pruned-emaonly.ckpt] - базовая модель Stable Diffusion.
  • lora: [flux/flux.1-turbo-alpha/diffusion_pytorch_model.safetensors] - LoRA для улучшенной заливки.
• DiffuEraserSampler:
  • seed: [random] - Управляет вариативностью генерации.
  • num_inference_steps: [2] - Более высокие значения улучшают качество.
  • guidance_scale: [0] - Управляет соблюдением предварительной информации.
  • video_length: [10] - Определяет обрабатываемые кадры.
  • mask_dilation_iter: [8] - Расширяет покрытие маски.
  • ref_stride: [10] - Интервал ссылочного кадра для временной согласованности.
  • neighbor_length: [10] - Определяет кадры, используемые для ссылки.
  • subvideo_length: [50] - Максимальное количество кадров, обрабатываемых за один раз.
  • seg_repo: [briaai/RMBG-2.0] - Модель удаления фона.
• Video Combine:
  • frame_rate: [1] - Соответствует исходной частоте кадров.
  • format: [video/h264-mp4] - Формат вывода.
  • crf: [19] - Контролирует качество сжатия видео.

Расширенная оптимизация с DiffuEraser

• Оптимизация производительности:
  • Уменьшите subvideo_length для более быстрой обработки.
  • Снизьте num_inference_steps для ускорения генерации.
• Улучшения качества:
  • Увеличьте mask_dilation_iter для улучшения покрытия маски.
  • Настройте neighbor_length для уточнения движущихся объектов.

Советы по использованию

1. Используйте Points Editor для обозначения нескольких точек на целевом объекте.
2. Добавьте отрицательные точки (красные), если SAM2 включает нежелательные области.
3. Для движущихся объектов отметьте точки на нескольких кадрах.
4. Более простые фоны дают лучшие результаты заливки.
5. Уменьшите video_length и subvideo_length для более длинных видео, чтобы избежать проблем с памятью.

Дополнительная информация

• Для получения подробных руководств и обновлений о DiffuEraser посетите
• Для интеграции DiffuEraser в ComfyUI посетите
• Для подробных руководств по SAM2 посетите

Благодарность оригинальным авторам

DiffuEraser был создан Xiaowen Li, Haolan Xue, Peiran Ren и Liefeng Bo из Tongyi Lab, Alibaba Group, с интеграцией в ComfyUI от smthemex. Runcomfy Crew улучшил рабочий процесс с помощью автоматической генерации масок через SAM2. Все заслуги принадлежат оригинальным авторам за их революционные достижения.