VACE 14B: Комплексное создание и редактирование видео

Что такое рабочий процесс ComfyUI VACE 14B?

ComfyUI VACE 14B - это мощная унифицированная платформа, которая интегрирует различные возможности генерации и редактирования видео в одну модель. Основанная на передовой платформе Wan2.1 и разработанная в лаборатории Tongyi Lab компании Alibaba Group, ComfyUI VACE позволяет создателям выполнять 5 основных задач по манипуляции видео без необходимости переключения между специализированными инструментами. Этот рабочий процесс ComfyUI VACE 14B использует мощь модели с параметрами 14B для предоставления высококачественных возможностей создания и редактирования видео через интуитивно понятный интерфейс.

1. Преимущества ComfyUI VACE 14B

• Комплексное решение: ComfyUI VACE предлагает унифицированную платформу для создания и редактирования видео без необходимости переключения между инструментами
• Высокое качество вывода: Создавайте видео с разрешением до 720p с мощной моделью VACE 14B
• Гибкое управление: Рабочий процесс ComfyUI VACE предоставляет несколько режимов ввода, включая эталонные изображения, маски, карты глубины и текстовые подсказки
• Сохранение идентичности: ComfyUI VACE сохраняет идентичность объекта во время трансформаций и генерации при использовании VACE 14B
• Композиция задач: ComfyUI VACE позволяет комбинировать различные возможности для сложных трансформаций через VACE 14B

2. Пять ключевых возможностей в рабочем процессе ComfyUI VACE 14B

Рабочий процесс ComfyUI VACE включает 5 различных компонентов, каждый из которых специализирован для различных задач создания и редактирования видео с использованием VACE 14B:

1. Reference Image+ControlNet: ComfyUI VACE позволяет заменить главного героя в вашем видео на персонажа из эталонного изображения, сохраняя движение и структуру благодаря VACE 14B
2. Two Images to Video: С ComfyUI VACE создайте видео, объединяющее двух персонажей или объектов, каждый из которых взят из отдельного эталонного изображения благодаря VACE 14B
3. First and last frames: ComfyUI VACE точно направляет генерацию видео, устанавливая как первые, так и последние кадры, обеспечивая плавное движение по кадрам через VACE 14B
4. Video Object Editing: ComfyUI VACE позволяет избирательно изменять определенные объекты в видео, сохраняя другие, используя VACE 14B
5. Video Expansion: Используя ComfyUI VACE, выполняйте пространственное расширение, чтобы увеличить рамку видео, сохраняя визуальное согласие с технологией VACE 14B

3. Краткое руководство по началу работы с ComfyUI VACE 14B

3.1 ComfyUI VACE Reference Image+ControlNet Краткое руководство

1. Выберите группу рабочих процессов "Reference Image+ControlNet" в ComfyUI VACE
2. Загрузите ваше исходное видео в узел Load Video (Upload)
3. Загрузите эталонное изображение нового объекта в узел Load Image
   • Совет: Использование эталонных изображений на белом фоне часто приводит к лучшей интеграции объекта при использовании VACE 14B
4. Введите описательные подсказки о желаемой сцене и стиле
5. Используйте негативные подсказки, чтобы избежать нежелательных элементов в вашем выводе ComfyUI VACE, созданном с помощью VACE 14B
6. Рекомендуемое разрешение: 512x672 для эффективности памяти с ComfyUI VACE 14B
7. Отрегулируйте параметры семплирования
8. Нажмите "Run", чтобы создать видео в стиле/с объектом из эталонного изображения с использованием ComfyUI VACE 14B

3.2 ComfyUI VACE Two Images to Video Краткое руководство

1. Выберите группу рабочих процессов "Two Images to Video" в ComfyUI VACE
2. Загрузите ваше первое эталонное изображение в первый узел Load Image
3. Загрузите ваше второе эталонное изображение во второй узел Load Image
4. Этот метод ComfyUI VACE, поддерживаемый VACE 14B, особенно подходит для приложений электронной коммерции и известен своей способностью эффективно рендерить мелкие детали, включая руки
5. Введите подробные подсказки, описывающие желаемую сцену, стиль и характеристики движения или перехода между изображениями
6. Отрегулируйте frame_rate в узле Video Combine, чтобы установить плавность видео в вашем выводе ComfyUI VACE, созданном с помощью VACE 14B
7. Настройте параметры семплирования в узле WanVideo Sampler
8. Нажмите "Run", чтобы создать переход видео с ComfyUI VACE 14B

3.3 ComfyUI VACE First and Last Frames Краткое руководство

1. Выберите группу рабочих процессов "First and last frames" в интерфейсе ComfyUI VACE
2. Загрузите ваш начальный кадр в первый узел Load Image
3. Загрузите ваш конечный кадр во второй узел Load Image
4. Настройте параметры узла WanVideo VACE Start To End Frame для оптимальных результатов VACE 14B
5. Введите подсказки, описывающие желаемое движение и стиль перехода для обработки ComfyUI VACE
6. Отрегулируйте параметры семплирования для точной настройки генерации VACE 14B
7. Нажмите "Run", чтобы создать плавный переходный видео с ComfyUI VACE 14B

3.4 ComfyUI VACE Video Object Editing Краткое руководство

1. Выберите группу рабочих процессов "Video Object Editing" в ComfyUI VACE
2. Загрузите ваше исходное видео, используя узел Load Video (Upload)
3. Вручную сделайте скриншот одного кадра из вашего видео, используя любой видеоплеер
4. Загрузите этот кадр в узел Points Editor через вход bg_image — этот кадр будет использован для ручной аннотации точек в ComfyUI VACE для обработки VACE 14B
5. Загрузите эталонное изображение объекта, который вы хотите вставить или использовать для замены, используя узел Load Image
6. В редакторе точек ComfyUI VACE отметьте области следующим образом:
   • Зеленые точки (Shift + Left Click): отметьте области для изменения (например, объект для замены)
   • Красные точки (Shift + Right Click): отметьте области для сохранения (например, фон или объект)
   • Правая кнопка мыши на существующей точке, чтобы удалить ее
7. Модуль S2/SAM2 Segmentation сгенерирует маску на основе ваших аннотаций
8. (Необязательно) Уточните маску, используя узел Grow Mask With Blur в ComfyUI VACE
9. Введите положительные подсказки, чтобы описать новый объект или модификацию (например, "традиционный красный зонтик")
10. Введите негативные подсказки, чтобы исключить нежелательные элементы из вашего вывода ComfyUI VACE, созданного с помощью VACE 14B
11. Нажмите "Run", чтобы создать отредактированное видео с замененным объектом в соответствии с вашими вводами, используя ComfyUI VACE 14B

3.5 ComfyUI VACE Video Expansion Краткое руководство

1. Выберите группу рабочих процессов "Video Expansion" в ComfyUI VACE
2. Загрузите ваше исходное видео в узел Load Video (Upload)
3. Настройте узел ImagePad KJ с желаемыми настройками расширения
4. Введите подсказки, описывающие, какой контент должен появиться в расширенных областях для обработки ComfyUI VACE с помощью VACE 14B
5. ComfyUI VACE, улучшенный VACE 14B, предлагает лучшее управление краями для более плавного расширения
6. Отрегулируйте параметры семплирования для согласованности с оригинальным видео
7. Нажмите "Run", чтобы создать расширенное видео с ComfyUI VACE 14B

4. Ключевые параметры для ComfyUI VACE 14B

Общие параметры семплирования для ComfyUI VACE:

• strength: 1.0 (по умолчанию для максимального эффекта в ComfyUI VACE 14B)
  • Выше = более сильный эффект алгоритма VACE 14B в ComfyUI VACE
  • Ниже = больше сохранение оригинального контента
• guidance: 7-9 (рекомендуется для оптимальных результатов ComfyUI VACE при использовании VACE 14B)
  • Выше = более точное следование ссылкам/условиям, но меньше креативности
  • Ниже = больше креативности, но возможно отклонение от ссылок
• steps: 20-25 (рекомендуется для ComfyUI VACE 14B)
  • Выше = лучшее качество, но медленнее генерация
  • Ниже = быстрее генерация, но возможно более низкое качество
• cfg: 4.0 (рекомендуется для ComfyUI VACE, интегрированного с VACE 14B)
  • Выше = сильнее влияние подсказок, но возможно менее естественные результаты
  • Ниже = более естественно, но возможно игнорирование деталей подсказок
• seed: 18 (пример для ComfyUI VACE 14B)
  • Один и тот же seed + одинаковые настройки = одинаковые результаты
  • Измените для различных вариаций в ваших выводах ComfyUI VACE, созданных с помощью VACE 14B
• shift: 5.0 (по умолчанию в ComfyUI VACE 14B)
  • Выше = больше вариации движения
  • Ниже = более консервативное движение

5. Расширенные параметры для ComfyUI VACE 14B

WanVideo VACE:

• num_frames: 29 (по умолчанию для эталонных рабочих процессов в ComfyUI VACE 14B)
  • Выше = более длинное видео, но больше времени на обработку
  • Ниже = более короткое видео, но быстрее генерация с использованием ComfyUI VACE на основе VACE 14B
• vace_start_percent: 0.00 (по умолчанию в ComfyUI VACE при использовании VACE 14B)
  • Управляет тем, где в процессе генерации начинается эффект VACE
• vace_end_percent: 1.00 (по умолчанию в ComfyUI VACE 14B)
  • Управляет тем, где в процессе генерации заканчивается эффект VACE

WanVideo VACE Start To End Frame:

• num_frames: 40 (по умолчанию в ComfyUI VACE 14B)
  • Выше = более длинные, плавные переходы, но больше времени на обработку
  • Ниже = более короткое видео, но быстрее генерация с использованием ComfyUI VACE, поддерживаемого VACE 14B
• empty_frame_level: 0.50 (по умолчанию для ComfyUI VACE 14B)
  • Выше = более креативные средние кадры
  • Ниже = более прямая интерполяция

Video Combine в ComfyUI VACE:

• frame_rate: 16 (по умолчанию для ComfyUI VACE с поддержкой VACE 14B)
  • Выше = более плавное движение, но больший размер файла
  • Ниже = более резкое движение, но меньший размер файла
• format: video/h264-mp4 (по умолчанию в ComfyUI VACE 14B)
• pix_fmt: yuv420p (по умолчанию в ComfyUI VACE с использованием VACE 14B)

Экспериментальные параметры для ComfyUI VACE 14B:

• cfg_zero_star: true (по умолчанию в ComfyUI VACE при работе с VACE 14B)
  • Экспериментальный параметр, который может повлиять на качество генерации
• fresca_scale_high: 1.25 (по умолчанию для ComfyUI VACE 14B)
  • Управляет сохранением высокочастотных деталей
• fresca_freq_cutoff: 20 (по умолчанию в ComfyUI VACE, улучшенном VACE 14B)
  • Частотный порог для сохранения деталей

Благодарности

Этот рабочий процесс ComfyUI VACE 14B поддерживается VACE (Video All-in-one Creation and Editing), разработанным Zeyinzi Jiang, Zhen Han, Chaojie Mao, Jingfeng Zhang, Yulin Pan и Yu Liu в Tongyi Lab, Alibaba Group. Интеграция ComfyUI VACE использует узлы и адаптации от Kijai () для реализации VACE 14B. Оригинальная научная статья для VACE 14B доступна по адресу . Эти рабочие процессы ComfyUI VACE с использованием VACE 14B также могут быть запущены на Ringhub для тех, у кого нет достаточного локального оборудования.