ComfyUI  >  Рабочие процессы  >  ComfyUI LivePortrait Workflow | Анимация портретов

ComfyUI LivePortrait Workflow | Анимация портретов

Этот рабочий процесс ComfyUI LivePortrait оживляет статичные портретные изображения, интегрируя эффективную структуру LivePortrait. Он позволяет создавать высокореалистичные анимированные видео с полным контролем над выражениями лица, движениями головы и мелкими деталями, такими как глаза и рот.

ComfyUI LivePortrait Workflow

ComfyUI LivePortrait Workflow
Хотите запустить этот рабочий процесс?
  • Полностью функциональные рабочие процессы
  • Нет недостающих узлов или моделей
  • Не требуется ручная настройка
  • Отличается потрясающей визуализацией

ComfyUI LivePortrait Examples

ComfyUI LivePortrait Description

Что такое LivePortrait?

LivePortrait - это эффективная структура для анимации портретов, разработанная компанией Kuaishou Technology, целью которой является синтезирование реалистичных видео из одного исходного изображения. Она использует исходное изображение в качестве эталона внешности и извлекает движение (выражения лица и позу головы) из управляющего видео, аудио, текста или генерации.

В отличие от основных методов, основанных на диффузии, LivePortrait исследует и расширяет структуру, основанную на имплицитных ключевых точках, чтобы эффективно сбалансировать вычислительную эффективность и управляемость. Она фокусируется на лучшей обобщаемости, управляемости и эффективности для практического использования. LivePortrait имеет высокое качество генерации даже по сравнению с методами диффузии, при этом она чрезвычайно быстра - около 12.8 мс на кадр на GPU RTX 4090 с PyTorch.

Для получения дополнительной информации посетите LivePortrait

Как работает LivePortrait

На высоком уровне, LivePortrait принимает в качестве входных данных исходное изображение и управляющее видео. Она извлекает внешность из исходного изображения и движение из управляющего видео. Эти данные затем комбинируются с использованием модулей деформации и генерации для синтезирования анимированного портретного видео, которое сохраняет идентичность исходного изображения, но следует движению и выражениям управляющего видео.

Ключевые компоненты LivePortrait:

  1. Экстрактор признаков внешности: Кодирует информацию об идентичности и внешности из исходного изображения.
  2. Экстрактор движения: Извлекает признаки движения (ключевые точки лица) из кадров управляющего видео.
  3. Модуль деформации: Использует извлеченное движение для деформации признаков исходного изображения, выравнивая их по позе и выражению управляющего видео.
  4. Генератор изображений: Принимает деформированные признаки и синтезирует финальный фотореалистичный анимированный кадр.
  5. Модуль сшивания и перенаправления: Опционально сшивает сгенерированный портрет обратно на исходное изображение и позволяет контролировать конкретные области лица, такие как глаза и рот.

Эти модули эффективно спроектированы и работают вместе, чтобы обеспечить высококачественную, управляемую анимацию LivePortrait.

Как использовать ComfyUI LivePortrait

Благодаря узлу и рабочему процессу kijai's ComfyUI-LivePortraitKJ, создание реалистичных анимаций портретов в ComfyUI стало проще. Ниже приведен разбор ключевых компонентов и параметров его рабочего процесса ComfyUI LivePortrait.

Для использования LivePortrait в ComfyUI

  1. Добавьте узел "(Down)LoadLivePortraitModels" для загрузки и загрузки предварительно обученных моделей LivePortrait.
    • Выберите желаемую точность (fp32, fp16 или auto).
  2. Добавьте узел "LivePortraitProcess" и подключите его к узлу моделей.
    • Подключите ваше исходное изображение и кадры управляющего видео к соответствующим входам.
    • Настройте параметры:
      • dsize: Размер обрезки (по умолчанию: 512)
      • scale: Коэффициент масштабирования обрезки (по умолчанию: 2.3)
      • vx_ratiovy_ratio: Коэффициенты смещения обрезки (по умолчанию: 0, -0.125)
      • lip_zero: Рот закрыт, когда значение близко к 0 (по умолчанию: True)
      • eye_retargeting: Включить перенаправление глаз (по умолчанию: False)
      • lip_retargeting: Включить перенаправление губ (по умолчанию: False)
      • stitching: Сшить сгенерированный портрет на оригинальное изображение (по умолчанию: True)
      • relative: Перенаправление относительно якорного кадра (по умолчанию: True)
      • onnx_device: Устройство для обрезки лица ONNX (CPU/CUDA, по умолчанию: CPU)
  3. Узел "LivePortraitProcess" выводит обрезанные сгенерированные кадры, а также полные кадры с фоном.

Некоторые ключевые параметры LivePortrait в ComfyUI

  • dsizescalevx_ratiovy_ratio управляют обнаружением лица и обрезкой. Настройте их, если лицо не обнаружено и не центрировано должным образом.
  • Включите eye_retargeting и lip_retargeting для более точного контроля над этими областями. Перенаправление использует имплицитные формы смешивания и относительное к первому кадру.
  • lip_zero зажимает рот закрытым, когда значение движения близко к нулю. Полезно для нейтрального эталонного кадра.
  • Включите stitching, чтобы вставить сгенерированный портрет обратно на оригинальное изображение. Отключите для вывода только обрезанного лица.

Обратите внимание, что модель Insightface интегрирована в этот рабочий процесс ComfyUI LivePortrait. Лицензия модели Insightface (https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip) носит некоммерческий характер.

Хотите больше рабочих процессов ComfyUI?

RunComfy

© Авторское право 2024 RunComfy. Все права защищены.

RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией.