LivePortrait | Анимация Портретов | Vid2Vid

Благодаря узлу и рабочему процессу , создание реалистичных анимаций LivePortrait в ComfyUI стало проще. Ниже приведен анализ ключевых компонентов и параметров его рабочего процесса.

Пожалуйста, сначала прочитайте описание , чтобы понять шаги рабочего процесса. После ознакомления с процессом LivePortrait Img2Vid вы заметите некоторые небольшие изменения между рабочими процессами LivePortrait Vid2Vid и Img2Vid.

Различия между ComfyUI LivePortrait Vid2Vid и Img2Vid

1. Загрузка видео с помощью "VHS_LoadVideo" вместо изображений

• В этом рабочем процессе LivePortrait Img2Vid вы загружаете статическое изображение в качестве источника, используя узел "LoadImage". Однако в рабочем процессе Vid2Vid вам нужно загрузить видео в качестве источника. Настройте "frame_load_cap", чтобы контролировать, сколько кадров загружается.
• Измените размер исходного видео на более высокое разрешение, например 1024x1024, для улучшения качества. После загрузки исходного видео с помощью "VHS_LoadVideo" используйте узел "ImageResizeKJ", чтобы увеличить масштаб кадров до разрешения, например, 1024x1024. Это поможет сохранить резкость и детали в окончательном результате. При работе с видео рекомендуется использовать более высокое разрешение для источника по сравнению с рабочим процессом Img2Vid. Хотя 512x512 часто достаточно для статических изображений, видео выигрывают от более высоких разрешений для сохранения деталей и качества.
• Кадры управляющего видео все еще могут быть уменьшены до более низкого разрешения, например 480x480, чтобы сэкономить время обработки, так как они предоставляют только информацию о движении.

2. Используйте "source_video_smoothed" режим относительного движения для более плавных результатов LivePortrait Vid2Vid

• У узла "LivePortraitProcess" есть параметр "relative_motion_mode", который контролирует, как движение переносится с управляющего видео на источник. Для Vid2Vid рекомендуется использовать режим "source_video_smoothed".
• В этом режиме движение LivePortrait сглаживается с течением времени на основе входного видео, что помогает создавать более временно согласованные и стабильные результаты. Это особенно важно для видео, где внезапные прыжки или дрожание движения могут быть более заметными, чем на одиночных изображениях.
• Другие режимы движения, такие как "relative" или "single_frame", могут лучше подходить для Img2Vid, но "source_video_smoothed" обычно является лучшим выбором для Vid2Vid.

3. Подключите FPS исходного видео и аудио к "VHS_VideoCombine" для поддержания синхронизации аудио для LivePortrait Vid2Vid

• При создании окончательного выходного видео с помощью узла "VHS_VideoCombine" важно поддерживать синхронизацию аудио с видеокадрами. Это включает два ключевых соединения:
• Во-первых, подключите аудио исходного видео к входу "audio" узла "VHS_VideoCombine" с помощью узла "Reroute". Это обеспечит использование оригинального аудио в выходном видео.
• Во-вторых, подключите частоту кадров (FPS) исходного видео к входу "frame_rate" узла "VHS_VideoCombine". Вы можете получить FPS, используя узел "VHS_VideoInfo", который извлекает метаданные из исходного видео. Это обеспечит соответствие выходного видео по времени с исходным.
• Тщательно обрабатывая аудио и частоту кадров, вы можете создать выходной результат LivePortrait Vid2Vid, который поддерживает правильную синхронизацию и временные рамки, что критично для реалистичного и смотрибельного результата.