Благодаря узлу и рабочему процессу kijai's ComfyUI-LivePortraitKJ, создание реалистичных анимаций LivePortrait в ComfyUI стало проще. Ниже приведен анализ ключевых компонентов и параметров его рабочего процесса.
Пожалуйста, сначала прочитайте описание LivePortrait Img2Vid, чтобы понять шаги рабочего процесса. После ознакомления с процессом LivePortrait Img2Vid вы заметите некоторые небольшие изменения между рабочими процессами LivePortrait Vid2Vid и Img2Vid.
Различия между ComfyUI LivePortrait Vid2Vid и Img2Vid
1. Загрузка видео с помощью "VHS_LoadVideo" вместо изображений
- В этом рабочем процессе LivePortrait Img2Vid вы загружаете статическое изображение в качестве источника, используя узел "LoadImage". Однако в рабочем процессе Vid2Vid вам нужно загрузить видео в качестве источника. Настройте "frame_load_cap", чтобы контролировать, сколько кадров загружается.
- Измените размер исходного видео на более высокое разрешение, например 1024x1024, для улучшения качества. После загрузки исходного видео с помощью "VHS_LoadVideo" используйте узел "ImageResizeKJ", чтобы увеличить масштаб кадров до разрешения, например, 1024x1024. Это поможет сохранить резкость и детали в окончательном результате. При работе с видео рекомендуется использовать более высокое разрешение для источника по сравнению с рабочим процессом Img2Vid. Хотя 512x512 часто достаточно для статических изображений, видео выигрывают от более высоких разрешений для сохранения деталей и качества.
- Кадры управляющего видео все еще могут быть уменьшены до более низкого разрешения, например 480x480, чтобы сэкономить время обработки, так как они предоставляют только информацию о движении.
2. Используйте "source_video_smoothed" режим относительного движения для более плавных результатов LivePortrait Vid2Vid
- У узла "LivePortraitProcess" есть параметр "relative_motion_mode", который контролирует, как движение переносится с управляющего видео на источник. Для Vid2Vid рекомендуется использовать режим "source_video_smoothed".
- В этом режиме движение LivePortrait сглаживается с течением времени на основе входного видео, что помогает создавать более временно согласованные и стабильные результаты. Это особенно важно для видео, где внезапные прыжки или дрожание движения могут быть более заметными, чем на одиночных изображениях.
- Другие режимы движения, такие как "relative" или "single_frame", могут лучше подходить для Img2Vid, но "source_video_smoothed" обычно является лучшим выбором для Vid2Vid.
3. Подключите FPS исходного видео и аудио к "VHS_VideoCombine" для поддержания синхронизации аудио для LivePortrait Vid2Vid
- При создании окончательного выходного видео с помощью узла "VHS_VideoCombine" важно поддерживать синхронизацию аудио с видеокадрами. Это включает два ключевых соединения:
- Во-первых, подключите аудио исходного видео к входу "audio" узла "VHS_VideoCombine" с помощью узла "Reroute". Это обеспечит использование оригинального аудио в выходном видео.
- Во-вторых, подключите частоту кадров (FPS) исходного видео к входу "frame_rate" узла "VHS_VideoCombine". Вы можете получить FPS, используя узел "VHS_VideoInfo", который извлекает метаданные из исходного видео. Это обеспечит соответствие выходного видео по времени с исходным.
- Тщательно обрабатывая аудио и частоту кадров, вы можете создать выходной результат LivePortrait Vid2Vid, который поддерживает правильную синхронизацию и временные рамки, что критично для реалистичного и смотрибельного результата.
