ComfyUI  >  Рабочие процессы  >  MimicMotion | Генерация видео с движением человека

MimicMotion | Генерация видео с движением человека

Рабочий процесс ComfyUI MimicMotion — это мощный инструмент для создания реалистичных видео с движением человека. Интегрируя MimicMotion, технологию, разработанную Tencent и Шанхайским университетом Цзяо Тун, этот рабочий процесс позволяет легко создавать детализированные и плавные видео. Вы можете просто предоставить эталонное изображение и последовательность движений, которые MimicMotion использует для создания видео, имитирующего внешний вид эталонного изображения.

Рабочий процесс ComfyUI MimicMotion

ComfyUI MimicMotion Workflow
Хотите запустить этот рабочий процесс?
  • Полностью функциональные рабочие процессы
  • Нет недостающих узлов или моделей
  • Не требуется ручная настройка
  • Отличается потрясающей визуализацией

Примеры ComfyUI MimicMotion

Описание ComfyUI MimicMotion

Что такое MimicMotion

MimicMotion — это управляемая система генерации видео, разработанная исследователями из Tencent и Шанхайского университета Цзяо Тун. Она может создавать высококачественные видео любой длины, следуя заданному движению. По сравнению с предыдущими методами, MimicMotion превосходит в создании видео с богатой детализацией, хорошей временной плавностью и возможностью генерировать длинные последовательности.

Как работает MimicMotion

MimicMotion принимает на вход эталонное изображение и руководство по позам. Затем она создает видео, которое соответствует внешнему виду эталонного изображения, следуя предоставленной последовательности движений.

Несколько ключевых инноваций обеспечивают высокую производительность MimicMotion:

  1. Учет уверенности в позах: Включая информацию о доверии к позам, MimicMotion достигает лучшей временной плавности и более устойчива к шумным обучающим данным. Это помогает ей хорошо обобщать.
  2. Увеличение потерь в региональных областях: Концентрация потерь на областях с высокой уверенностью в позах, особенно на руках, значительно уменьшает искажения изображений в сгенерированных видео.
  3. Прогрессивное слияние латентных представлений: Для эффективного создания плавных и длинных видео, MimicMotion генерирует сегменты видео с перекрывающимися кадрами и постепенно сливает их латентные представления. Это позволяет создавать видео любой длины с контролируемыми вычислительными затратами.

Модель сначала предварительно обучается на больших видеодатасетах, а затем дообучается для задачи имитации движений. Этот эффективный процесс обучения не требует огромного количества специализированных данных.

Как использовать ComfyUI MimicMotion (ComfyUI-MimicMotionWrapper)

После тестирования различных узлов MimicMotion, доступных в ComfyUI, мы рекомендуем использовать kijai's ComfyUI-MimicMotionWrapper для получения наилучших результатов.

Шаг 1: Подготовка входных данных для MimicMotion

Чтобы начать анимацию с ComfyUI MimicMotion, вам понадобятся два ключевых компонента:

  • Эталонное изображение: Это начальный кадр, который служит отправной точкой для вашей анимации. Выберите изображение, которое четко показывает объект, который вы хотите анимировать.
  • Изображения поз: Это изображения, которые определяют последовательность движений. Каждое изображение позы должно показывать желаемое положение или позу вашего объекта в определенный момент анимации. Вы можете создать эти изображения поз вручную или использовать инструменты оценки поз для извлечения поз из видео.

🌟Убедитесь, что ваше эталонное изображение и изображения поз имеют одинаковое разрешение и соотношение сторон для оптимальных результатов.🌟

Шаг 2: Загрузка модели MimicMotion

ComfyUI MimicMotion требует модель MimicMotion для правильного функционирования. В RunComfy модель уже загружена для вашего удобства. Чтобы настроить узел "DownLoadMimicMotionModel", выполните следующие шаги:

  • Установите параметр "model" на "MimicMotion-fp16.safetensors" (или соответствующее имя файла модели, если оно отличается).
  • Выберите желаемую точность (fp32, fp16 или bf16) в зависимости от возможностей вашего GPU. Этот выбор может повлиять на производительность и совместимость.
  • Оставьте параметр "lcm" установленным на False, если вы специально не хотите использовать вариант модели LCM (Latent Conditional Motion).

После настройки параметров узла подключите выход "DownloadAndLoadMimicMotionModel" к входу следующего узла в вашем рабочем процессе. Это обеспечит правильное использование загруженной модели MimicMotion на последующих этапах вашего пайплайна ComfyUI.

DownLoadMimicMotionModel

Шаг 3: Настройка узла MimicMotion Sampler

Узел "MimicMotionSampler" отвечает за создание анимированных кадров на основе ваших входных данных. Вот как его настроить:

  • Добавьте узел "MimicMotionSampler" и подключите его к выходу узла "DownloadAndLoadMimicMotionModel".
  • Установите параметр "ref_image" на ваше эталонное изображение и параметр "pose_images" на последовательность ваших изображений поз.
  • Настройте параметры выборки в соответствии с вашими предпочтениями:
    • "steps" определяет количество шагов диффузии (более высокие значения приводят к более плавным результатам, но увеличивают время обработки).
    • "cfg_min" и "cfg_max" контролируют силу условного руководства (более высокие значения точнее соответствуют изображениям поз).
    • "seed" устанавливает случайное начальное значение для воспроизводимости.
    • "fps" указывает количество кадров в секунду для создаваемой анимации.
    • Настройте дополнительные параметры, такие как "noise_aug_strength", "context_size" и "context_overlap", чтобы экспериментировать с различными стилями и временной согласованностью.
MimicMotionSampler

Шаг 4: Декодирование латентных выборок

Узел "MimicMotionSampler" выводит латентные представления анимированных кадров. Чтобы преобразовать эти латенты в реальные изображения, вам нужно использовать узел "MimicMotionDecode":

  • Добавьте узел "MimicMotionDecode" и подключите его к выходу узла "MimicMotionSampler".
  • Установите параметр "decode_chunk_size", чтобы контролировать количество кадров, декодируемых одновременно (более высокие значения могут потреблять больше памяти GPU). Выход узла "MimicMotionDecode" будет финальными анимированными кадрами в формате изображений.

Шаг 5: Улучшение поз с помощью MimicMotionGetPoses

Если вы хотите визуализировать извлеченные позы вместе с вашим эталонным изображением, вы можете использовать узел "MimicMotionGetPoses":

  • Подключите "ref_image" и "pose_images" к узлу "MimicMotionGetPoses".
  • Установите параметры "include_body", "include_hand" и "include_face" для контроля, какие ключевые точки поз отображаются. Выход будет включать эталонное изображение с извлеченной позой и отдельные изображения поз.
MimicMotionGetPoses

Советы и лучшие практики

Вот несколько советов, которые помогут вам максимально эффективно использовать ComfyUI MimicMotion:

  • Экспериментируйте с различными эталонными изображениями и последовательностями поз для создания разнообразных анимаций.
  • Настраивайте параметры выборки, чтобы сбалансировать качество и время обработки в зависимости от ваших потребностей.
  • Используйте высококачественные, согласованные изображения поз для наилучших результатов. Избегайте резких изменений в перспективе или освещении между позами.
  • Следите за использованием памяти GPU, особенно при работе с изображениями высокого разрешения или длинными анимациями.
  • Воспользуйтесь узлом "DiffusersScheduler" для настройки планирования шума для уникальных эффектов.

ComfyUI MimicMotion — это мощный и универсальный инструмент, который позволяет вам легко создавать потрясающие анимации. Понимая рабочий процесс и исследуя различные параметры, вы сможете анимировать кого угодно с легкостью. Погружаясь в мир анимации, не забывайте экспериментировать, повторять и получать удовольствие от процесса. С ComfyUI MimicMotion возможности безграничны, так что наслаждайтесь воплощением своих творческих замыслов в жизнь!

Хотите больше рабочих процессов ComfyUI?

RunComfy

© Авторское право 2024 RunComfy. Все права защищены.

RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией.