Wan2.2 Animate Action Transfer V7 | Создатель видео с движением AI

Wan2.2 Animate Action Transfer V7: Рабочий процесс видео "Движение к персонажу" для ComfyUI#

Wan2.2 Animate Action Transfer V7 — это рабочий процесс видео для ComfyUI, который переносит движение из управляющего видео на целевого персонажа или изображение, сохраняя идентичность, кадрирование и стиль. Построен на базе Wan2.2 Animate с поддержкой поз, лиц, CLIP vision, Uni3C ControlNet и направляющей Wan LoRA, он создает MP4, готовый для редактирования или публикации.

Этот рабочий процесс Wan2.2 Animate Action Transfer идеально подходит для создателей, которые хотят получить готовую для RunComfy настройку переноса действий с примерами входных данных и постоянными, повторяемыми результатами. Он обрабатывает позы и лица, опциональное руководство камерой, утилиты кадрирования и соотношения сторон, а также передачу аудио, так что вы можете сосредоточиться на режиссуре исполнения и внешнего вида.

Ключевые модели в рабочем процессе ComfyUI Wan2.2 Animate Action Transfer#

• Wan2.2 Animate 14B. Основная модель диффузии видео, которая генерирует кадры с постоянным движением, обусловленные идентичностью, позой и текстовыми встраиваниями. Модельная карточка
• Wan Video VAE (Wan 2.1). Высококачественное латентное кодирование/декодирование для кадров видео, которое балансирует детализацию и скорость в ComfyUI. Активы
• Кодировщик CLIP Vision (ViT‑H/14 через OpenCLIP). Извлекает сигналы идентичности и композиции из целевого изображения, чтобы сохранить стабильность субъекта на протяжении всех кадров. Репозиторий
• ViTPose Whole‑Body. Надежная оценка ключевых точек тела, рук и лица для точного переноса действий. Статья
• Детекторы YOLOv10. Обнаружение людей и областей, используемое для локализации тел перед извлечением ключевых точек и картированием пропорций. Репозиторий
• SDPose Whole‑Body extractor. Альтернативный бэкэнд для извлечения ключевых точек всего тела, интегрированный для многовариантного анализа поз. Репозиторий
• Uni3C ControlNet для видео (через WanVideoWrapper). Опциональное структурное руководство, которое стабилизирует камеру и ограничения сцены во время рендеринга. Репозиторий

Как использовать рабочий процесс ComfyUI Wan2.2 Animate Action Transfer#

На высоком уровне вы загружаете изображение целевого персонажа и управляющее видео, рабочий процесс извлекает сигналы поз и лиц, кодирует идентичность с помощью CLIP vision, опционально применяет руководство камерой Uni3C и Wan LoRAs, затем рендерит с помощью Wan2.2 Animate в кадры и экспортирует MP4 с или без исходного аудио.

Зона ввода#

Загрузите ваше управляющее видео в VHS_LoadVideo (#275) и изображение целевого персонажа в LoadImage (#299). Загрузчик видео управляет ограничениями частоты кадров, опциональным извлечением аудио и базовыми элементами управления выбором; загрузчик изображений используется как ссылка для идентичности и кадрирования. Утилиты соотношения автоматически вычисляют ширину и высоту в зависимости от выбранной вами ориентации, чтобы выходные данные соответствовали 16:9 или 9:16 без искажений. Если вы планируете сохранить исходное аудио, оставьте его подключенным; экспортер обрежет или дополнит его в соответствии с настройками.

Ссылка на изображение#

Эта группа подготавливает целевое изображение для руководства по идентичности. ImageResizeKJv2 (#225) выравнивает изображение под разрешение рендеринга, CLIPVisionLoader (#178) загружает основу зрения, а WanVideoClipVisionEncode (#189) создает встраивания CLIP vision. Используйте чистое, хорошо освещенное изображение с нужным кадрированием; CLIP vision сохраняет идентичность субъекта, одежду и композицию, так что сгенерированное видео следует вашему образу.

Вычисление лиц и поз#

Рабочий процесс поддерживает несколько конвейеров поз для надежности. OnnxDetectionModelLoader (#204) с PoseAndFaceDetection (#235, #249) извлекает позы всего тела плюс лица из управляющего видео. Параллельно, основанное на YOLO обнаружение областей (YOLOModelLoader (#327, #387) с BBoxYOLO (#324, #379, #395)) питает SDPoseKeypointExtractor (#326, #383, #384) для альтернативных ключевых точек. Маршрут переназначения пропорций с использованием BodyRatioMapperProportionTransfer (#388) адаптирует движение между различными пропорциями тела и рендерит чистую карту поз с помощью BodyRatioMapperSDPoseRender (#391). Переключатель boolean позволяет обойти руководство по лицу для полностью замаскированных или шлемированных актеров, чтобы избежать конфликтов выражений.

Загрузка моделей#

WanVideoVAELoader (#277) и WanVideoModelLoader (#287) загружают основу Wan2.2 Animate и VAE. Два узла WanVideoLoraSelectMulti (#248, #276) позволяют вам складывать LoRAs для управления стилем, скоростью, освещением или направлением, а WanVideoSetBlockSwap (#290) настраивает удобный для памяти обмен блоками для длинных клипов. WanVideoContextOptions (#270) устанавливает временные окна контекста и шаг, чтобы модель видела достаточно соседних кадров, чтобы оставаться стабильной без чрезмерного сглаживания действий.

Руководство по камере и структуре Uni3C#

Когда вам нужно более стабильное поведение камеры или ограничения сцены, включите путь Uni3C. WanVideoUni3C_ControlnetLoader (#345) загружает контрольную модель, WanVideoEncode (#346) преобразует кадры в латенты для кондиционирования, и WanVideoUni3C_embeds (#344) генерирует встраивания Uni3C, чью силу вы можете настроить. Это руководство интегрируется в основную цепь рендеринга для стабилизации панорам, зумов или сцен с крупными движениями.

Семплинг и рендеринг#

WanVideoAnimateEmbeds (#295) объединяет идентичность CLIP vision, карты поз и вырезки лиц в встраивания изображений, в то время как вы контролируете pose_strength и face_strength. Основной рендер работает в два этапа с WanVideoSampler (#222, #367); переключатель выбирает ветвь с руководством Uni3C, когда она включена, в противном случае стандартную ветвь. После семплирования, WanVideoDecode (#246) переводит латенты в изображения и утилиты выбора кадров направляют их на экспорт. Рабочий процесс балансирует длину контекста, шаг и память, так что вы можете надежно рендерить длинные последовательности.

Экспорт#

Включены два экспортера. VideoCombineNode (#330) предоставляет компактный экспорт в MP4 с опциональной обрезкой до аудио. VHS_VideoCombine (#285) предлагает более богатый интерфейс для частоты кадров, CRF, pix_fmt и именования выходных данных; он также поддерживает прямую передачу аудио. Утилита сжатия может заархивировать все кадры, если вы предпочитаете последовательности изображений для постобработки.

Утилиты пакетной обработки и помощники#

Маленький кластер управляет математикой кадров, повторами и счетом, чтобы эталонные пакеты совпадали с длиной целевой последовательности. Утилиты, такие как ImageFromBatch (#181), ImageBatch (#304), BatchCount+ (#308, #314) и easy mathInt (#309), поддерживают синхронизацию длин для плавного кондиционирования на протяжении всего клипа. Узлы гигиены VRAM очищают память между тяжелыми шагами, чтобы уменьшить ошибки из-за нехватки памяти во время длительных рендеров.

Ключевые узлы в рабочем процессе ComfyUI Wan2.2 Animate Action Transfer#

• VHS_LoadVideo (#275). Загружает управляющее видео и извлекает аудио. Используйте ограничение кадров при тестировании или итерациях; как только вы зафиксируете внешний вид и движение, удалите ограничение для полноразмерных рендеров. Сохраните исходную частоту кадров, если вы хотите, чтобы движение чувствовалось идентично источнику, или задайте новую частоту кадров, если вам нужна определенная частота поставки.
• WanVideoAnimateEmbeds (#295). Объединяет идентичность (CLIP vision), позу и сигналы лица в встраивания, которые управляют моделью. Настройте pose_strength, чтобы определить, насколько плотно движение следует за источником, и face_strength, чтобы уделить приоритетное внимание сходству с лицом; более низкая сила лица может помочь стилизованным, аниме или животным персонажам.
• WanVideoContextOptions (#270). Настраивает временное окно контекста, шаг и перекрытие, которые контролируют, сколько соседних кадров модель учитывает. Больший контекст обеспечивает более плавное продолжение; более короткий контекст может сохранить четкие изменения в быстром действии. Поддерживайте настройки контекста постоянными, когда вы меняете частоту кадров или разрешение.
• WanVideoUni3C_embeds (#344). Генерирует опциональное руководство по камере/структуре. Увеличьте strength, когда вы видите дрожание камеры или нежелательные зумы; уменьшите его, если руководство начинает бороться с вашим творческим кадрированием.
• WanVideoLoraSelectMulti (#276). Стакирует Wan LoRAs для стиля, скорости, освещения или направления. Начните с одной LoRA на умеренной силе, затем добавляйте дополнительные только по мере необходимости; объединение слишком многих сильных LoRAs может дестабилизировать идентичность.
• WanVideoSampler (#367). Основной диффузионный семплер для Wan2.2 Animate. Планировщик, сила шумоподавления и количество шагов взаимодействуют; увеличение шагов улучшает детализацию, но увеличивает время, в то время как более высокая сила шумоподавления увеличивает переписывание движения. Если вы используете Uni3C, настройте его силу перед тем, как повышать шаги.
• PoseAndFaceDetection (#235). Извлекает позы всего тела и вырезки лиц из управляющего видео. Оставьте переключатель “маска/шлем актера” выключенным, если лицо исполнителя полностью закрыто; включение его на видимых лицах может заглушить выражения.
• VHS_VideoCombine (#285). Высококачественный экспорт в MP4 с поддержкой аудио. Используйте trim_to_audio, чтобы жестко синхронизировать видео с музыкой или диалогом, и настройте crf для компромисса между размером и качеством. Держите pix_fmt на значении, дружественном к трансляции, если вы передаете редакторам или социальным платформам.

Опциональные дополнения#

• Подготовьте входные данные: используйте чистое, равномерно освещенное целевое изображение и управляющий клип с минимальным размытием движения для лучших ключевых точек.
• Соответствие соотношению сторон: выберите 16:9 или 9:16 на раннем этапе; рабочий процесс автоматически масштабирует изображения, чтобы конечное видео не имело неожиданных черных полос.
• Советы по стабильности: если вы видите дрейф рук или ног, увеличьте pose_strength; если идентичность дрейфует, увеличьте влияние CLIP vision или упростите стекирование LoRA.
• Управление камерой: включайте Uni3C только когда вам нужна стабилизация камеры; часто оставление его выключенным дает наиболее кинематографическое движение, когда источник снят с рук.
• Итерация: сначала рендерьте короткие диапазоны кадров, затем экспортируйте полную последовательность, когда движение и внешний вид настроены.

Этот рабочий процесс Wan2.2 Animate Action Transfer приносит надежный перенос действий в ComfyUI с практическими настройками по умолчанию и возможностью роста. Загрузите ваше изображение и управляющее видео, установите силу позы и лица, выберите Uni3C, если необходимо, и экспортируйте отполированный MP4.

Благодарности#

Этот рабочий процесс реализует и строится на следующих работах и ресурсах. Мы искренне благодарим Wan-AI за официальную модель Wan2.2 Animate, Kijai за узлы ComfyUI Wan (ComfyUI-WanVideoWrapper и ComfyUI-WanAnimatePreprocess), а также команды RunningHub и RunComfy за предоставленные и поддерживаемые рабочие процессы ComfyUI. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• RunningHub/Исходный код рабочего процесса
  • Документация / Примечания к выпуску: Пост RunningHub
• RunComfy/Облачное сохранение рабочего процесса
  • Документация / Примечания к выпуску: Общий рабочий процесс RunComfy
• Официальная модель Wan-AI/Wan2.2 Animate
  • Hugging Face: Wan-AI/Wan2.2-Animate-14B
• kijai/Узлы ComfyUI-WanVideoWrapper
  • GitHub: kijai/ComfyUI-WanVideoWrapper
• Активы модели Kijai/Wan2.2 Animate FP8 ComfyUI
  • Hugging Face: Kijai/WanVideo_comfy_fp8_scaled
• kijai/Узлы ComfyUI-WanAnimatePreprocess
  • GitHub: kijai/ComfyUI-WanAnimatePreprocess

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.