Wan2.2 Анимация | Фото в реалистичное видео движения

Wan2.2 Animate: анимация от референса к видео с полным движением в ComfyUI

Wan2.2 Animate превращает одно референсное изображение в реалистичное выступление, следующее за полным движением тела и выражениями лица управляющего видео. Этот рабочий процесс Wan2.2 Animate в ComfyUI объединяет перенос поз, захват мимики, контроль фона и добавки LoRA, чтобы персонажи двигались естественно, сохраняя идентичность.

Разработан для аватаров, воссоздания выступлений, музыкальных видео и сюжетных моментов, Wan2.2 Animate создает чистые, временно стабильные клипы с возможностью передачи аудио, улучшения качества и интерполяции. Поставляется в виде направленного графа с разумными настройками по умолчанию, чтобы вы могли сосредоточиться на креативных выборах, а не на технических аспектах.

Основные модели в рабочем процессе Comfyui Wan2.2 Animate

• Wan 2.2 Animate 14B (I2V) fp8 scaled. Основная видеомодель, которая интерпретирует позы, лицо, изображение и текстовые указания для синтеза траектории движения с сохранением идентичности. Model set
• Wan 2.1 VAE bf16. Соответствующая VAE, используемая для кодирования/декодирования латентов для семейства Wan, обеспечивая цветовую точность и резкость. VAE
• UMT5‑XXL text encoder. Обеспечивает надежное многязычное текстовое условие для положительных и отрицательных подсказок. Encoder
• CLIP ViT‑H/14 vision encoder. Извлекает визуальные эмбеддинги из референсного изображения для сохранения идентичности и стиля. Paper
• Дополнительно Wan LoRAs. Легкие адаптеры для контроля освещения и поведения I2V, такие как Lightx2v I2V 14B и Relight. Lightx2v • Relight
• Segment Anything 2 (SAM 2). Высококачественная сегментация изображения/видео, используемая для изоляции объекта или фона. Paper
• DWPose. Точная оценка позы 2D, используемая для обрезки и масок с учетом лица/позы. Repo
• RIFE. Быстрая интерполяция видеокадров для повышения плавности воспроизведения. Paper

Как использовать рабочий процесс Comfyui Wan2.2 Animate

Общий поток. График принимает управляющее видео и одно референсное изображение, подготавливает чистый объект/фон и обрезку с учетом лица, затем передает позы, лицо, изображения и текстовые эмбеддинги в Wan2.2 Animate для выборки и декодирования. Финальная стадия увеличивает детали и при необходимости интерполирует кадры перед экспортом.

• Модели
  • Эта группа загружает базу Wan2.2 Animate, соответствующую VAE, текст/визуальные энкодеры и любые выбранные LoRAs. WanVideoModelLoader (#22) и WanVideoSetLoRAs (#48) подключают модель и адаптеры, в то время как WanVideoVAELoader (#38) и CLIPLoader (#175) предоставляют основы VAE и текста.
  • Если вы планируете настроить LoRAs (например, relight или I2V стиль), держите активными только один или два одновременно, чтобы избежать конфликтов, затем предварительно просмотрите с предоставленными узлами коллажа.

Размер

• Установите вашу целевую width и height в группе размера и подтвердите, что frame_count соответствует кадрам, которые вы планируете загрузить из управляющего видео. VHS_LoadVideo (#63) сообщает количество; держите num_frames генератора согласованным, чтобы избежать усечения в конце.
• Помощник PixelPerfectResolution (#152) считывает управляющий клип, чтобы предложить стабильное поколение размеров.

Маскирование фона

• Загрузите ваше управляющее видео в VHS_LoadVideo (#63); аудио извлекается автоматически для последующей передачи. Используйте PointsEditor (#107), чтобы разместить несколько положительных точек на объекте и запустите Sam2Segmentation (#104), чтобы создать чистую маску.
• GrowMask (#100) и BlockifyMask (#108) стабилизируют и расширяют края, а DrawMaskOnImage (#99) предоставляет быструю проверку на разумность. Эта маска позволяет Wan2.2 Animate сосредоточиться на исполнителе, уважая оригинальный фон.

Референсное изображение

• Вставьте одно хорошо освещенное портретное или полнотелое изображение. ImageResizeKJv2 (#64) подгоняет его под ваше рабочее разрешение, и выход сохраняется для стадии анимации.
• Для лучшего сохранения идентичности выберите референсное изображение с четким лицом и минимальными помехами.

Изображения лица

• Конвейер создает обрезку с учетом лица для управления микро-выражениями. DWPreprocessor (#177) находит ключевые точки позы, FaceMaskFromPoseKeypoints (#120) изолирует область лица, а ImageCropByMaskAndResize (#96) производит выровненные обрезки лица. Включен небольшой экспортер для быстрого контроля качества (VHS_VideoCombine (#112)).

Выборка и декодирование

• Референсное изображение встраивается через WanVideoClipVisionEncode (#70), подсказки кодируются с помощью CLIPTextEncode (#172, #182, #183), и все объединяется с помощью WanVideoAnimateEmbeds (#62).
• WanVideoSampler (#27) запускает основную диффузию Wan2.2 Animate. Вы можете работать в режиме "context window" для очень длинных клипов или использовать оригинальный путь long‑gen; включенное примечание объясняет, когда следует сопоставить окно контекста с количеством кадров для стабильности. Выходное значение выборки декодируется WanVideoDecode (#28) и сохраняется с возможностью передачи аудио (VHS_VideoCombine (#30)).

Коллаж результатов

• ImageConcatMulti (#77, #66) и GetImageSizeAndCount (#42) собирают панель бок о бок с референсным изображением, лицом, позой и выходом. Используйте его, чтобы проверить идентичность и выравнивание движения перед окончательным экспортом.

Увеличение и интерполяция

• UltimateSDUpscaleNoUpscale (#180) уточняет края и текстуры с помощью предоставленного UNet (UNETLoader (#181)) и VAE (VAELoader (#184)); положительные/отрицательные подсказки могут мягко управлять деталями.
• RIFEInterpolation (#188) при необходимости удваивает плавность движения, а VHS_VideoCombine (#189) записывает финальный клип Wan2.2 Animate.

Ключевые узлы в рабочем процессе Comfyui Wan2.2 Animate

• VHS_LoadVideo (#63)
  • Роль. Загружает управляющее видео, выводит кадры, извлекает аудио и сообщает количество кадров для согласованности вниз по потоку.
  • Совет. Держите общее количество кадров, о которых сообщается, согласованным с длиной генерации выборщика, чтобы предотвратить раннее обрезание или черные кадры.
• Sam2Segmentation (#104) + PointsEditor (#107)
  • Роль. Интерактивное маскирование объекта, которое помогает Wan2.2 Animate сосредоточиться на исполнителе и избежать путаницы с фоном.
  • Совет. Несколько хорошо расположенных положительных точек плюс скромный GrowMask имеют тенденцию к стабилизации сложных фонов без появления ореолов. См. SAM 2 для рекомендаций по сегментации видео. Paper
• DWPreprocessor (#177) + FaceMaskFromPoseKeypoints (#120)
  • Роль. Создайте надежные маски лица и выровненные обрезки из обнаруженных ключевых точек, чтобы улучшить точность губ, глаз и челюсти.
  • Совет. Если выражения выглядят приглушенными, убедитесь, что маска лица покрывает всю линию челюсти и щеки; повторно выполните обрезку после корректировки точек. Repo
• WanVideoModelLoader (#22) и WanVideoSetLoRAs (#48)
  • Роль. Загрузите Wan2.2 Animate и примените дополнительные LoRAs для изменения освещения или смещения I2V.
  • Совет. Активируйте одну LoRA за раз при диагностике артефактов освещения или движения; используйте умеренно, чтобы избежать чрезмерных ограничений. Models • LoRAs
• WanVideoAnimateEmbeds (#62) и WanVideoSampler (#27)
  • Роль. Объедините изображение, лицо, позу и текстовые условия в видео латенты и выполните выборку последовательности с помощью Wan2.2 Animate.
  • Совет. Для очень длинных клипов переключитесь в режим контекстного окна и держите его длину синхронизированной с предполагаемым количеством кадров для сохранения временной согласованности. Wrapper repo
• UltimateSDUpscaleNoUpscale (#180)
  • Роль. Легкий проход по деталям после декодирования с поддержкой тайлинга для поддержания стабильности памяти.
  • Совет. Если вы видите швы плитки, умеренно увеличьте перекрытие и держите управление подсказками очень мягким, чтобы избежать текстур вне модели. KJNodes
• RIFEInterpolation (#188)
  • Роль. Сглаживает движение, вставляя промежуточные кадры без повторного рендеринга клипа.
  • Совет. Применяйте интерполяцию после увеличения, чтобы оптический поток видел окончательный профиль деталей. Paper

Дополнительные опции

• Для самого чистого сохранения идентичности выберите четкое, фронтальное референсное изображение и держите аксессуары согласованными с управляющим видео.
• Если появляется мерцание фона, уточните маску SAM 2 и повторно выполните процесс; маскирование часто является самым быстрым решением для утечки сцены.
• Держите ширину и высоту согласованными с вашей целевой платформой и соотношением сторон входных данных; квадратные пиксели, кратные 16, хорошо работают в Wan2.2 Animate.
• Аудио из управляющего видео может быть передано при экспорте; если вы предпочитаете тишину, отключите аудио в узле сохранения.
• Начните с одной LoRA; если вы добавляете relight и I2V вместе, сначала протестируйте каждую отдельно, чтобы понять их влияние.

Полезные ссылки:

• Модели и активы Wan2.2 Animate от Kijai: WanAnimate models, Wan 2.1 VAE, UMT5 encoder, Lightx2v
• Используемые обертки и узлы ComfyUI: ComfyUI‑WanVideoWrapper, ComfyUI‑KJNodes

Благодарности

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы благодарим Wan2.2 и @ArtOfficialLabs за их вклад и поддержку в Wan2.2 Animate Demo. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы

• Wan2.2/Wan2.2 Animate Demo
  • Документы / Примечания к выпуску: Wan2.2 Animate Demo @ArtOfficialLabs

Примечание: Использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.