Wan Animate 2 ComfyUI | Точная передача движения

Wan Animate 2 ComfyUI передача движения: анимация персонажа с одного изображения по управляющему видео#

Wan Animate 2 ComfyUI превращает статичное изображение персонажа и видео с управляющей позой в новый анимационный клип всего тела. Он построен на основе Wan‑Animate‑2, концевого диффузионного трансформера, который передает движение напрямую из необработанных кадров, поэтому вам не нужны OpenPose или извлечение скелета. Рабочий процесс сохраняет идентичность персонажа из статичного изображения, в то время как вы контролируете фон, стиль и камеру через текст.

Этот график, готовый для RunComfy, идеально подходит для создателей, которые хотят студийного стиля передачи движения внутри ComfyUI. Вы предоставляете портрет или полноразмерную ссылку, вставляете короткое управляющее видео, устанавливаете два кратких запроса, и Wan Animate 2 ComfyUI создает идентично-верное выступление персонажа с чистым, управляемым сценарием.

Ключевые модели в рабочем процессе Comfyui Wan Animate 2 ComfyUI#

• Основные веса Wan‑Animate‑2. Диффузионный трансформер, который выполняет передачу движения, осознающую идентичность, из управляющего клипа, создавая новые кадры. Источник и веса: Wan‑Animate‑2 GitHub и Comfy‑Org/Wan‑Animate‑2.
• LightX2V I2V 14B 480p distilled LoRA. Легкий адаптер, который выравнивает основу Wan‑Video для эффективной генерации изображения в видео и кондиционирования движения. Файл: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors на Hugging Face.
• uMT5‑XXL текстовый энкодер. Интерпретирует ваши положительные и отрицательные запросы, чтобы управлять внешностью персонажа, фоном и стилем. Файл: umt5_xxl_fp8_e4m3fn_scaled.safetensors на Hugging Face.
• CLIP ViT‑H/14 визуальный энкодер. Извлекает особенности внешности из референсного изображения и дополнительные подсказки из кадров позы для надежного руководства идентичностью и движением. Файл: clip_vision_h.safetensors на Hugging Face.
• Wan 2.1 VAE. Кодирует и декодирует латенты видео, сохраняя тонкую текстуру и цветовую точность. Файл: Wan2_1_VAE_bf16.safetensors на Hugging Face.

Как использовать рабочий процесс Comfyui Wan Animate 2 ComfyUI#

Вкратце, рабочий процесс направляет референсное изображение и управляющее видео через подграф передачи движения, затем декодирует кадры в видео и, по желанию, сшивает сравнение бок о бок. Группы ниже описывают, как каждая часть вносит вклад и что вы можете редактировать.

Модели#

Эта группа загружает основную модель Wan‑Animate‑2, её LoRA, текстовый энкодер, CLIP‑Vision и VAE. Оставьте выбор моделей по умолчанию, если вы не знаете, что вам нужны альтернативы из тех же репозиториев. Пара UNet и LoRA определяет, как интерпретируется и отображается движение, в то время как VAE контролирует точность изображения во время латентного кодирования/декодирования. Если вы заменяете модели, убедитесь, что они совместимы с активами Wan Animate 2 ComfyUI из связанных репозиториев.

Запрос#

Используйте положительный запрос, чтобы описать внешность персонажа и желаемый фон, и отрицательный запрос, чтобы мягко исключить артефакты. Описывайте внешний вид, материалы, одежду, освещение и декорации; не описывайте движение здесь, потому что движение берется из видео. Сохранение запросов краткими и конкретными улучшает сохранение идентичности и согласованность фона в кадрах. Текстовый энкодер преобразует ваш текст в кондиционирование, используемое на протяжении всей генерации.

Референсное изображение#

Загрузите одно, чистое референсное изображение портрета или полного тела с центром персонажа, используя Load Image (Reference Image) (#189). Фон этого изображения не переносится, потому что сцена создается из вашего запроса. Группа изменяет размер референса, чтобы он соответствовал рабочему разрешению, используемому ниже по потоку, чтобы карты внимания совпадали с особенностями позы. Хорошо освещенные, четкие референсы с минимальной окклюзией создают более сильную идентичность.

Управляющее видео позы#

Импортируйте управляющий клип с Load Video (Pose Video) (#240). Кадры передаются напрямую модели, а не преобразуются в ключевые точки скелета, так что естественные нюансы, такие как смещения веса и вторичные движения, хорошо передаются. График нормализует пространственные размеры, сохраняя при этом темп исходного клипа, что означает, что выходной fps следует за источником. Выбирайте клипы, чьи кадры примерно совпадают с референсом (например, полный корпус к полному корпусу), чтобы избежать дрейфа масштаба.

Контекстные окна и кэш#

ContextWindowsManual контролирует временной контекст, помогая более длинным движениям оставаться согласованными через окна. Небольшой ComfySwitchNode переключает, используется ли расширение контекста, позволяя вам обменивать память на стабильность в расширенных съемках. WanAnimate2Cache управляет кэшем внимания на gpu или cpu с уменьшенной точностью, что помогает контролировать всплески VRAM на длинных последовательностях. Для плотных GPU размещение кэша на cpu является практичным средством безопасности.

Кондиционирование#

WanAnimate2ToVideo (#247) является сердцем Wan Animate 2 ComfyUI. Он объединяет положительное и отрицательное текстовое кондиционирование с референсным изображением, функциями CLIP‑Vision и кадрами позы, чтобы создать последовательность латентов видео. Вы можете передать последний кадр предыдущего сегмента в continue_motion, чтобы поддерживать непрерывность между частями, и вы можете смещать чтение управляющего клипа с помощью video_frame_offset при цепочке. Узел также принимает reference_image_strength и pose_strength, чтобы сбалансировать блокировку идентичности и точность движения.

Семплирование#

SamplerCustom убирает шум из латентов видео, используя модель, подготовленную ModelSamplingSD3, BasicScheduler и выбором семплера LCM. Этот этап определяет скорость и стабильность текстуры; фиксированное зерно сохраняет внешний вид и зернистость постоянными в сегментах, в то время как случайное зерно добавляет разнообразие. Результатом является латентный видеоклип, готовый к декодированию.

Обрезка дублированного первого кадра#

При цепочке сегментов первый кадр нового сегмента может дублировать последний кадр предыдущего сегмента. TrimVideoLatent плюс небольшой переключатель пути автоматически удаляют этот шов. Если вы все еще видите сбой в одном кадре, удалите первое изображение нового фрагмента при пакетной обработке.

Сборка видео и сравнение#

VAEDecode преобразует финальные латенты в изображения, которые затем передаются в CreateVideo, чтобы унаследовать fps и аудио исходного клипа, если они присутствуют. SaveVideo сохраняет сгенерированную анимацию на диск. Подграф Video Stitch (ImageStitch внутри) берет сгенерированное видео и оригинальное управляющее видео, чтобы создать сравнение бок о бок для быстрой проверки качества, затем сохраняет этот комбинированный вид как отдельный файл.

Расширение за пределы одного фрагмента#

Каждый проход создает фиксированное количество кадров, поэтому более длинные съемки создаются путем дублирования подграфа Motion Transfer (Wan Animate 2) (#261). Подключите continue_motion от предыдущего прохода к следующему проходу и передайте предыдущий video_frame_offset вперед, чтобы чтение управляющего клипа продолжалось беспрепятственно. Подключите выход image каждого прохода к BatchImagesNode (#289), чтобы объединить сегменты перед созданием видео. Вспомогательный математический узел в нижнем левом углу вычисляет, сколько проходов вам нужно в зависимости от длины управляющего видео, и небольшой предварительный просмотр показывает это число.

Ключевые узлы в рабочем процессе Comfyui Wan Animate 2 ComfyUI#

WanAnimate2ToVideo (#247)#

Объединяет текстовое кондиционирование, референсное изображение, функции CLIP‑Vision и кадры позы для синтеза латентов видео. Настройте reference_image_strength, чтобы контролировать, насколько плотно выход соответствует статичному изображению, и используйте pose_strength плюс pose_start_percent и pose_end_percent, чтобы оконить или смягчить движение. length задает количество кадров на проход, video_frame_offset продвигает чтение управляющего клипа при цепочке, а continue_motion закрепляет временную непрерывность, используя последний кадр предыдущего сегмента. Поддерживается реализацией и весами Wan‑Animate‑2 в официальных репозиториях, связанных выше.

ContextWindowsManual (#257) с ComfySwitchNode (#258)#

Расширяет временное окно внимания, чтобы движения оставались согласованными в более длинных последовательностях. Включите его для сложных движений или когда вы видите дрейфующие детали во времени, ценой дополнительной памяти. Если вы достигли ограничений по памяти, отключите или уменьшите размер окна контекста и полагайтесь на непрерывность от фрагмента к фрагменту.

WanAnimate2Cache (#224)#

Кэширует ключи и значения внимания, чтобы уменьшить избыточные вычисления и сгладить использование памяти. Установите устройство кэша на cpu, когда VRAM ограничен, или на gpu для максимальной производительности, и сохраняйте легкий dtype для стабильности. Это особенно полезно, когда вы складываете несколько проходов для расширенных съемок. Активы предоставляются с официальным выпуском Comfy‑Org/Wan‑Animate‑2.

SamplerCustom (#19) с KSamplerSelect и BasicScheduler#

Запускает траекторию удаления шума над латентами видео. Самплер LCM выбран для быстрых, высококачественных шагов, подходящих для интерактивной итерации. Используйте фиксированное зерно, чтобы зафиксировать текстуру и затенение во всех сегментах; измените зерно, чтобы исследовать альтернативы, сохраняя при этом идентичное движение.

TrimVideoLatent (#223)#

Удаляет дублированный первый кадр, который может появиться при цепочке сегментов, устраняя видимые швы. Оставьте его включенным при создании более длинных последовательностей и отключите для одиночных клипов.

Дополнительные опции#

• Держите кадрирование согласованным между референсным и управляющим видео. Полный корпус к полному корпусу или средний план к среднему плану работают лучше всего.
• Поскольку Wan Animate 2 ComfyUI читает необработанные кадры для движения, используйте управляющие клипы с четкими силуэтами и минимальным размытием движения.
• Описывайте фоны в положительном запросе, а не полагайтесь на фон референсного изображения; модель генерирует новую сцену из текста.
• Выходной fps следует за входным клипом. Если движение кажется слишком медленным или быстрым, пересэмплируйте управляющее видео перед запуском рабочего процесса.
• Для GPU с ограниченной памятью установите устройство кэша на cpu в WanAnimate2Cache и предпочитайте более короткие фрагменты, которые вы позже можете сшить.
• Используйте выход бок о бок из подграфа Video Stitch, чтобы быстро проверить точность движения перед рендерингом более длинных запусков.

Благодарности#

Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим Comfy Org за объявление “Wan Animate 2 is now available in ComfyUI” и шаблоны, Wan-Video за кодовую базу Wan-Animate-2, Comfy-Org за веса модели Wan-Animate-2 на Hugging Face, и ComfyUI за шаблон рабочего процесса “Wan Animate 2: Motion Transfer” за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, связанным ниже.

Ресурсы#

• Comfy Org/Wan Animate 2 is now available in ComfyUI
  • GitHub: Comfy-Org/workflow_templates
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • Docs / Release Notes: Wan Animate 2 is now available in ComfyUI
• Wan-Video/Wan-Animate-2
  • GitHub: Wan-Video/Wan-Animate-2
  • Hugging Face: Wan-AI/Wan2.2-Animate-2-14B
  • arXiv: 2608.06009
• Comfy-Org/Wan-Animate-2
  • Hugging Face: Comfy-Org/Wan-Animate-2
  • arXiv: 2608.06009
• ComfyUI/Wan Animate 2: Motion Transfer
  • Docs / Release Notes: Wan Animate 2: Motion Transfer - ComfyUI Workflow

Примечание: Использование указанных моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.