Этот рабочий процесс ComfyUI Wan 2.2 VACE превращает одно референсное изображение в видео, соответствующее движению, которое следует за позой, ритмом и движением камеры исходного клипа. Он использует Wan 2.2 VACE для сохранения идентичности при переводе сложного движения тела в плавную, реалистичную анимацию.
Разработанный для генерации танцев, переноса движения и креативной анимации персонажей, рабочий процесс автоматизирует стиль подсказок из референсного изображения, извлекает сигналы движения из исходного видео и запускает двухэтапный Wan 2.2 sampler, который балансирует согласованность движения и тонкие детали.
Рабочий процесс состоит из пяти сгруппированных этапов: Inputs, PROMPT, Models, SAMPLING и Output. Вы предоставляете одно референсное изображение и одно короткое видео с движением. Граф затем вычисляет руководство движением, кодирует характеристики идентичности VACE, запускает двухпроходной Wan 2.2 sampler и сохраняет как финальную анимацию, так и необязательный предварительный просмотр бок о бок.
Загрузите исходный клип движения в VHS_LoadVideo (#141). Вы можете обрезать с помощью простых элементов управления и ограничить кадры для памяти. Кадры изменяются для согласованности, затем DepthAnythingV2Preprocessor (#135) вычисляет плотную последовательность глубины, которая фиксирует позу, компоновку и движение камеры. Загрузите ваше изображение идентичности с помощью LoadImage (#113); оно автоматически изменяется по размеру и предварительно просматривается, чтобы вы могли проверить кадрирование перед выборкой.
Florence2Run (#137) анализирует референсное изображение и возвращает подробную подпись. Style Prompt (#138) объединяет эту подпись с короткой фразой стиля, затем WanVideoTextEncode (#16) кодирует окончательные положительные и отрицательные подсказки с использованием UMT5-XXL. Вы можете свободно редактировать фразу стиля или полностью заменить положительную подсказку, если хотите более сильное творческое направление. Эта встраиваемая подсказка кондиционирует оба этапа sampler, чтобы сгенерированное видео оставалось верным вашему референсу.
WanVideoVAELoader (#38) загружает Wan VAE, используемый в процессе кодирования/декодирования. Два узла WanVideoModelLoader подготавливают модели Wan 2.2 14B: одну с высоким уровнем шума и одну с низким уровнем шума, каждая дополнена модулем VACE, выбранным в WanVideoExtraModelSelect (#99, #107). Необязательная доработка LoRA присоединяется через WanVideoLoraSelect (#56, #97), позволяя вам настроить резкость или стиль без изменения базовых моделей. Конфигурация разработана так, чтобы вы могли менять веса VACE, LoRA или вариант шума, не затрагивая остальную часть графа.
WanVideoVACEEncode (#100) объединяет три сигнала в встраивания VACE: последовательность движения (кадры глубины), ваше референсное изображение и геометрию целевого видео. Первый WanVideoSampler (#27) запускает модель с высоким уровнем шума до разделительного шага, чтобы установить движение, перспективу и глобальный стиль. Второй WanVideoSampler (#90) продолжает с того латентного состояния и завершает с моделью с низким уровнем шума, чтобы восстановить текстуры, края и мелкие детали, сохраняя движение привязанным к источнику. Короткий график CFG и разделение шагов контролируют, насколько каждый этап влияет на результат.
WanVideoDecode (#28) преобразует финальное латентное состояние обратно в кадры. Вы получаете два сохраненных видео: чистый рендер и бок о бок, который размещает сгенерированные кадры рядом с референсом для быстрой проверки качества. Отдельный «Предпросмотр карты глубины» показывает предполагаемую последовательность глубины, чтобы вы могли быстро диагностировать руководство движением. Настройки частоты кадров и имени файла доступны в выходах VHS_VideoCombine (#139, #60, #144).
WanVideoVACEEncode (#100)Создает встраивания идентичности и геометрии VACE, используемые обоими sampler. Предоставьте ваши кадры движения и референсное изображение; узел обрабатывает ширину, высоту и количество кадров. Если вы измените длительность или аспект, держите этот узел в синхронизации, чтобы встраивания соответствовали макету целевого видео.
WanVideoSampler (#27)Первый этап sampler, использующий модель Wan 2.2 с высоким уровнем шума. Настройте steps, короткий график cfg и разделение end_step, чтобы решить, сколько траектории выделено на формирование движения. Более крупные изменения движения или камеры выигрывают от немного более позднего разделения.
WanVideoSampler (#90)Второй этап sampler, использующий модель Wan 2.2 с низким уровнем шума. Установите start_step на то же значение разделения, чтобы он продолжался бесшовно с первого этапа. Если вы видите чрезмерную резкость текстур или дрейф, уменьшите значения позднего cfg или снизьте силу LoRA.
DepthAnythingV2Preprocessor (#135)Извлекает стабильную последовательность глубины из исходного видео. Использование глубины в качестве руководства движением помогает Wan 2.2 VACE сохранять компоновку сцены, позу руки и окклюзию. Для быстрой итерации вы можете уменьшить входные кадры; для финальных рендеров подавайте кадры с более высоким разрешением для лучшей структурной точности.
WanVideoTextEncode (#16)Кодирует положительные и отрицательные подсказки с помощью UMT5-XXL. Подсказка автоматически создается из Florence2Run, но вы можете переопределить ее для художественного направления. Держите подсказки краткими; с руководством идентичности VACE, меньшее количество ключевых слов часто приводит к более чистой, менее ограниченной передаче движения.
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы с благодарностью признаем создателей сообщества ComfyUI Wan 2.2 VACE Source за рабочий процесс, за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Примечание: использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и обслуживающими организациями.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.
