Этот рабочий процесс ComfyUI превращает одно референсное изображение в последовательное видео, управляемое движением отдельного источника поз. Он построен на парадигме изображений в видео SteadyDancer, поэтому первый кадр сохраняет идентичность и внешний вид вашего входного изображения, а остальная часть последовательности следует за целевым движением. График согласует позу и внешний вид через специфические для SteadyDancer встраивания и конвейер поз, производя плавное, реалистичное движение всего тела с сильной временной согласованностью.
SteadyDancer идеально подходит для анимации человека, генерации танцев и оживления персонажей или портретов. Предоставьте одно неподвижное изображение и клип движения, и рабочий процесс ComfyUI обработает извлечение поз, встраивание, выборку и декодирование, чтобы предоставить готовое к распространению видео.
Рабочий процесс имеет два независимых входа, которые соединяются на этапе выборки: референсное изображение для идентичности и управляющее видео для движения. Модели загружаются один раз, поза извлекается из управляющего клипа, и встраивания SteadyDancer смешивают позу и внешний вид перед генерацией и декодированием.
Эта группа загружает основные веса, используемые на протяжении всего графа. WanVideoModelLoader (#22) выбирает контрольную точку Wan 2.1 I2V SteadyDancer и управляет настройками внимания и точности. WanVideoVAELoader (#38) предоставляет видео VAE, а CLIPVisionLoader (#59) готовит основу видения CLIP ViT‑H. Узел выбора LoRA и параметры BlockSwap доступны для продвинутых пользователей, которые хотят изменить поведение памяти или подключить дополнительные веса.
Импортируйте источник движения, используя VHS_LoadVideo (#75). Узел читает кадры и аудио, позволяя вам установить целевую частоту кадров или ограничить количество кадров. Клип может быть любым движением человека, таким как танец или спортивное движение. Поток видео затем переходит к масштабированию соотношения сторон и извлечению поз.
Простая константа контролирует, сколько кадров загружается из управляющего видео. Это ограничивает как извлечение поз, так и длину генерируемого вывода SteadyDancer. Увеличьте его для более длинных последовательностей или уменьшите, чтобы быстрее выполнять итерации.
LayerUtility: ImageScaleByAspectRatio V2 (#146) масштабирует кадры, сохраняя соотношение сторон, чтобы они соответствовали шагу модели и бюджету памяти. Установите ограничение на длинную сторону, подходящее для вашего GPU и желаемого уровня детализации. Масштабированные кадры используются downstream узлами обнаружения и в качестве ссылки для размера вывода.
Обнаружение людей и оценка поз выполняются на масштабированных кадрах. PoseAndFaceDetection (#89) использует YOLOv10 и ViTPose‑H для надежного нахождения людей и ключевых точек. DrawViTPose (#88) визуализирует чистое представление движения в виде палочек, а ImageResizeKJv2 (#77) изменяет размер полученных изображений поз, чтобы они соответствовали холсту генерации. WanVideoEncode (#72) преобразует изображения поз в латенты, чтобы SteadyDancer мог модулировать движение, не мешая сигналу внешнего вида.
Загрузите изображение идентичности, которое вы хотите анимировать с помощью SteadyDancer. Изображение должно четко показывать объект, который вы хотите переместить. Используйте позу и угол камеры, которые в целом соответствуют управляющему видео, для наиболее точной передачи. Кадр передается в группу референсных изображений для встраивания.
Неподвижное изображение изменяется с помощью ImageResizeKJv2 (#68) и регистрируется как начальный кадр с помощью Set_IMAGE (#96). WanVideoClipVisionEncode (#65) извлекает встраивания CLIP ViT‑H, которые сохраняют идентичность, одежду и грубую компоновку. WanVideoImageToVideoEncode (#63) упаковывает ширину, высоту и количество кадров с начальным кадром для подготовки условия I2V SteadyDancer.
Здесь внешний вид и движение встречаются для генерации видео. WanVideoAddSteadyDancerEmbeds (#71) получает условие изображения от WanVideoImageToVideoEncode и дополняет его латентами поз и ссылкой CLIP-vision, позволяя согласованию условий SteadyDancer. Контекстные окна и перекрытия устанавливаются в WanVideoContextOptions (#87) для временной согласованности. Опционально, WanVideoTextEncodeCached (#92) добавляет текстовое руководство umT5 для стиля. WanVideoSamplerSettings (#119) и WanVideoSamplerFromSettings (#129) выполняют фактические шаги удаления шума на модели Wan 2.1, после чего WanVideoDecode (#28) преобразует латенты обратно в RGB кадры. Финальные видео сохраняются с помощью VHS_VideoCombine (#141, #83).
WanVideoAddSteadyDancerEmbeds (#71)Этот узел является сердцем графа SteadyDancer. Он соединяет условие изображения с латентами поз и подсказками CLIP-vision, так что первый кадр фиксирует идентичность, а движение разворачивается естественно. Настройте pose_strength_spatial, чтобы контролировать, насколько плотно конечности следуют за обнаруженным скелетом, и pose_strength_temporal, чтобы регулировать плавность движения во времени. Используйте start_percent и end_percent, чтобы ограничить, где применяется контроль позы в последовательности для более естественных вступлений и завершений.
PoseAndFaceDetection (#89)Запускает обнаружение YOLOv10 и оценку ключевых точек ViTPose‑H на управляющем видео. Если позы пропускают небольшие конечности или лица, увеличьте разрешение входа upstream или выберите кадры с меньшими перекрытиями и более чистым освещением. Когда присутствуют несколько людей, держите целевой объект самым крупным в кадре, чтобы детектор и головка позы оставались стабильными.
VHS_LoadVideo (#75)Контролирует, какую часть источника движения вы используете. Увеличьте ограничение кадров для более длительных выходов или уменьшите его, чтобы быстро создавать прототипы. Вход force_rate выравнивает пространение поз с частотой генерации и может помочь уменьшить заикание, когда FPS оригинального клипа необычен.
LayerUtility: ImageScaleByAspectRatio V2 (#146)Держит кадры в пределах выбранного ограничения по длинной стороне, сохраняя соотношение сторон и распределяя их до делимого размера. Соответствуйте масштабу здесь с холстом генерации, чтобы SteadyDancer не нужно было агрессивно увеличивать или обрезать. Если вы видите мягкие результаты или артефакты на краях, приблизьте длинную сторону к родному масштабу тренировки модели для более чистого декодирования.
WanVideoSamplerSettings (#119)Определяет план удаления шума для сэмплера Wan 2.1. scheduler и steps устанавливают общее качество в сравнении со скоростью, в то время как cfg балансирует приверженность изображению плюс подсказка против разнообразия. seed блокирует воспроизводимость, а denoise_strength можно уменьшить, когда вы хотите еще ближе к внешнему виду референсного изображения.
WanVideoModelLoader (#22)Загружает контрольную точку Wan 2.1 I2V SteadyDancer и управляет точностью, реализацией внимания и размещением устройств. Оставьте эти настройки как сконфигурированы для стабильности. Продвинутые пользователи могут подключить I2V LoRA для изменения поведения движения или снижения вычислительных затрат при экспериментах.
WanVideoAddSteadyDancerEmbeds или увеличьте FPS видео, чтобы уплотнить позы.Этот рабочий процесс SteadyDancer предоставляет вам практический, полный путь от одного неподвижного изображения до верного, управляемого позой видео с сохранением идентичности с самого первого кадра.
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим MCG-NJU за SteadyDancer за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.
