Замена персонажа, позы и фона V3 — Wan2.2 Animate видео замена персонажа, перенос позы и управление фоном#
Этот рабочий процесс ComfyUI превращает исходный клип движения и одно референсное изображение в новое видео, где идентичность персонажа, поза и фон находятся под вашим контролем. Замена персонажа, позы и фона V3 сохраняет стабильность структуры исходного движения, заменяя объект, перенося поведение тела и лица, а также при желании заменяя или смешивая сцену.
Разработан для создателей, которым нужен быстрый, управляемый конвейер, он сочетает Wan2.2 Animate с SAM 3.1 сегментацией и SDPose для надежной маскировки человека и руководства по позам. Используйте его для замены персонажа, анимации переноса позы или полного обновления сцены на одном холсте с практическими переключателями и предварительными просмотрами.
Ключевые модели в рабочем процессе ComfyUI Замена персонажа, позы и фона V3#
- Wan2.2 Animate 14B. Генеративная видеооснова, которая рендерит финальные кадры из изображений, поз и текстовых руководств. Поддерживает кондиционирование изображений и адаптеры LoRA для управления стилем или переосвещением. Модель
- SAM 3.1. Высококачественная модель сегментации, используемая для извлечения или доработки маски человека из кадров или референсных изображений, обеспечивая чистые композиты и инпейнты. Контрольные точки
- SDPose. Инструментарий для извлечения и рисования ключевых точек всего тела, используемый для создания точных карт поз и кропов лица, которые управляют переносом движения и выражений. Также предоставляет RT-DETR веса обнаружения, используемые в этом графике. Репозиторий
- ViTPose-L WholeBody ONNX. Сильный многоперсональный оценщик ключевых точек, используемый узлами предварительной обработки для плотных ориентиров тела, рук и лица. Контрольная точка
Как использовать рабочий процесс ComfyUI Замена персонажа, позы и фона V3#
Рабочий процесс имеет три столпа: построение руководства, управление фоном и рендеринг. Руководство исходит от вашего идентификационного изображения плюс позы и сигналы лица, извлеченные из клипа движения. Управление фоном предлагает три взаимозаменяемых режима. Рендеринг использует Wan2.2 Animate с опциональными LoRA, затем экспортирует готовое видео для обмена.
Загрузка изображения#
Загрузите изображение вашего персонажа или целевого персонажа в группу загрузки изображений. Оно будет изменено в размере для модели и предварительно просмотрено для быстрых проверок. Это изображение задает внешний вид для Замены персонажа, позы и фона V3, в то время как движение берется из исходного клипа. Если изображение имеет чистый объект, результаты будут отслеживать идентичность более надежно.
Загрузка видео#
Импортируйте источник движения в группу загрузки видео, используя VHS_LoadVideo (#63). Узел раскрывает частоту кадров и общее количество кадров для последующего планирования и определяет, сколько кадров будет произведено рендерером. Аудио передается до финального экспорта, если предоставлено. Используйте виджеты файла, чтобы обрезать или суб-сэмплировать, когда вам нужны более короткие предварительные просмотры.
Зона лица и позы#
Зона лица и позы создает два ключевых потока руководства. Она обнаруживает людей и лица, затем извлекает ключевые точки всего тела с помощью SDPoseKeypointExtractor (#690) и рисует их в чистое контрольное изображение через SDPoseDrawKeypoints (#688). Вспомогательный детектор, такой как RTDETR_detect (#771) и загрузчик предварительной обработки, предоставляет надежные боксы для тела и лица. Для многоперсональных кадров переключите "Многоперсональное обнаружение" и переключатель "Источник обнаружения", чтобы выбрать, обнаруживать ли позы на исходной или замененной ветке.
Маска и доработка SAM 3.1#
Группа маски Sam3.1 создает маску объекта с помощью SAM3_Detect (#753). Вы можете направлять ее текстом через CLIPTextEncode (#754) и подталкивать выбор с помощью кликов, используя PointsEditor (#758). Два доработчика затем делают мат готовым: GrowMaskWithBlur (#502) мягко расширяет и размывает края, а BlockifyMask (#401) выравнивает границы блоков, чтобы избежать зазубренных контуров. Живой предварительный просмотр наложения (DrawMaskOnImage (#391)) помогает вам подтвердить вырез перед рендерингом.
Зона замены фона#
Вы можете:
- Сохранить оригинальную сцену.
- Заменить статической фотографией, используя
LoadImage(#785). - Заменить динамическим видео, используя
VHS_LoadVideo(#790).
Простой переключатель выбирает поведение, и выбранная вами ветка изменяется в размере, чтобы соответствовать кадрам движения, затем компонуется с маской человека. Если вам нужен плоский цветовой фон, подгруппа greenscreen предоставляет стабильный фон, который остается неизменным по кадрам.
Опции движения Uni3C#
Для кадров, которым нужно добавить дрейф камеры или сглаживание движения, группа Uni3C загружает контрольную модель и превращает измененный источник клипа в визуальные представления движения с помощью WanVideoUni3C_ControlnetLoader (#538) и WanVideoUni3C_embeds (#546). Управление силой и начальное или конечное планирование позволяют вам постепенно вводить или выводить эффект по мере последовательности.
Замена персонажа - стадия встраивания#
WanVideoAnimateEmbeds (#62) объединяет все для пути замены персонажа: VAE, функции изображения CLIP-Vision, ваше идентификационное изображение, карты поз SDPose, опциональные кропы лица, маску человека и опциональный фон. Ширина, высота и количество кадров наследуются от видео, чтобы выравнивание движения оставалось точным. Используйте этот режим, когда вы хотите, чтобы новый субъект двигался точно, как оригинальный актер.
Перенос движения - стадия встраивания#
Второй WanVideoAnimateEmbeds (#904) предоставляет путь переноса движения сначала, который отказывается от фона и маскировки, когда вам нужно только применить позу и выражение к изображению субъекта. Активной должна быть только одна стадия встраивания за раз. Выберите режим, который соответствует вашей цели, затем верхний Any-Switch направляет выбранные встраивания вперед.
Зона выборки и контроль LoRA#
WanVideoSamplerSettings (#530) объединяет модель Wan2.2, выбранные встраивания изображения, опциональные встраивания текста, встраивания движения Uni3C и ваш seed. Стеки LoRA выбираются с помощью WanVideoLoraSelectMulti (#467) и применяются WanVideoSetLoRAs (#48), что полезно для переосвещения, стиля или стабилизации. WanVideoSamplerFromSettings (#531) генерирует латентное видео, а WanVideoDecode (#28) превращает его в кадры.
Предварительный просмотр и экспорт#
Зона предварительного просмотра воспроизводит промежуточные кадры для проверок, и VHS_VideoCombine (#312) записывает финальный клип с выбранной вами частотой кадров с опциональным аудио проходом. Макрос префикса имени файла уже настроен, чтобы каждый рендер был отмечен временной меткой.
Ключевые узлы в рабочем процессе ComfyUI Замена персонажа, позы и фона V3#
WanVideoAnimateEmbeds (#62, #904) Это сердце сборки руководства для Wan2.2 Animate документы. Оно объединяет внешний вид, позу, маску и опциональный фон в единый поток встраивания изображения, размеренный по вашему видео. Настраивайте только то, что важно: увеличьте pose_strength, чтобы закрепиться ближе к исходному движению, или поднимите face_strength, когда идентичность и область губ должны более точно отслеживаться. Держите num_frames и количество кадров загрузчика видео выровненными, чтобы избежать усечения.
SAM3_Detect (#753) Генерирует мат человека с использованием SAM 3.1 контрольные точки. Используйте условие подсказки или клики точек, когда одежда сливается с фоном. Если мат шумный, уменьшите область выбора с помощью ограничивающих боксов из инструментов обнаружения перед доработкой.
GrowMaskWithBlur (#502) и BlockifyMask (#401) Из KJNodes репозиторий, они подготавливают маски для чистого композитинга. Расширение и размытие скроют швы по краям после замены фона, в то время как блокировка избегает артефактов лестницы на контурах объекта. Настраивайте осторожно и часто проверяйте предварительный просмотр.
WanVideoLoraSelectMulti (#467) и WanVideoSetLoRAs (#48) Эти узлы прикрепляют адаптеры LoRA внутри Wan2.2 Animate оболочка. Используйте их для переосвещения, вознаграждения или корректировок ощущения движения. Держите общую силу сбалансированной с вашим cfg и шагами сэмплера, чтобы LoRA направляли, а не подавляли.
WanVideoUni3C_ControlnetLoader (#538) и WanVideoUni3C_embeds (#546) Обеспечивают опциональное ретаргетирование камеры и движения внутри того же сэмплера документы. Используйте силу и начальное или конечное планирование, чтобы смешивать эффект. Для очень плотных кадров отслеживания, установите силу ниже, чтобы движение субъекта оставалось основным.
VHS_VideoCombine (#312) Из Video Helper Suite репозиторий. Он собирает кадры в финальное видео и может смешивать аудио из источника. Соответствуйте частоту кадров здесь с принудительной частотой загрузчика для 1:1 синхронизации.
Дополнительные возможности#
- Если вы видите давление на память при высоком разрешении или длинных клипах, включите VAE тайлинг на узлах кодирования или декодирования и уменьшите размер контекста в настройках сэмплера.
- Когда края объекта выглядят зазубренными, слегка увеличьте рост маски, затем настройте размер блока перед повторным рендерингом.
- Если цвет или экспозиция дрейфуют после замены, попробуйте LoRA для переосвещения с умеренной силой, а не повышайте CFG.
- Для занятых сцен обнаруживайте позы сначала на исходной ветке, затем переключайте обнаружение на замененную ветку только после того, как маска станет надежной.
- Чтобы стабилизировать долгие рендеры, держите фиксированный
seed, пока вы итеративно работаете над масками и LoRA, затем рандомизируйте, когда вид будет зафиксирован.
Этот рабочий процесс был построен вокруг Wan2.2 Animate и его сопровождающих инструментов предварительной обработки с официальными ссылками для дальнейшего чтения: Wan2.2 Animate, ComfyUI‑WanVideoWrapper, ComfyUI‑WanAnimatePreprocess, SAM 3.1, SDPose, и KJNodes.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим RunningHub за ссылку на рабочий процесс, Wan-AI за модель Wan2.2-Animate-14B, kijai за узлы ComfyUI WanVideoWrapper и WanAnimatePreprocess, и Comfy-Org за модели SAM3.1 и SDPose за их вклад и поддержку. Для авторитетных подробностей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- RunningHub/Character & Background Replacement Pose Transfer Wan2.2 Animate SAM3.1 SDPose Ultimate Workflow v3
- Документы / Примечания к выпуску: Пост рабочего процесса
- Wan-AI/Wan2.2-Animate-14B
- GitHub: Wan-Video/Wan2.2
- Hugging Face: Wan-AI/Wan2.2-Animate-14B
- arXiv: 2503.20314
- kijai/ComfyUI-WanVideoWrapper
- GitHub: kijai/ComfyUI-WanVideoWrapper
- kijai/ComfyUI-WanAnimatePreprocess
- Comfy-Org/sam3.1
- GitHub: facebookresearch/sam3
- Hugging Face: Comfy-Org/sam3.1
- Comfy-Org/SDPose
- Hugging Face: Comfy-Org/SDPose
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.