Создание ПОЛНЫХ ИИ МИРОВ (Vace Wan 2.1) — это готовый к производству рабочий процесс ComfyUI от Mickmumpitz для преобразования съемочных кадров в новые окружения, сохраняя оригинальное движение камеры. Он заменяет фоны, сохраняет перспективу и масштаб и композитирует замаскированного актера в полностью перерегенерированные миры, управляемые текстом и справочными изображениями.
Основанный на стеке Wan 2.1 VACE, этот рабочий процесс идеально подходит для кинематографистов, художников по визуальным эффектам и создателей, которым нужно быстрое превизуализация или отшлифованные кадры. Вы можете управлять сценой с помощью подсказок, начинать с необязательного справочного изображения и выбирать между высокоскоростным FP8 конвейером или низко-VRAM GGUF конвейером. Результатом является бесшовное построение мира, которое позволяет вам по-настоящему создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1) из повседневных пластин.
Этот рабочий процесс следует стратегии VACE в два прохода: сначала он кодирует движение сцены из контрольных изображений, чтобы зафиксировать движение камеры; затем он кодирует вставку актера и смешивает его с перерегенерированным окружением. Вы можете запустить путь FP8 для максимальной скорости или путь GGUF для низкого VRAM. Разделы ниже соответствуют группам на графе, поэтому вы можете с уверенностью управлять всей трубой Создание ПОЛНЫХ ИИ МИРОВ (Vace Wan 2.1).
Входная область позволяет выбрать рабочее разрешение и основные элементы управления клипом. Используйте переключатель разрешения, чтобы выбрать предустановку (720p, 576p или 480p), которая подает Set_width (#370) и Set_height (#369), чтобы каждый этап оставался синхронизированным. Вы можете ограничить количество кадров, чтобы ускорить обороты, и установить небольшую пропускную способность, если вы хотите сместить начальную точку. Для стабильности и памяти держите последовательности в рекомендуемом диапазоне; метки графа указывают, что 81 кадр является разумным потолком для большинства графических процессоров. Эти выборы применяются глобально к контрольным изображениям, кодировкам VACE и финальным рендерам.
Примечание: входное видео также можно сгенерировать через другой рабочий процесс, MASK_AND_TRACK. Вы можете скачать его файл рабочего процесса здесь: workflow.json. После загрузки перетащите файл в новую вкладку рабочего процесса и запустите его, чтобы получить входное видео.
Фоновая пластина и необязательное справочное изображение направляют визуальный стиль. Загрузите фоновое изображение, затем график изменит его размер так, чтобы он соответствовал вашему рабочему размеру. Если вы хотите использовать стиль вместо жесткой фоновой пластины, включите reference_image через селектор; это изображение направляет цвет, композицию и тон, не диктуя геометрию. Справочный маршрут полезен, когда вы хотите, чтобы модель Создавала ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1), которые отзываются на определенный вид, в то время как текстовая подсказка обрабатывает остальное. Отключите его, когда предпочитаете только текстовое управление.
Используйте этот раздел, чтобы решить, как начинается генерация. С готовым актерским изображением Image Remove Background Rembg (mtb) (#1433) извлекает чистую маску, а ImageCompositeMasked (#1441) размещает актера на выбранном вами фоне для формирования начального кадра. Переключатель Start Frame (ImpactSwitch, #1760) предлагает три режима: композитный актер плюс фон, только фон или без начального кадра. Начальные кадры помогают закрепить идентичность и макет; только фон позволяет персонажу "войти" со временем; без начального кадра модель просит установить как субъект, так и мир из текста и справки. Блок живого предварительного просмотра показывает, как это начало выглядит перед тем, как вы примете решение о дальнейшем.
Контрольные изображения фиксируют движение камеры, чтобы перспектива и параллакс казались реальными. Вставьте видео с отслеживанием камеры в группу; график может извлечь слои OpenPose и Canny, а затем смешать их, чтобы создать сильный сигнал структуры. Переключатель Control Image Nodes (ImpactSwitch, #1032) позволяет выбрать только Track, Track+Pose, Canny+Pose или внешне подготовленное контрольное видео. Просмотрите стек с предварительным комбинированием, чтобы убедиться, что силуэты и края читаются четко. Для длинных последовательностей вы можете сохранить и позже перезагрузить это контрольное видео, чтобы избежать повторного вычисления; это особенно полезно, когда вы итерационно пробуете подсказки или маски, продолжая Создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1).
Если вы уже экспортировали видео "контрольных изображений", поместите его сюда, чтобы обойти предварительную обработку. Выберите соответствующую опцию в переключателе контрольного изображения, чтобы остальная часть трубопровода использовала вашу кэшированную структуру. Это поддерживает согласованность отслеживания камеры между запусками и значительно сокращает время итерации на длинных дублях.
Ветвь FP8 загружает полный стек моделей Wan 2.1. WanVideoModelLoader (#4) приносит в T2V 14B основу и модуль VACE, а также необязательную LightX LoRA для быстрого, согласованного выборки. WanVideoVAELoader (#26) поставляет VAE, а WanVideoBlockSwap (#5) открывает стратегию экономии VRAM, заменяя блоки в память устройства по мере необходимости. Эта ветвь является самым быстрым способом Создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1), если у вас есть достаточный VRAM.
Подсказки кодируются WanVideoTextEncodeSingle для положительного и отрицательного текста, затем уточняются через WanVideoApplyNAG, чтобы сохранить согласованность фраз. Первый проход, WanVideo VACE Encode (CN‑CameraTrack) (#948), читает контрольные изображения, чтобы создать встраивания, осведомленные о движении. Второй проход, WanVideo VACE Encode (InsertPerson) (#1425), вводит актера, используя чистый альфа и маску, которую вы можете мягко увеличить или уменьшить, чтобы избежать гало. WanVideoSampler (#2) затем рендерит последовательность, WanVideoDecode (#1) превращает латенты в кадры, и простой переключатель выбирает между оригинальной частотой кадров или потоком FILM‑интерполяции перед окончательным объединением видео.
Ветвь GGUF разработана для рабочих процессов с низким VRAM. UnetLoaderGGUF (#1677) загружает квантованный Wan 2.1 VACE UNet, CLIPLoader (#1680) предоставляет текстовый кодировщик, и LoRA можно применить с LoraLoader (#2420). Стандартный ComfyUI VAELoader (#1676) обрабатывает декодирование. Этот маршрут обменивает скорость на размер, сохраняя ту же логику VACE в два прохода, так что вы все еще можете Создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1) на скромном оборудовании.
В квантованном пути WanVaceToVideo (#1724) преобразует встраивания VACE, текстовое кондиционирование и вашу справку в управляемый латент. WanVideoNAG и WanVideoEnhanceAVideoKJ помогают поддерживать идентичность и локальные детали, после чего KSampler (#1726) генерирует финальную латентную последовательность. VAEDecode (#1742) производит кадры, необязательный шаг FILM добавляет временную гладкость, и видео объединяет результат на диск. Используйте этот путь, когда VRAM ограничен или когда вам нужны длинные, устойчивые кадры.
Существует две панели подсказок. Сторона FP8 использует текстовый кодировщик Wan T5, в то время как сторона GGUF использует путь кондиционирования CLIP; обе получают положительный и отрицательный текст. Держите положительные подсказки кинематографичными и специфичными для мира, который вы хотите, и оставьте отрицательные подсказки для артефактов сжатия, переизбыточности и нежелательного переднего плана. Вы можете смешивать подсказки с мягким справочным изображением, чтобы управлять цветом и освещением, позволяя модели все еще создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1), которые соответствуют вашему намерению.
WanVideo VACE Encode (CN-CameraTrack) (#948)WanVideo VACE Encode (InsertPerson) (#1425)DilateErodeMask, #2391), чтобы слегка подтянуть мат. Этот проход связывает вставку с движением сцены, чтобы масштаб и параллакс оставались естественными.WanVaceToVideo (#1724 и #1729)WanVideoSampler (#2)KSampler (#1726)Enhance A Video, чтобы восстановить микротекстуру без дрейфа движения.FILM VFI (#2019 и #1757)DilateErodeMask в пути вставки, пока гало не исчезнет.С этими шагами вы можете уверенно запустить рабочий процесс от начала до конца и Создавать ПОЛНЫЕ ИИ МИРЫ (Vace Wan 2.1), которые выдержат под реальным движением камеры.
Этот рабочий процесс реализует и строится на основе работ и ресурсов @mickmumpitz. Мы выражаем благодарность Mickmumpitz за обучающий рабочий процесс и благодарим его за вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Примечание: Использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным Mickmumpitz.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.