Wan2.2 Fun Camera превращает одно статическое изображение в живое видео с плавными панорамированиями, увеличениями и вращениями. Основанный на семействе Wan 2.2 Fun, этот рабочий процесс ComfyUI сосредоточен на движении камеры, которое добавляет глубину и энергию истории без ручных ключевых кадров или редактирования. Если вам нужны быстрые социальные клипы, динамичные героические кадры или энергичные движения для статических изображений продуктов и персонажей, Wan2.2 Fun Camera обеспечивает чистые, повторяемые результаты.
Граф содержит два варианта, чтобы вы могли выбрать правильный баланс для вашей задачи. Родной путь fp8 максимизирует богатство движения из моделей Wan2.2 Fun Camera, в то время как вариант LightX2V 4 Steps LoRA приоритизирует скорость с небольшим компромиссом в динамике. Оба варианта используют одни и те же подсказки, пресеты камеры и этап экспорта, что делает Wan2.2 Fun Camera легким для изучения и быстрым в итерации.
Рабочий процесс содержит две параллельные ветви: "Wan2.2 Fun Camera fp8 scaled + LightX2V 4 Steps LoRA" и "Wan2.2 Fun Camera fp8 scaled." Включите одну ветвь и отключите другую перед генерацией. Обе ветви следуют тем же четырем операционным шагам и двухэтапному графику устранения шума, который начинается с высокого шума и заканчивается низким шумом для более четких кадров.
Эта группа подготавливает высокошумные и низкошумные UNet Wan 2.2 Fun Camera, опциональную пару LightX2V LoRA, текстовый энкодер UMT5-XXL и Wan 2.1 VAE. Выбирайте ветвь LoRA, когда требуется более быстрое выполнение, и родную ветвь fp8, когда приоритетом является богатство движения. После загрузки модели остаются в памяти, так что вы можете быстро итерационно работать с движениями камеры и подсказками в Wan2.2 Fun Camera.
Добавьте ваше исходное статическое изображение в группу "Upload start_image". Рабочий процесс ожидает одно изображение и сохранит основное содержимое, анимируя точку обзора. Для наилучших результатов в Wan2.2 Fun Camera начните с чистого субъекта, хорошего контраста и композиции, оставляющей место для движения на краях.
Введите краткую положительную подсказку, чтобы описать намерение субъекта и характер движения, затем уточните с помощью отрицательной подсказки, чтобы избежать артефактов. Держите подсказки короткими и ориентированными на действие, например "кинематографический продукт-герой, мягкое увеличение" или "портрет, легкое панорамирование вправо." Wan2.2 Fun Camera хорошо реагирует на стилистические и движущие описания без излишнего ограничения сцены.
Выберите пресет камеры и временную шкалу в группе WanCameraEmbedding. Это создает встраивание пути камеры плюс настройки длительности и разрешения, которые будет следовать основной узел. Wan2.2 Fun Camera включает в себя интуитивные пресеты, такие как увеличение, панорамирование и вращение, так что вы можете быстро просмотреть разные движения без ручной настройки кривых.
Первый проход выборщика закладывает грубую структуру и инициирует динамику движения с использованием высокошумного UNet. Это то место, где выбранный путь камеры начинает проявляться как глобальное движение. В ветви LoRA LightX2V 4 Steps LoRA сжимает этот этап в меньшее количество шагов для скорости. В родной ветви fp8 Wan2.2 Fun Camera приоритизирует верность движения перед уточнением.
Второй проход выборщика сосредоточен на восстановлении деталей, текстуры и временной согласованности с использованием низкошумного UNet. Он уважает установленный путь камеры, очищая края и лица. С включенной LoRA эта стадия также выполняется быстрее с небольшими потерями в микродвижении. Без LoRA Wan2.2 Fun Camera выжимает дополнительную четкость из финальных кадров.
VAE декодирует латенты обратно в кадры, а узел Video Helper собирает их в MP4. Настройки по умолчанию нацелены на широко совместимый файл H.264 с умеренной частотой кадров, так что предпросмотры быстро рендерятся. Вы можете итерационно работать на месте, изменяя подсказки или пресеты камеры и регенерируя. Wan2.2 Fun Camera сохраняет ваши выходные данные последовательными с предсказуемыми именами файлов для пакетных экспериментов.
WanCameraEmbedding (#87, #108)Определяет план движения для Wan2.2 Fun Camera. Выберите пресет камеры и установите разрешение и длину клипа для всего кадра. Если вы видите обрезание или черные полосы, отрегулируйте ширину и высоту здесь. Более длинные клипы требуют больше вычислительной мощности и могут выиграть от пути LoRA для скорости.
WanCameraImageToVideo (#80, #98)Основной драйвер, который объединяет подсказки, VAE, исходное изображение и встраивание камеры в латенты с учетом движения. Рассматривайте это как мост между вашим творческим намерением и выборщиками диффузии. Если движение кажется слишком сильным или слишком слабым, пересмотрите пресет камеры или глаголы подсказки, а не выборщик в первую очередь.
KSamplerAdvanced (#71 и #78, #102 и #103)Запускает двухэтапный график: выборщик с высоким уровнем шума для установления движения, затем выборщик с низким уровнем шума для уточнения. Для более сильной структуры используйте несколько больше шагов на первом этапе, для более четких деталей инвестируйте шаги во второй этап. Держите руководство сбалансированным, чтобы движение оставалось естественным и не перегружалось подсказкой.
VHS_VideoCombine (#116, #117)Упаковывает декодированные кадры в один видеофайл для быстрого просмотра. Отрегулируйте частоту кадров, чтобы соответствовать ощущениям вашего движения камеры, и настройте CRF, если вам нужны более качественные экспорты. Используйте чистый префикс имени файла, чтобы сохранить версии организованными при исследовании вариаций Wan2.2 Fun Camera.
LoraLoaderModelOnly (#88, #90)Включает пару LightX2V 4 Steps LoRA. Включите их для более быстрых итераций или меньшего давления на VRAM. Отключите их для максимального богатства движения при финализации кадра Wan2.2 Fun Camera.
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы благодарно признаем Alibaba PAI за модель управления камерой Wan2.2-Fun A14B, Comfy Org за рабочий процесс и документацию управления камерой ComfyUI Wan2.2 Fun и aigc-apps за фреймворк VideoX-Fun за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.