wan-2-1/image-to-video

Wan 2.1 — это открытая модель искусственного интеллекта от Alibaba для генерации видео. Она использует продвинутые методы диффузии для создания реалистичной анимации и поддерживает генерацию текста на английском и китайском языках. Семейство моделей Wan 2.1 включает:

1. T2V-14B — мощная модель генерации видео по тексту (14 млрд параметров), создающая детализированные видео в 480p и 720p, но требующая много видеопамяти.
2. T2V-1.3B — облегчённая модель для текст-видео (1,3 млрд параметров), оптимизированная для видеокарт с 8 ГБ VRAM, отлично подходит для 480p.
3. I2V-14B-720P — модель, превращающая изображения в 720p видео с плавной, профессиональной динамикой.
4. I2V-14B-480P — аналогичная предыдущей, но для 480p видео. Требует меньше ресурсов при сохранении качества.

1. Онлайн через RunComfy AI Playground: Зайдите на RunComfy Playground, выберите Wan 2.1, введите текст или загрузите изображение, настройте разрешение и длительность — и сгенерируйте видео. Интерфейс интуитивно понятен, создавать видео с Wan 2.1 просто и удобно.

2. Онлайн через ComfyUI: Перейдите на страницу с workflow для Wan 2.1, где всё уже настроено для работы. Введите текст или загрузите картинку — и запускайте генерацию видео.

3. Локально: Клонируйте репозиторий Wan 2.1, установите зависимости, скачайте веса нужной модели (T2V или I2V) и используйте скрипты для генерации видео.

1. Через RunComfy AI Playground: Зайдите на RunComfy Playground, авторизуйтесь и выберите модель Wan 2.1. Для текст-видео впишите текст, для изображения — загрузите файл. Настройте разрешение (480p или 720p) и длительность, затем запустите процесс. После генерации вы сможете просмотреть и скачать видео.

2. Через ComfyUI: Зайдите на workflow Wan 2.1 или workflow с LoRA. Выберите модель, введите текст или загрузите изображение, настройте стили через LoRA (по желанию) и запустите процесс.

Технология LoRA позволяет адаптировать стиль генерации видео в Wan 2.1 без необходимости переобучать всю модель. Это упрощает настройку параметров движения, художественного стиля и других деталей.

1. В RunComfy AI Playground: Поддержка LoRA для Wan 2.1 в скором времени появится на платформе.

2. В ComfyUI: Зайдите на страницу LoRA для Wan 2.1. Там можно использовать встроенные LoRA модели или загрузить свои собственные для настройки проекта под себя.

Обучение LoRA для Wan 2.1 похоже на обучение других диффузионных моделей:

1. Подготовьте датасет — изображения или короткие видео, сопровождающиеся текстовыми описаниями. Используйте одно ключевое слово во всех описаниях.
2. Настройте окружение и TOML-файл конфигурации (например, «wan_video.toml») с параметрами обучения: скорость, число эпох, ранг сети и т.д.
3. Запустите обучение с помощью deepSpeed или другой среды — будут обновлены только параметры LoRA модели Wan 2.1.
4. После завершения вы получите .safetensors файл, который можно загрузить в генераторные workflow.

Сообщество активно публикует готовые LoRA модели для Wan 2.1 на Hugging Face. Например: Wan 2.1 14B 480p I2V LoRAs. С их помощью легко адаптировать генерацию под стилистику вашего проекта без переобучения всей Wan 2.1 модели.

Модели Wan 2.1 с 14 миллиардами параметров (T2V-14B и I2V-14B) требуют мощную видеокарту, например, NVIDIA RTX 4090. При стандартных настройках они генерируют 5-секундные видео в 720p и требуют около 12 ГБ VRAM (с оптимизациями — до 8 секунд в 480p).

А вот Wan 2.1 T2V-1.3B — значительно доступнее, требует всего около 8.2 ГБ видеопамяти. Это делает её подходящей для большинства потребительских GPU и лёгкого 480p видео.

На NVIDIA RTX 3090 с 24 ГБ VRAM стабильно работает Wan 2.1 T2V-1.3B — она использует около 8.2 ГБ памяти в режиме генерации. Это делает её идеальной для такой видеокарты.

Более тяжёлая модель T2V-14B тоже может запуститься на RTX 3090, но с ограничениями — из-за высокого потребления VRAM возможны проблемы с производительностью. Некоторые пользователи запускают такие модели даже на 10 ГБ GPU, но для этого нужны глубокие оптимизации.

Для запуска Wan 2.1 всё зависит от выбранной модели. Версия T2V-1.3B работает даже на видеокартах с 8 ГБ VRAM и генерирует 480p видео быстро и стабильно. Однако T2V-14B требует значительно больше памяти — это уже уровень профессионального оборудования.

Если у вас нет мощной видеокарты, воспользуйтесь RunComfy AI Playground, где можно бесплатно протестировать Wan 2.1 онлайн и без локальных требований.

Для экономичного запуска Wan 2.1 в облаке есть два основных пути:

1. RunComfy AI Playground — удобная платформа с бесплатными кредитами для новых пользователей. Вы можете протестировать Wan 2.1 без затрат.

2. RunComfy ComfyUI — ещё более эффективный способ, особенно для опытных пользователей. Все модели (включая LoRA) уже предустановлены, доступ к ним получите сразу после входа.

Для дополнительной экономии можно использовать облегчённую модель 1.3B и такие приёмы, как offload и quantization — они снижают нагрузку на VRAM при генерации видео в Wan 2.1.

Wan 2.1 отлично подходит для генерации видео из изображений (image-to-video). Достаточно загрузить картинку и задать описание анимации.

1. Локально: запустите скрипт с флагом -task i2v-14B, укажите путь к изображению и текстовый промпт.

2. Через ComfyUI: используйте готовый workflow для анимации изображения в пару кликов.

3. Через Playground: просто выберите режим изображения-видео и загрузите файл. Всё максимально просто и удобно — Wan 2.1 справляется отлично.

По умолчанию, Wan 2.1 генерирует видео длиной до 81 кадра. При стандартной частоте 16 кадров в секунду это примерно 5 секунд.

Сама модель требует, чтобы количество кадров соответствовало формуле 4n+1 (примеры: 81, 65, 45). Хотя пользователи экспериментировали с 100 кадрами, стабильная работа и оптимальное качество достигаются именно при 81 кадре — для большинства задач этого более чем достаточно.

Wan 2.1 универсальна: она отлично подходит для создания видео из текста или изображений и даже поддерживает элементы видеомонтажа. Её можно использовать для:

• роликов в соцсетях;
• обучающих материалов;
• рекламных видео. Её легко использовать без технического барьера, а качество видео — высокое. Благодаря Wan 2.1 видеогенерация становится доступной даже для независимых создателей контента.

Использование Wan 2.1 в ComfyUI максимально удобно. Вот два готовых решения:

1. Wan 2.1 в ComfyUI
2. Wan 2.1 LoRA в ComfyUI

Всё уже настроено — модели загружены, окружение готово. Вы просто заходите, вводите текст или загружаете изображение, настраиваете параметры и запускаете генерацию. Wan 2.1 делает процесс быстром, понятным и максимально гибким.