SkyReels-A2 | Генерация видео с несколькими элементами

SkyReels-A2: Передовая технология Element-to-Video

1. Что такое рабочий процесс ComfyUI SkyReels-A2?

SkyReels-A2 — это передовой рабочий процесс Element-to-Video (E2V), который объединяет несколько эталонных изображений в плавные, динамически сгенерированные видео. Разработанный Skywork AI, эта технология SkyReels-A2 позволяет интегрировать персонажей, объекты и фоны, сохраняя идентичность и визуальную точность каждого элемента. В отличие от традиционных подходов image-to-video, SkyReels-A2 специально решает задачу сохранения эталонной точности каждого элемента при создании естественных взаимодействий между ними, что делает его идеальным для виртуальных демонстраций продуктов, анимаций персонажей и сложных композиций сцен с интеграцией SkyReels-A2 ComfyUI.

2. Преимущества ComfyUI SkyReels-A2:

• Интеграция нескольких элементов с SkyReels-A2: Объединяйте три различных эталонных элемента (человек, объект/другой человек и сцена) в единое видео.
• Сохранение идентичности: SkyReels-A2 поддерживает высокую точность по отношению к эталонным изображениям, создавая при этом естественное движение и взаимодействие.
• Гибкая композиция: Управляйте отношениями между элементами с помощью текстовых подсказок, описывающих их взаимодействие с системой SkyReels-A2.
• Контроль разрешения: Этот рабочий процесс SkyReels-A2 позволяет вам изменять разрешение входных изображений для различных типов сцен.
• Удаление фона: Автоматически изолирует объекты от фона для лучшей композиции.
• Точный контроль отступов: Тонко настраивайте расположение элементов и их значимость с помощью математических расчетов отступов в SkyReels-A2.
• Бесшовная интеграция: Совместимость с технологией генерации видео WAN2.1 для высококачественных результатов SkyReels-A2.

3. Как использовать рабочий процесс ComfyUI SkyReels-A2

3.1 Процесс подготовки изображений SkyReels-A2

Подготовка изображений элементов для SkyReels-A2:

Рабочий процесс SkyReels-A2 включает 3 основные группы изображений:

Subject1Image в SkyReels-A2: Главный персонаж/человек

• Загрузите ваше изображение в группу "Subject1Image"
• Используйте узел Mask Bounding Box для оптимального кадрирования
• Примените Simple Math для расчета отступов (a-40)
• Измените размер до 640×480 или 832×480 (в зависимости от типа сцены)
• Используйте ImageCompositeMasked для размещения объекта на чистом фоне

Subject2Image в SkyReels-A2: Объект или второстепенный персонаж/человек

• Загрузите ваше изображение в группу "Subject2Image"
• Используйте узел Mask Bounding Box для оптимального кадрирования
• Примените Simple Math для расчета отступов (a-40)
• Разместите на чистом фоне, используя ImageCompositeMasked
• Измените размер, чтобы соответствовать разрешению вашего изображения объекта

Важно: Для меньших объектов, таких как ручки, кисти или предметы, удерживаемые в руках, измените параметр ширины в узле Resize Image на более низкое значение (10-20), сохраняя keep_proportion равным true. Это контролирует относительный размер вашего объекта в окончательной композиции и предотвращает появление объектов ненатурально большими, когда они удерживаются персонажами.

BackgroundImage для SkyReels-A2: Окружающая среда

• Загрузите ваше изображение в группу "BackgroundImage"
• Измените размер, чтобы соответствовать выбранному разрешению (640×480 или 832×480)
• Примените обрезку по центру для сохранения соотношения сторон
• Используйте более высокое значение divisible_by (16), чтобы обеспечить совместимость с SkyReels-A2

3.2 Процесс композиции элементов SkyReels-A2

SkyReels-A2 Batch Assembly:

1. Установите ImageBatchRepeatInterleaving на 4 повтора
2. Убедитесь, что все изображения сохраняют одинаковое разрешение и соотношение сторон для оптимальной обработки SkyReels-A2

3.3 Настройки генерации видео SkyReels-A2

SkyReels-A2 Text Encoding:

1. Настройте вашу подсказку, чтобы описать отношения между элементами
2. Убедитесь, что все три элемента упомянуты

3.4 Руководство по разрешению SkyReels-A2

Для крупных портретов в SkyReels-A2:

• Используйте разрешение 640×480
• Настройте отступы на 20px со всех сторон (формула a-40)

Для полноразмерных снимков с SkyReels-A2:

• Используйте разрешение 832×480
• Настройте отступы для правильного кадрирования

Для нескольких объектов в SkyReels-A2:

• Экспериментируйте с различными значениями отступов для управления значимостью элементов

4. Техническое объяснение технологии E2V SkyReels-A2

Рабочий процесс SkyReels-A2 использует двухветвевой подход кодирования:

1. Кодирование общих признаков в SkyReels-A2: CLIP Vision Encoder извлекает представления, подобные токенам, аналогично текстовым подсказкам
2. Кодирование пространственных признаков с SkyReels-A2: 3D VAE Encoder захватывает детализированные пространственные характеристики каждого элемента

Эти кодировки комбинируются с текстовыми подсказками, описывающими желаемые отношения между элементами.

5. Оптимизация производительности SkyReels-A2

Управление VRAM SkyReels-A2:

• Заметка в рабочем процессе SkyReels-A2 предупреждает, что размеры пакетов 10 могут легко вызвать ошибки из-за нехватки памяти
• Для тестирования используйте 33 кадра; увеличьте для окончательного производства SkyReels-A2

Узлы оптимизации SkyReels-A2:

• Use_jit: true (для обоих узлов удаления фона в SkyReels-A2)
• WanVideo TECache: включен с latent_scale_factor: 0.25
• WanVideo VRAM Management: offload_percent: 1.00
• Включите опцию use_non_blocking для лучшей эффективности памяти с SkyReels-A2

Благодарности

Этот рабочий процесс основан на модели SkyReels-A2, разработанной исследовательской командой Skywork AI. Оригинальная модель и исследования доступны на . Реализация ComfyUI SkyReels-A2 предоставлена . Все заслуги принадлежат оригинальным авторам за их инновационную работу в области трансформеров диффузии видео и технологии SkyReels-A2 element-to-video.