Self Forcing: Авторегрессивная генерация видео из ключевых кадров#

Self Forcing — это продвинутая модель генерации видео на основе ключевых кадров. Self Forcing обеспечивает плавный, высококачественный синтез видео, генерируя движение между начальным и конечным ключевыми кадрами под руководством описательных текстовых промптов.

Построенный на авторегрессивных архитектурах диффузии видео с KV-кэшированием, Self Forcing превосходно справляется с генерацией темпорально согласованного движения с сохранением идентичности между кадрами. Совместный подход Self Forcing к ключевым кадрам и тексту обеспечивает плавные переходы, сохраняя структуру и стиль объекта на протяжении всего сгенерированного видео.

Почему стоит использовать Self Forcing?#

Self Forcing предлагает:

• Генерация на основе ключевых кадров: Self Forcing использует начальное и конечное референсные изображения для управления внешним видом и движением
• Управление промптом + ключевые кадры: Self Forcing сочетает творческие текстовые описания с референсной структурой
• Авторегрессивное движение: Self Forcing обеспечивает плавные, темпорально согласованные переходы между кадрами
• Сохранение идентичности: Self Forcing поддерживает верность объекта в сгенерированных последовательностях
• Идеально для эффективного создания видео: Self Forcing идеально подходит для повествования на основе персонажей, кинематографической анимации и синтеза концептуального видео

Генерируете ли вы анимации, кинематографические последовательности или ИИ-видео с согласованной идентичностью, Self Forcing предоставляет полный творческий контроль, обеспечивая плавное и реалистичное движение с технологией Self Forcing.

Входные изображения#

В этом разделе вы загрузите изображения начального ключевого кадра и конечного ключевого кадра для Self Forcing. Эти два изображения определяют начальный и конечный внешний вид вашего видео, сгенерированного с помощью Self Forcing.

• Загрузите оба референсных изображения, используя предоставленные узлы Load Image для Self Forcing.
• Используйте опциональные узлы изменения размера и обрезки для настройки изображений для оптимального выравнивания и соотношения сторон Self Forcing.
• Правильно выровненные и хорошо обрезанные ключевые кадры улучшают согласованность движения Self Forcing на протяжении всей сгенерированной последовательности.

Длительность видео#

Установите общее количество кадров, которое сгенерирует ваше видео Self Forcing.

• Большее количество кадров позволяет более постепенные, плавные переходы между ключевыми кадрами в Self Forcing.
• Меньшее количество кадров приводит к более быстрым переходам Self Forcing.
• Типичный диапазон Self Forcing: 16–48 кадров в зависимости от желаемой длительности и сложности движения.

Модель#

Эта группа загружает авторегрессивную модель диффузии видео Self Forcing. Рабочий процесс Self Forcing автоматически выбирает правильную версию модели.

• Self Forcing построен на авторегрессивной развёртке с KV-кэшированием.
• Self Forcing обеспечивает стабильную, темпорально когерентную генерацию движения.
• Self Forcing позволяет осуществлять инференс в реальном времени на высокопроизводительных GPU, таких как RTX 4090.

Промпты#

В этом разделе вы можете ввести ваш текстовый промпт для направления генерации Self Forcing.

• Комбинируйте промпты с вашими ключевыми кадрами, чтобы влиять на стиль, фон или контекст движения Self Forcing.
• Используйте описательный и чёткий язык для максимизации творческого контроля Self Forcing.
• Негативные промпты также можно использовать для подавления нежелательных элементов в Self Forcing.

Выходные данные#

После завершения генерации Self Forcing:

• Ваше видео Self Forcing будет автоматически сохранено в папке Comfyui > output внутри вашей директории ComfyUI.
• Файлы Self Forcing сохраняются как видеоклипы (MP4 или последовательности изображений в зависимости от конфигурации).

Благодарности#

Этот рабочий процесс использует модель Self Forcing, разработанную guandeh. Рабочий процесс Self Forcing интегрирует узлы Wan Video Wrapper от kijai для обеспечения бесшовной генерации видео Self Forcing внутри ComfyUI. Полная благодарность обоим авторам за их оригинальную разработку модели Self Forcing и работу по интеграции.

GitHub Repository: https://github.com/guandeh17/Self-Forcing