Оболочка FramePack | Эффективная долговременная генерация видео

Описание оболочки ComfyUI FramePack

1. Что такое оболочка ComfyUI FramePack?

Оболочка ComfyUI FramePack интегрирует передовую технологию FramePack Стэнфордского университета в среду ComfyUI. FramePack основан на инновационных методах упаковки контекста кадров, которые позволяют эффективно и качественно создавать длинные видео с минимальными вычислительными ресурсами. Технология FramePack позволяет генерировать тысячи кадров с полной частотой 30 кадров в секунду даже на скромных конфигурациях GPU, таких как 6GB ноутбуки, делая профессиональное создание видео доступным для всех. Уникальный подход FramePack к генерации видео напоминает диффузию изображений, но обеспечивает исключительные результаты видео.

2. Преимущества оболочки ComfyUI FramePack:

• Эффективное использование ресурсов: FramePack генерирует видео на небольших облачных машинах с минимальными требованиями к памяти GPU
• O(1) вычислительная сложность: FramePack поддерживает постоянную скорость обработки независимо от длины видео
• Технология предотвращения дрейфа: FramePack решает общие проблемы с ухудшением качества видео со временем
• Постоянное качество для длинных видео: FramePack поддерживает высокое визуальное качество даже для видео длительностью 30-60+ секунд, без ухудшения, типичного для других моделей генерации видео
• Без дистилляции временного шага: FramePack сохраняет качество при поддержании эффективности

3. Как использовать оболочку ComfyUI FramePack

3.1 Методы генерации с ComfyUI FramePack

Пример настройки для FramePack:

1. Подготовьте входные данные:
   • В узле Load Image: Загрузите эталонное изображение, которое будет анимировано в видео с помощью FramePack
2. Настройте ключевые параметры:
   • В FramePackSampler: Установите длину видео (например, 5.0 секунд)
   • В Video Combine: Установите частоту кадров (например, 30) и выходной формат (например, video/h264-mp4)
3. Нажмите кнопку run, чтобы запустить рабочий процесс FramePack
4. Сгенерированное видео FramePack будет сохранено в соответствии с настройками в вашем узле Video Combine

3.2 Справочник параметров для ComfyUI FramePack

Узел FramePackSampler:

• steps: Количество шагов диффузии (например, 30) - более высокие значения обеспечивают лучшее качество, но требуют больше времени в FramePack
• guidance_scale: Дополнительная сила направляющего сигнала в FramePack (например, 10.00) - более высокие значения более строго следуют подсказкам
• seed: Случайное семя для воспроизводимых результатов в FramePack (например, 47)
• total_second_length: Длительность сгенерированного видео в секундах (например, 5.0) в FramePack
• control_after_generate: Управляет методом выборки предотвращения дрейфа в FramePack (оставьте "fixed" для лучших результатов)

Узел Video Combine:

• frame_rate: Кадров в секунду в выходном видео FramePack (например, 30)
• crf: Фактор качества сжатия (например, 19) - более низкие значения = более высокое качество видео FramePack

3.3. Продвинутая оптимизация с ComfyUI FramePack

Генерация более длинных видео с FramePack: Одно из ключевых преимуществ FramePack - это возможность эффективно генерировать длинные видео. Для создания более длинных видео:

• Увеличьте параметр total_second_length в узле FramePackSampler (например, с 5.0 до 10.0, 30.0 или даже 60.0+)
• Оставьте control_after_generate в положении "fixed", чтобы использовать продвинутую технологию выборки предотвращения дрейфа FramePack
• При генерации видео длиннее 10 секунд рассмотрите возможность небольшого увеличения значения gpu_memory_preservation для управления использованием памяти
• Для очень длинных видео (более 30 секунд) может потребоваться уменьшить параметр latent_window_size
• Вычислительная сложность FramePack O(1) обеспечивает постоянную скорость генерации независимо от длины видео
• Пишите временные подсказки: Для более длинных видео включайте слова, такие как "постепенно", "медленно", "затем", чтобы направлять временной поток и описывать, как элементы меняются со временем

Настройка разрешения видео: Чтобы изменить разрешение выходного видео FramePack, настройте узел "Resize Image" в рабочем процессе:

• Измените параметры width и height, чтобы установить желаемые размеры видео FramePack
• Рекомендуется сохранять размеры кратными 8 для оптимальных результатов FramePack
• Примечание: Более высокие разрешения потребуют больше памяти GPU и времени обработки с FramePack
• Для больших разрешений может потребоваться корректировка параметра gpu_memory_preservation для балансировки использования памяти в FramePack

Советы по подсказкам FramePack:

• Будьте максимально описательны в отношении движения и переходов в ваших подсказках для лучших результатов FramePack
• Включайте конкретные глаголы действий, описывающие желаемое движение в FramePack
• Для лучших результатов опишите как сцену, так и то, как элементы должны двигаться/изменяться в видео FramePack

Дополнительная информация о FramePack

Технология FramePack использует инновационные методы двунаправленной выборки, которые разрушают традиционные ограничения причинности для предотвращения ухудшения качества в более длинных видео. Особенно для генерации изображений в видео, FramePack применяет "инвертированную выборку предотвращения дрейфа", которая рассматривает первый кадр как целевой ориентир на протяжении всего процесса генерации, обеспечивая высокое качество даже в видео до 60 секунд и более (1800+ кадров).

Для получения дополнительных сведений и загрузки моделей FramePack:

• Оригинальное исследование FramePack от Lvmin Zhang и Maneesh Agrawala (Стэнфордский университет)
• Реализация оболочки ComfyUI FramePack от kijai

Благодарности

Этот рабочий процесс поддерживается FramePack, разработанным Lvmin Zhang и Maneesh Agrawala в Стэнфордском университете. Оболочка ComfyUI FramePack предоставлена kijai, включая адаптированные рабочие процессы и интеграции, которые позволяют эффективно генерировать длинные видео с технологией FramePack. Полный кредит принадлежит оригинальным авторам за их новаторскую работу над FramePack.