Hunyuan Video - это модель с открытым исходным кодом, которая бросает вызов доминированию закрытых систем, предоставляя передовые возможности генерации видео из текста. Основанная на инновациях в крупномасштабной обработке данных, адаптивном архитектурном дизайне и оптимизированной инфраструктуре, Hunyuan Video устанавливает новые стандарты качества изображения.
Хотя Hunyuan Video в первую очередь сосредоточена на генерации видео из текста, рабочий процесс Hunyuan IP2V расширяет эту возможность, преобразуя изображение и текстовый запрос в динамическое видео с использованием той же модели. Этот подход позволяет пользователям управлять созданием контента с помощью визуальных ссылок, предлагая альтернативный метод производства контента с использованием ИИ.
Объединяя изображение с запросом, Hunyuan IP2V генерирует движение, сохраняя ключевые характеристики входных данных, делая его полезным инструментом для анимации с использованием ИИ, визуализации концепций и художественного повествования. Независимо от того, создаете ли вы динамичные сцены, стилизованное движение или расширяете статические визуальные элементы в анимированные последовательности, структура Hunyuan Video обеспечивает эффективные пути к результатам высокого качества.
Как использовать рабочий процесс Hunyuan Video - IP2V?
Группы кодируются цветом для ясности:
- Зеленый - Входные данные
- Фиолетовый - Модели
- Розовый - Hunyuan Sampler
- Красный - VAE + Декодирование
- Серый - Выходные данные
Загрузите свои входные данные (изображение и текст) в зеленые узлы и настройте параметры видео, такие как продолжительность и разрешение, в розовом узле семплера.
Входные данные 1 - Изображение
Загрузите изображение для ссылки на место, человека или объект, для которых вы ищете аналогичные результаты.
Входные данные 2 - Текст
В первом текстовом поле введите свои запросы и включите изображение, используя ключевое слово "<image>".
Например, если ваш ввод "пустая улица" и вы хотите добавить женщину, запрос будет: "Портрет женщины, на заднем плане <image>."
Семплер
Вы можете настроить следующее:
- Разрешение изображения - Максимальное 1280px 720px, требуется больше VRAM.
- Кадры - Это устанавливает количество кадров (24 кадра = 1 секунда).
Модели
В этой группе модели будут автоматически загружены при первом запуске. Пожалуйста, подождите 3-5 минут для завершения загрузки в ваше временное хранилище.
Ссылки:
- Diffusion: https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/hunyuan_video_FastVideo_720_fp8_e4m3fn.safetensors
- ComfyUI > models > diffusion_models
- Vae: https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/hunyuan_video_vae_bf16.safetensors
- ComfyUI > models > vae
Выходные данные
Сгенерированное видео будет сохранено в папке Outputs в Comfyui.
С помощью рабочего процесса Hunyuan IP2V вы не ограничены созданием видео только на основе текста, теперь вы можете оживить свои изображения движением и стилем. Независимо от того, занимаетесь ли вы созданием фильмов с использованием ИИ, цифровым искусством или творческим повествованием, этот рабочий процесс дает вам возможность формировать ваше видение с большим контролем, чем когда-либо прежде.