community/infinite-talk/image-to-video

Введение в InfiniteTalk

С помощью InfiniteTalk вы можете преобразовать одно портретное изображение и аудиозапись в реалистичное видео с естественным движением губ, синхронизированным с речью. Основанный на модели MultiTalk и ядре WanVideo 2.1 I2V GGUF, этот инструмент обеспечивает выразительную мимику при сохранении индивидуальности и стиля — идеально подходит для создания социальных видео, дубляжей или обновлений аватаров.

InfiniteTalk позволяет превращать статичные фотографии в живые портретные видео, управляемые речью. Он создан для создателей контента, стратегов и разработчиков, которым нужны плавные говорящие аватары с точной синхронизацией движений рта и звука. Результаты представляют собой клипы, сохраняющие сходство персонажа, добавляя при этом естественные жесты и вокальную синхронизацию.

Основные модели, используемые в InfiniteTalk

Wan2.1-MultiTalk (GGUF, вариант InfiniteTalk)

Вариант MultiTalk для InfiniteTalk обеспечивает генерацию движений губ и челюсти, чувствительных к фонемам, на основе аудиозаписи речи, что гарантирует высокую синхронизацию анимации говорящей головы. Модель отслеживает естественный ритм речи и поддерживает выразительность, сохраняя стабильность лица. Подробнее о её происхождении можно узнать на MeiGen-AI/MultiTalk.

WanVideo 2.1 I2V 14B (GGUF)

WanVideo 2.1 I2V 14B — это основной генератор изображение-видео, анимирующий портреты с сохранением сходства, позы и освещения. Он оптимизирован в формате GGUF для обеспечения совместимости и высокого качества. Рекомендуемые веса доступны по ссылке city96/Wan2.1-I2V-14B-480P-gguf.

Wav2Vec2 (Tencent GameMate)

Эта аудиомодель извлекает устойчивые представления речи из необработанных записей голоса. Она улучшает естественность синхронизации и интонации при передаче данных в MultiTalk для управления анимацией. Модель доступна по адресу TencentGameMate/chinese-wav2vec2-base.

Как использовать InfiniteTalk

Необходимые входные данные

Для работы требуется три основных входа: изображение (Image input), аудиофайл (Audio) и текстовая подсказка (Prompt). Эти данные позволяют InfiniteTalk зафиксировать индивидуальные черты изображения, уловить динамику речи и применить стилистические указания для итогового видео с говорящим портретом.

Дополнительные параметры и настройки

Вы можете регулировать параметры Width и Height, чтобы задать размеры видео в соответствии с вашими предпочтениями, обеспечивая баланс между производительностью и детализацией. Параметры Seed, Steps и Shift предоставляют дополнительные возможности управления процессом генерации, а Frames Per Second (FPS) определяет плавность воспроизведения.

Результаты

InfiniteTalk создаёт видео, объединяющее ваш портрет и аудио. Видео выводится с частотой кадров, заданной в параметре Frames Per Second — по умолчанию 25 кадров в секунду. Результат — это плавное видео с говорящим портретом, в котором голос и изображение идеально сочетаются.

Рекомендации по использованию

Для наилучших результатов используйте чёткий портрет с равномерным освещением в поле Image и чистую аудиозапись речи в поле Audio. Подсказку (Prompt) делайте краткой, описывая тон или стиль движения. Для предварительного просмотра используйте стандартные значения Width и Height и умеренное количество Steps. После удовлетворительного результата можно увеличить параметры для достижения высшего качества.