Gemini Omni Flash: текст в видео с синхронизированным звуком | RunComfy

Google / Gemini Omni Flash#

Gemini Omni Flash — это семейство мультимодальных видеогенераторов Google, основанное на реальных знаниях Gemini и более глубоком понимании физики для более правдоподобного движения и взаимодействия. Более широкое семейство охватывает четыре взаимосвязанных задачи: преобразование текста в видео, преобразование изображения в видео, редактирование видео и преобразование ссылки в видео. На этой странице RunComfy выполняется задача преобразования текста в видео, превращая письменное приглашение в короткий кинематографический клип с синхронизированным звуком.

Поскольку она рассуждает о том, как на самом деле ведет себя мир, модель сохраняет согласованность объектов, освещения и движения на протяжении всего кадра, а не дрейфует от кадра к кадру.

Основные моменты#

• Встроенный синхронизированный звук. Создавайте речь, звуковые эффекты и музыку в соответствии с действием, поэтому клип можно будет опубликовать без отдельного аудиопрохода.
• Движение с учетом физики. Улучшение физического понимания обеспечивает более плавное и естественное движение и взаимодействие объектов.
• Основано на реальных знаниях. Результаты основаны на реальных знаниях Gemini, что помогает сценам выглядеть правдоподобными и соответствовать теме.
• Управление на уровне подсказки: прямой темп и звук прямо из подсказки (например, один непрерывный кадр, спокойная фоновая музыка или отсутствие диалогов).
• Семейство из четырех задач: линейка Gemini Omni Flash обеспечивает преобразование текста в видео, изображение в видео, редактирование видео и преобразование ссылок в видео; на этой странице представлена только задача преобразования текста в видео.
• Гибкое кадрирование: поддерживается альбомная ориентация 16:9 и портретная 9:16 с длительностью от 3 до 10 секунд.

Параметры#

Входные данные соответствуют схеме RunComfy OpenAPI Input для задачи преобразования текста в видео.

Цены#

Оплата производится в зависимости от длины созданного клипа:

• Видео: 0,13 доллара США за секунду созданного видео.

Как использовать#

1. Напишите описательную подсказку – опишите объект, действие, обстановку, настроение, освещение и камеру. Подробные подсказки расширяют возможности работы с моделью.
2. Задайте темп словами. Попросите один непрерывный кадр или определенный ритм прямо в подсказке.
3. Направляйте звук — запрашивайте диалог, окружающий звук или фоновую музыку или не говорите диалог, если хотите, чтобы он был тихим.
4. Добавить отрицательные инструкции — добавьте исключения в само приглашение, например, не показывать текст.
5. Выберите соотношение сторон. Выберите 16:9 для горизонтальной ориентации или 9:16 для вертикальной ориентации и показа на мобильных устройствах.
6. Установите продолжительность — выберите любое целое число секунд от 3 до 10.
7. Создать и уточнить — просмотрите клип, затем измените формулировку, соотношение сторон или продолжительность и запустите его еще раз.

Подсказки и справочные советы#

• Ведите с помощью камеры и движения, которые вы хотите (например, медленное нажатие, ручное управление или блокировка).
• Назовите настроение и освещение, чтобы сцена выглядела так, как вы задумали.
• Сохраняйте одно четкое действие на клип; Короткая продолжительность вознаграждает за целенаправленные подсказки.
• Обозначьте звуковую среду, когда звук имеет значение, поскольку модель может генерировать синхронизированный звук.
• Используйте простые негативные формулировки (например, никакого текста на экране), а не расплывчатые намеки.
• Если результат кажется перегруженным, упростите подсказку и удалите конкурирующие элементы стиля.

Чем Gemini Omni Flash отличается от других моделей#

• По сравнению с более ранними моделями преобразования текста в видео: Он подчеркивает движение с учетом физики и встроенную синхронизацию звука за один шаг. На основании общедоступной информации сравните по собственным подсказкам.
• По сравнению с генераторами бесшумного видео: он включает в себя генерацию звука, поэтому вы пропускаете отдельный этап озвучивания или звукового дизайна.
• В рамках отдельного семейства. Преобразование текста в видео – одна из четырех задач в этом семействе; целевые рабочие процессы преобразования изображения в видео, редактирования видео и ссылки на видео, которые начинаются с существующих медиа, а не только с текста.

Больше моделей, которые стоит попробовать#

• Veo 3 Fast — быстрое преобразование текста в видео со звуком для быстрых черновиков.
• Seedance 2.5 — Кинематографическое мультимодальное видео с поддержкой ссылок.
• Kling Video — создание видео, ориентированного на движение.
• Wan 2.5 — универсальная альтернатива преобразованию текста в видео.

Официальные ресурсы#

• Google DeepMind: https://deepmind.google/