Измените стиль существующего видео с помощью текстовых инструкций, сохранив исходное движение и общую композицию.
SCAIL анимирует персонажа из одного эталонного изображения, следуя за движением в видео вождения. Интерфейс RunComfy принимает изображение, видео вождения и дополнительную текстовую подсказку с выходным разрешением 480p или 720p и элементом управления исходным числом. Он подходит для тестов движения персонажей, стилизованной анимации и прототипирования аватаров, а также может вызываться через HTTP API без самостоятельного размещения.
Идеально подходит для: передачи движения персонажей | Стилизованные превью анимации | Прототипирование аватаров и игровой концепции
– Краткое описание: SCAIL использует эталонное изображение персонажа и видео вождения для создания анимации, повторяющей движение видео, сохраняя при этом изображенный персонаж узнаваемым. Дополнительная подсказка может указать стиль или мелкие детали сцены.
— Этот рабочий процесс направлен на анимацию существующего персонажа, а не на создание совершенно несвязанной сцены из текста.
| Параметр | Тип | По умолчанию/Диапазон | Описание |
|---|---|---|---|
| image | string (image_uri) | Обязательный ввод | URL-адрес изображения эталонного персонажа. |
| video | string (video_uri) | Обязательный ввод | URL-адрес видео о вождении, которое передает движение. |
| prompt | string | Необязательно | Текстовые указания по стилю, внешнему виду или второстепенным деталям сцены. |
| resolution | string | 480p / 720p | Выходное разрешение; 480p — значение по умолчанию. |
| seed | integer | Не указано | Семена, используемые для изменения или воспроизводства поколения. |
Текущая страница не предоставляет настройки num_inference_steps, ControlNet или IP-Adapter.
SCAIL можно вызвать через API RunComfy с теми же элементами управления, которые представлены в интерфейсе модели: image, video, prompt, resolution и seed.
Примечание. Конечная точка API для SCAIL
Измените стиль существующего видео с помощью текстовых инструкций, сохранив исходное движение и общую композицию.
Создайте голос из текста и синхронизируйте его с видео; выберите голос, язык и скорость.
Направляйте новое видео с помощью изображений или ссылок на видео и направления текста.
Анимируйте исходное изображение в Hailuo 02 Pro по промпту и создайте шестисекундное видео.
MiniMax H3 Max Reference to video: мультимодальные ссылки на клипы 480p/768p.
Анимируйте изображение по промпту в 5- или 8-секундное видео с разрешением 480p или 720p.
SCAIL — это модель анимации персонажей, связанная с Tsinghua University и Z.ai. Он использует одно эталонное изображение персонажа плюс видео вождения, поэтому персонаж создается из изображения, а движение — из видео. Вместо этого типичный рабочий процесс преобразования текста в видео создает новую сцену в основном на основе письменного приглашения.
SCAIL можно использовать с иллюстрациями, мультфильмами и аниме-стилями, а также с фотографиями. Четкий силуэт и видимые черты лица и тела помогают модели следовать за движущимся движением, сохраняя при этом узнаваемость исходного персонажа.
Текущий интерфейс RunComfy предлагает разрешения 480p и 720p, при этом 480p используется по умолчанию. Схема страницы не предоставляет контроль продолжительности и не публикует максимальную длину клипа, поэтому проверьте текущие требования к загрузке и API для видео, которое вы планируете использовать.
Представленный рабочий процесс использует одно эталонное изображение, одно видео вождения и дополнительную текстовую подсказку, а также resolution и seed. Эта страница не предоставляет входные данные ControlNet или IP-Adapter, и в ее схеме не указано ограничение на количество токенов приглашения.
Проверьте эталонное изображение и видео вождения в интерфейсе модели RunComfy, затем вызовите конечную точку SCAIL с соответствующими полями image, video, prompt, resolution и seed. Добавьте аутентификацию, опрос, повторные попытки и проверку вывода в свой производственный рабочий процесс.
Представленный рабочий процесс не требует от пользователей загружать скелет позы для каждого кадра. Вместо этого эталонное изображение определяет персонажа, а видео движения обеспечивает движение, уменьшая объем ручной настройки, необходимой для первоначального прохода анимации.
SCAIL специализируется на передаче движения существующему изображению персонажа. Общие модели преобразования текста в видео или изображения в видео могут быть лучше, если цель состоит в том, чтобы изобрести новую сцену; SCAIL более подходит, когда необходимо объединить конкретного персонажа и конкретное движущее движение.
На исходной странице не указана лицензия, поэтому не следует предполагать коммерческое разрешение. Прежде чем использовать результаты в коммерческом проекте, ознакомьтесь с текущим официальным репозиторием и лицензией на модель, а также с применимыми условиями RunComfy.
Никакой файл позы для каждого кадра не предоставляется в качестве входных данных. Вы можете создать первоначальный результат на основе изображения и видео вождения, но производственная работа все равно может нуждаться в проверке или постобработке, когда важны руки, окклюзии, быстрое движение или детали личности.
Начните с четкого эталонного изображения, на котором четко виден персонаж, и видео с читаемыми движениями. Подобный кадр и пропорции тела могут облегчить передачу, в то время как сильная окклюзия, многолюдные сцены или резкое движение камеры заслуживают дополнительного тестирования.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Models, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.


