SCAIL: Анимация персонажей и передача движения по эталонному изображению | RunComfy

SCAIL — это модель анимации персонажей, связанная с Tsinghua University и Z.ai. Он использует одно эталонное изображение персонажа плюс видео вождения, поэтому персонаж создается из изображения, а движение — из видео. Вместо этого типичный рабочий процесс преобразования текста в видео создает новую сцену в основном на основе письменного приглашения.

SCAIL можно использовать с иллюстрациями, мультфильмами и аниме-стилями, а также с фотографиями. Четкий силуэт и видимые черты лица и тела помогают модели следовать за движущимся движением, сохраняя при этом узнаваемость исходного персонажа.

Текущий интерфейс RunComfy предлагает разрешения 480p и 720p, при этом 480p используется по умолчанию. Схема страницы не предоставляет контроль продолжительности и не публикует максимальную длину клипа, поэтому проверьте текущие требования к загрузке и API для видео, которое вы планируете использовать.

Представленный рабочий процесс использует одно эталонное изображение, одно видео вождения и дополнительную текстовую подсказку, а также resolution и seed. Эта страница не предоставляет входные данные ControlNet или IP-Adapter, и в ее схеме не указано ограничение на количество токенов приглашения.

Проверьте эталонное изображение и видео вождения в интерфейсе модели RunComfy, затем вызовите конечную точку SCAIL с соответствующими полями image, video, prompt, resolution и seed. Добавьте аутентификацию, опрос, повторные попытки и проверку вывода в свой производственный рабочий процесс.

Представленный рабочий процесс не требует от пользователей загружать скелет позы для каждого кадра. Вместо этого эталонное изображение определяет персонажа, а видео движения обеспечивает движение, уменьшая объем ручной настройки, необходимой для первоначального прохода анимации.

SCAIL специализируется на передаче движения существующему изображению персонажа. Общие модели преобразования текста в видео или изображения в видео могут быть лучше, если цель состоит в том, чтобы изобрести новую сцену; SCAIL более подходит, когда необходимо объединить конкретного персонажа и конкретное движущее движение.

На исходной странице не указана лицензия, поэтому не следует предполагать коммерческое разрешение. Прежде чем использовать результаты в коммерческом проекте, ознакомьтесь с текущим официальным репозиторием и лицензией на модель, а также с применимыми условиями RunComfy.

Никакой файл позы для каждого кадра не предоставляется в качестве входных данных. Вы можете создать первоначальный результат на основе изображения и видео вождения, но производственная работа все равно может нуждаться в проверке или постобработке, когда важны руки, окклюзии, быстрое движение или детали личности.

Начните с четкого эталонного изображения, на котором четко виден персонаж, и видео с читаемыми движениями. Подобный кадр и пропорции тела могут облегчить передачу, в то время как сильная окклюзия, многолюдные сцены или резкое движение камеры заслуживают дополнительного тестирования.