Узлы ComfyUI-CogVideoXWrapper и связанный с ними рабочий процесс полностью разработаны Kijai. Мы отдаем все должное Kijai за эту инновационную работу. На платформе RunComfy мы просто представляем вклады Kijai в сообщество. Важно отметить, что в настоящее время нет формальной связи или партнерства между RunComfy и Kijai. Мы глубоко ценим работу Kijai!
Tora представляет новую структуру для создания высококачественных видео, используя руководство на основе траекторий в модели диффузионного трансформера. Сосредотачиваясь на траекториях движения, Tora достигает более реалистичного и временно согласованного синтеза видео. Этот подход устраняет разрыв между пространственно-временным моделированием и генеративными диффузионными структурами.
Обратите внимание, что эта версия Tora основана на модели CogVideoX-5B и предназначена только для академических исследований. Для получения информации о лицензировании, пожалуйста, обратитесь сюда.
Это рабочий процесс CogVideoX Tora, узлы с левой стороны - это входные данные, в середине - узлы обработки tora, а справа - выходные узлы.
[!CAUTION] Работают только изображения в горизонтальном формате с размерами - 720*480. Другие размеры вызовут ошибку.
Положительные: Введите действия, происходящие с объектом на основе траектории, определенной в узле траектории (движение, течение и т.д.).Отрицательные: Введите то, чего вы не хотите (искаженные руки, размытость и т.д.)
Здесь вы устанавливаете путь траектории движения объекта на загруженной фотографии.
points_to_sample: Это задает количество кадров для рендеринга или продолжительность вашего видео в кадрах.mask_width: По умолчанию 720. НЕ ИЗМЕНЯЙТЕ!mask_height : По умолчанию 480. НЕ ИЗМЕНЯЙТЕ!Руководство по узлам:
Переключение видимости ручек
Метод выборки:
Это узлы загрузки моделей, они автоматически загрузят модели в ваш comfyui за 2-3 минуты.
Шаги: Это значение определяет качество вашего рендера. Держите между 25 - 35 для наилучшего и эффективного значения.cfg: Значение по умолчанию 6.0 для выборки CogVideo.denoising strength и Scheduler: Не изменяйте это.
Этот узел установит силу вашей траектории движения.
strength: Высокое значение даст искаженные фигуры или летающие точки. Используйте между 0.5 - 0.9.start_percent: Используйте это значение, чтобы смягчить эффект силы движения.end_percent: - Высокое значение даст искаженные фигуры или летающие точки. Используйте между 0.3 - 0.7
Эти узлы дадут вам 3 выхода.
"CogVideoX Tora: Трансформер диффузии, ориентированный на траекторию, для генерации видео" представляет инновационный подход к генерации видео, вводя руководство на основе траектории в рамках диффузионного трансформера. В отличие от традиционных моделей синтеза видео, которые борются за поддержание временной согласованности и реалистичного движения, CogVideoX Tora явно фокусируется на моделировании траекторий движения. Это позволяет системе генерировать согласованные и визуально убедительные видео, понимая, как объекты и элементы развиваются с течением времени. Объединяя мощь диффузионных моделей, известных своим высоким качеством генерации изображений, с временными рассуждениями трансформеров, CogVideoX Tora устраняет разрыв между пространственным и временным моделированием.
Механизм, ориентированный на траектории, CogVideoX Tora обеспечивает детализированный контроль над движениями объектов и динамическими взаимодействиями, что делает его особенно подходящим для приложений, требующих точного руководства по движению, таких как редактирование видео, анимация и создание спецэффектов. Способность модели поддерживать временную согласованность и реалистичные переходы увеличивает ее применимость в создании плавного и согласованного видео контента. Интегрируя траекторные приоритеты, CogVideoX Tora не только улучшает динамику движения, но и снижает артефакты, часто наблюдаемые в генерации на основе кадров. Этот прорыв устанавливает новый стандарт для синтеза видео, предлагая мощный инструмент для создателей и разработчиков в таких областях, как кинематограф, виртуальная реальность и видео-ориентированный ИИ.
RunComfy - ведущая ComfyUI платформа, предлагающая ComfyUI онлайн среду и услуги, а также рабочие процессы ComfyUI с потрясающей визуализацией. RunComfy также предоставляет AI Playground, позволяя художникам использовать новейшие инструменты AI для создания невероятного искусства.