Uni3C Видео-ссылки на камеру и перенос движения

1. Что такое ComfyUI Uni3C Workflow?

Рабочий процесс Uni3C интегрирует продвинутую модель Uni3C (Унификация точного 3D-усиленного управления камерой и движением человека) в среду ComfyUI. Разработанный DAMO Academy (Alibaba Group), Uni3C решает основную задачу управляемой генерации видео, объединяя управление траекторией камеры и движением человека в единую 3D-усиленную структуру.

Основанный на архитектуре диффузионного трансформера FLUX и поддерживаемый моделью Wan2.1, Uni3C вводит PCDController - модуль управления, который можно подключать и использовать, основанный на непроецированных облаках точек, полученных из оценки моноскопической глубины. Этот подход позволяет точно контролировать камеру в Uni3C, сохраняя при этом генеративные возможности крупномасштабных моделей диффузии видео. Система Uni3C использует модели персонажей SMPL-X и глобальное руководство в 3D-мире для достижения пространственно согласованной генерации видео как для окружения, так и для человеческих персонажей.

2. Преимущества Uni3C:

• Унифицированная 3D-усиленная структура: Uni3C одновременно обрабатывает траектории камеры и движение человека в согласованном 3D пространстве.
• Архитектура PCDController: С легким контроллером на 0.95B параметров, Uni3C использует непроецированные облака точек из оценки моноскопической глубины, не ухудшая базовую модель на 14B параметров.
• Интеграция SMPL-X: Uni3C предоставляет поддержку продвинутых 3D моделей человеческого тела.
• Использование геометрического приоритета: Понимание 3D геометрии на основе облака точек Uni3C обеспечивает надежное управление камерой с одиночных изображений.
• Глобальное руководство в 3D-мире: Uni3C обеспечивает согласование жесткой трансформации между облаками точек окружения и персонажами SMPL-X для пространственно согласованной генерации видео.

3. Как использовать Uni3C Workflow

Uni3C работает через извлечение ссылок на видео, которое анализирует ссылочные видео для понимания как движений камеры, так и человеческих движений, а затем применяет паттерны для генерации новых видео из входных изображений. Этот подход позволяет точно контролировать Uni3C без ручной настройки параметров.

3.1 Метод 1: Управление камерой на основе видео-ссылок

Лучше всего подходит для:

Извлечение движений камеры из ссылочных видео и их применение к новым сценам с использованием Uni3C.

Процесс настройки:

1. Загрузить ссылочное видео: Загрузите любое видео с интересными движениями камеры в узле Load Video (Upload)
   • Хорошие примеры: Видео с увеличением камеры на объекты, съемка с естественными движениями головы, кинематографические панорамы, орбитальные кадры
   • Ключевой момент: Любое видео с четкими движениями камеры подходит - от записей с телефона до профессиональной кинематографии с Uni3C.
2. Загрузить целевое изображение: Загрузите ваше базовое изображение в узле Load Image (работает с любым стилем: реалистичным, аниме, искусством, сгенерированным ИИ)
3. Напишите свой запрос: Опишите вашу желаемую сцену в текстовом поле запроса для Uni3C
4. Настройте параметры: Рабочий процесс Uni3C включает оптимизированные параметры для увеличения скорости в 4 раза
5. Генерируйте: Запустите рабочий процесс, чтобы перенести движение камеры из ссылочного видео на вашу сцену с помощью Uni3C.

Продвинутые советы:

• Соответствие направления движения: Лучшие результаты достигаются, когда направление движения в ссылочном видео совпадает с вашим предполагаемым составом сцены для **Uni3C.
• Координация запроса: Пишите запросы, которые дополняют стиль движения камеры для улучшенной согласованности с Uni3C.
• Качество ссылки: Выбирайте ссылочные видео с стабильными, четкими движениями камеры для оптимальных результатов с Uni3C.

3.2 Метод 2: Перенос движения человека

Лучше всего подходит для:

Перенос движений человека из ссылочных видео на различных персонажей с использованием Uni3C.

Процесс настройки:

1. Ссылочное видео с движением человека: Загрузите видео, содержащее движения человека, которые вы хотите перенести
2. Изображение целевого персонажа: Загрузите изображение персонажа, которого вы хотите анимировать
3. Управление движением через запросы:
   • Сохранение оригинального движения: Используйте общие описания, такие как "женщина идет", чтобы сохранить ссылочное движение с Uni3C.
   • Изменение действий: Будьте конкретными, чтобы изменить движения: "женщина расчесывает волосы" изменит жесты рук, сохраняя общий поток движения с Uni3C.

Основные преимущества:

• Без скелета: В отличие от традиционного захвата движения, Uni3C понимает движение человека без сложного риггинга.
• Сохранение деталей: Uni3C сохраняет аксессуары, прически и детали одежды во время переноса движения.
• Одновременное управление: Как движение камеры, так и движение человека переносятся вместе из одного и того же ссылочного видео с использованием Uni3C.

Архитектура оптимизации производительности: Рабочий процесс Uni3C реализует несколько стратегий оптимизации, включая уменьшение скрытого размера с 5120 до 1024 в PCDController, нулевую инициализацию линейных проекционных слоев и инъекцию функций управления камерой только в первые 20 слоев базовой модели. Оптимизация соответствия потока с уменьшенными шагами выборки (10 против 20+) и настроенными масштабами направляющих CFG обеспечивает до 4x улучшение скорости обработки в Uni3C при сохранении качества генерации.

3.3 Оптимизированные настройки производительности

Конфигурация увеличения скорости в 4 раза: На основе встроенных оптимизаций Uni3C, следующие настройки обеспечивают значительно более быструю обработку:

Настройки узла WanVideo Sampler:

• Steps: 10 (уменьшено с 20+ по умолчанию)
• CFG: 1.0-1.5 (оптимизировано для баланса скорости и качества)
• Shift: 5.0-7.0 (автор рекомендует 7 для лучших результатов, 5 для более быстрой обработки с Uni3C)
• Scheduler: UniPC (оптимизированный планировщик для Uni3C)

Ключевые особенности производительности:

• Интеграция AnimateDiff: Uni3C использует оптимизации AnimateDiff, изначально разработанные для текстов-видео, но эффективные для генерации изображений-видео.
• Уменьшение параметров: Поскольку генерация изображений-видео начинается с существующего визуального контента, требуется меньше шагов понижения шума по сравнению с генерацией текстов-видео с Uni3C.
• Оптимизированная обработка: Uni3C позволяет завершить создание 70-кадрового видео за ~4-5 минут (против ~27 минут с исходными настройками).

Опции качества против скорости:

• Максимальная скорость: Steps=10, CFG=1.0, Shift=5 → ~4 минуты для 70 кадров с Uni3C
• Сбалансировано: Steps=10, CFG=1.5, Shift=7 → ~5 минут для 70 кадров с Uni3C
• Высокое качество: Steps=15, CFG=2.0, Shift=7 → ~8-10 минут для 70 кадров с Uni3C

3.4 Понимание компонентов рабочего процесса

Секция обработки ссылочных видео:

• Load Video (Upload): Принимает MP4, AVI и другие стандартные видеоформаты для ссылочного материала движения в Uni3C.
• WanVideo Encode: Обрабатывает ссылочное видео для извлечения траекторий камеры и паттернов движения для Uni3C.
• Uni3C ControlNet Loader: Загружает специализированную модель управления Uni3C для понимания движения.

Секция генерации изображений-видео:

• Load Image: Ваше целевое изображение, которое будет анимировано с помощью ссылочного движения от Uni3C.
• WanVideo Image/ToVideo Encode: Конвертирует ваше статическое изображение в формат, подходящий для генерации видео с помощью Uni3C.
• WanVideo Sampler: Основной двигатель генерации с оптимизированными настройками для увеличения скорости в 4 раза в Uni3C.

Обработка вывода:

• WanVideo Decode: Преобразует сгенерированное латентное видео обратно в формат, пригодный для просмотра, от Uni3C.
• Video Combine: Собирает итоговый видеофайл с правильной частотой кадров и кодированием от Uni3C.

4. Продвинутые советы и лучшие практики

Выбор ссылочных материалов для Uni3C

• Для переноса движения: Выбирайте видео с четкими, видимыми движениями, где человек в основном остается в кадре для Uni3C.
• Для управления камерой: Любое видео с интересной перспективой или желаемым движением камеры для Uni3C.
• Лучшие результаты: Когда направление ссылочного движения совпадает с вашим предполагаемым выходным направлением с Uni3C.

Лучшие практики инженерии запросов для Uni3C

• Принцип "Не беспокоить": Для чистого переноса движения без изменений персонажа используйте простые, общие запросы с Uni3C.
• Изменения конкретных действий: Будьте детализированы, когда хотите изменить, что делает персонаж с Uni3C.
• Согласованность персонажей: Сосредоточьтесь на сохранении внешнего вида персонажа с Uni3C.

Оптимизация качества для Uni3C

• Согласованность движения: Избегайте резких изменений в ссылочных видео для более плавных результатов с Uni3C.
• Стабильность кадров: Убедитесь, что ссылочные материалы имеют постоянное освещение и кадрирование для Uni3C.

5. Признания

Этот рабочий процесс поддерживается Uni3C, разработанным DAMO Academy (Alibaba Group), Fudan University и Hupan Lab. Интеграция ComfyUI основана на отличной работе kijai (), с дополнительными оптимизациями и дизайном рабочего процесса, чтобы сделать эту мощную технологию Uni3C доступной для создателей по всему миру.