ComfyUI Nvidia Cosmos Text & Image to Video Workflow

Что такое рабочий процесс Nvidia Cosmos

Преобразуйте свое воображение в плавные видео, используя недавно выпущенные модели Nvidia Cosmos в ComfyUI. Этот рабочий процесс демонстрирует мощные возможности AI Nvidia Cosmos с его функциями генерации видео из текста и изображений. Благодаря передовым моделям 7B и 14B от Nvidia Cosmos, вы можете создавать видео высокого качества из текстовых описаний или неподвижных изображений. Двигатель Nvidia Cosmos обеспечивает выдающиеся результаты благодаря своей ультраэффективной обработке видео.

Ключевые особенности Nvidia Cosmos

• Два режима генерации: Nvidia Cosmos предлагает как генерацию видео из текста, так и из изображений
• Гарантированное движение: Всегда генерирует видео с движением при использовании 121 кадра
• Эффективные отрицательные подсказки: Недистиллированная модель обеспечивает лучший контроль через отрицательные подсказки
• Гибкое управление изображением: Генерация из последнего кадра или создание переходов между изображениями
• Ультраэффективный VAE: Nvidia Cosmos использует усовершенствованную систему VAE для плавной генерации видео высокого качества
• Поддержка высокого разрешения: Создавайте видео с разрешением 704x704 и выше
• Точный контроль кадров: Оптимизирован для последовательностей из 121 кадра
• Умная интерполяция изображений: Создавайте плавные переходы между эталонными изображениями

Как использовать рабочий процесс Nvidia Cosmos

Рабочий процесс Nvidia Cosmos содержит две основные части: _генерация видео из текста_ и _генерация видео из изображений_. По умолчанию группа _генерации видео из изображений_ пропущена. Чтобы переключаться между двумя режимами:

• Для _генерации видео из текста_: Держите группу _генерации видео из изображений_ пропущенной (настройка по умолчанию)
• Для _генерации видео из изображений_: Щелкните правой кнопкой мыши по группе _генерации видео из изображений_ и выберите Set Group Nodes to Always

1. Генерация видео из текста с Nvidia Cosmos

Настройка и требования

• Выберите предпочтительный размер модели Nvidia Cosmos (рекомендуется 7B для начала)
  
• Установите разрешение (по умолчанию 1280x704; минимум 704x704)
• Настройки кадров:
  • Длина: 121 кадр (Модель работает оптимально с длиной 121; отклонение от этого может привести к некачественному видео.)
  • Частота кадров: 24.00 (по умолчанию для оптимального качества) <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme02.webp" alt="Nvidia Cosmos" width="350"/> <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme03.webp" alt="Nvidia Cosmos" width="350"/>

Параметры выборки для Nvidia Cosmos

• Выборщик: res_multistep (рекомендуемый выборщик Nvidia для Cosmos)
• Планировщик: karras (по умолчанию для стабильности)
• Шаги: 20 (больше = лучшее качество, но медленнее; меньше = быстрее, но менее детально)
• CFG: 6.5 (сила направляющей подсказки)
• Денойз: 1.00 (1.00 = полное преобразование; более низкие значения сохраняют больше оригинального контента)
  

Советы по подсказкам для Nvidia Cosmos

• Используйте подробные, многопредложные подсказки для лучших результатов
• Включайте подробные отрицательные подсказки
• Короткие подсказки могут создавать связные видео, но могут не строго следовать инструкциям

2. Генерация видео из изображений с Nvidia Cosmos

Настройка и требования

• Те же базовые требования, что и для Nvidia Cosmos текст-к-видео
• Поддерживает входы start_image и end_image

Опции эталонного изображения

• Установите start_image или end_image, или оба одновременно
• Изображения работают лучше, когда они похожи по стилю и содержанию (для плавных переходов)
  

Ключевые параметры

• Идентичные настройки выборки для режима текст-к-видео
• Поддерживает те же стандарты качества видео

Продвинутые советы для Nvidia Cosmos

• Для более качественных результатов с большим VRAM попробуйте модель Nvidia Cosmos 14B
• Убедитесь, что подсказки описательные и подробные для лучших результатов
• Экспериментируйте с различными парами изображений для уникальных переходов

Дополнительная информация о Nvidia Cosmos

Для получения более подробной информации и обновлений о Nvidia Cosmos посетите Nvidia Cosmos Official Page.