ComfyUI Phantom: Subject to Video

ComfyUI Phantom — это мощная модель генерации видео с согласованными объектами, интегрированная в рабочую среду ComfyUI. Эта реализация ComfyUI Phantom позволяет создавать видео высокого качества с сохранением идентичности из одного или нескольких референсных изображений, управляемых описательными текстовыми запросами в знакомом интерфейсе ComfyUI.

Основанная на передовых архитектурах текстово-видео и изображение-видео, ComfyUI Phantom специализируется на создании человеческо-центричных движений, сохраняя идентичность объекта. Через унифицированный подход ввода текст-изображение, ComfyUI Phantom достигает точного кросс-модального выравнивания, обеспечивая выразительные, согласованные по кадрам выходные данные, которые соответствуют структуре и внешнему виду предоставленных референсов.

Почему использовать ComfyUI Phantom?

ComfyUI Phantom предлагает:

• Генерация на основе референсов: Введите одно или несколько референсных изображений, чтобы задать внешний вид объекта в рабочих процессах ComfyUI Phantom
• Управление запросами + изображениями: Смешивайте креативные текстовые описания с точностью изображения, используя узлы ComfyUI Phantom
• Сохранение идентичности: ComfyUI Phantom поддерживает согласованность объекта между кадрами
• Поддержка нескольких объектов: Генерируйте видео с несколькими объектами из входных референсов, используя ComfyUI Phantom
• Интеграция с ComfyUI: Бесшовно интегрируется с существующими рабочими процессами и пользовательскими узлами ComfyUI
• Идеально для создателей: Подходит для VTubers, создателей стилизованных персонажей и художников нарративного видео, использующих ComfyUI Phantom

Будь то анимация персонажей или генерация движения AI на основе референсов, ComfyUI Phantom предоставляет гибкий и мощный набор инструментов для визуального повествования в экосистеме ComfyUI.

1 - Референсы в ComfyUI Phantom

Первый раздел обрабатывает загрузку референсов для вашей настройки ComfyUI Phantom:

Загрузите здесь своё управляющее референсное изображение в рабочем процессе ComfyUI Phantom. Вы можете загрузить максимум 4 референсных изображения в соответствующей группе. По умолчанию в ComfyUI Phantom включены 2, вы можете включить ещё 2, размьютив их.

Вы также должны включить их в узле Image concate multi, чтобы увидеть обновление сравнения в выходном видео сравнения.

2 - Настройки разрешения и продолжительности для ComfyUI Phantom

Введите совместимое с wan 2.1 разрешение и продолжительность в кадрах в этих узлах ComfyUI Phantom.

3 - Конфигурация запросов в ComfyUI Phantom

Введите ваши запросы для генерации видео ComfyUI Phantom:

• Положительный запрос: Опишите, что вы хотите, чтобы Phantom сгенерировал, что также соответствует содержимому загруженного референсного изображения
• Отрицательный запрос: Опишите, чего Phantom должен избегать (например, "размытость, низкое качество, артефакты")

4 - KSampler и вывод в ComfyUI Phantom

• Настройки Sampler: Выберите тип сэмплера (например, DPM++, Euler и т.д.), шаги и семя для генерации Phantom
• Вывод: Сгенерированное изображение появится в просмотрщике вывода Phantom и будет сохранено в папке вывода
• Загрузить модель ComfyUI Phantom: В узле выбора модели Phantom вы можете выбрать между моделью ComfyUI Phantom 1.3B или 14B

Сгенерированное видео будет сохранено в папке вывода в вашей установке ComfyUI.

Преимущества рабочего процесса ComfyUI Phantom

ComfyUI Phantom предоставляет несколько преимуществ для генерации видео:

• Интерфейс на основе узлов: Используйте интуитивно понятную систему узлов ComfyUI для рабочих процессов ComfyUI Phantom
• Настройка рабочего процесса: Изменяйте и расширяйте рабочие процессы ComfyUI Phantom для удовлетворения специфических нужд
• Контроль параметров: Тонко настраивайте генерацию ComfyUI Phantom с помощью точных регулировок параметров
• Пакетная обработка: Эффективно обрабатывайте несколько референсных изображений с помощью ComfyUI Phantom
• Поддержка сообщества: Получайте доступ к общим рабочим процессам ComfyUI Phantom и модификациям сообщества

Благодарности

ComfyUI Phantom основан на модели генерации видео Wan 2.1, используя систему узлов Wan Video Wrapper в ComfyUI. Основные узлы и архитектура были разработаны , позволяя генерацию видео на основе референсов с сохранением идентичности в ComfyUI. Этот рабочий процесс ComfyUI Phantom был бы невозможен без фундаментальной работы над Wan 2.1 и пользовательских инструментов ComfyUI, которые его подпитывают.

Информация о модели ComfyUI Phantom

• Источник -
• Реализация ComfyUI: https://huggingface.co/Kijai/WanVideo_comfy/tree/main
• Архитектура: Многосторонний ввод для ComfyUI Phantom
• Расположение модели: comfyui/models/diffusion_models
• Совместимость с ComfyUI: Полностью интегрирован с системой рабочих процессов ComfyUI