DreamID-Omni рабочий процесс создания говорящих видео для одного и двух персонажей в ComfyUI
Этот рабочий процесс превращает одно референсное фото и аудиоклип в видео с говорящей головой, сохраняющее идентичность. Управляется моделью DreamID-Omni, которая сочетает современную видеоподложку с движением губ, управляемым MMAudio, чтобы субъект говорил естественно, сохраняя лицо с вашего изображения. Он также поддерживает двух персонажей, позволяя создавать диалоговые клипы бок о бок, управляемые двумя голосами.
Разработан для создателей, продуктовых команд и исследователей, рабочий процесс DreamID-Omni в ComfyUI идеально подходит для цифровых аватаров, персонализированных объявлений, вводных уроков и сцен диалогов AI. Вы предоставляете фотографии и аудио, при необходимости описываете кадр в коротком запросе, и график рендерит готовое к обмену видео.
Основные модели в рабочем процессе Comfyui DreamID-Omni
- DreamID-Omni. Основной модуль идентичности, который сохраняет человека на вашем референсном изображении в кадрах, отвечая на аудио для реалистичных движений губ. Смотрите официальный репозиторий и веса для подробностей: DreamID-Omni и DreamID-Omni на Hugging Face.
- Wan 2.2 генерация видео. Высокоемкая диффузионная видеоподложка, которая синтезирует согласованные движения, освещение и композицию кадра, в то время как DreamID-Omni руководит идентичностью лица.
- MMAudio. Модель представления аудио, которая задает формы рта и тонкие лицевые сигналы, чтобы совпадать с предоставленной речью, улучшая реализм синхронизации губ.
Как использовать рабочий процесс Comfyui DreamID-Omni
Этот график имеет две параллельные траектории. Путь для одного человека использует одно изображение и одно аудио. Путь для двух людей использует два изображения и два аудио для создания диалогового клипа. Общий загрузчик DreamID-Omni инициализирует конвейер для обоих.
Персонаж №1
Используйте Load Reference Image (Person 1) (#6), чтобы выбрать четкий, фронтально-ориентированный портрет с равномерным освещением и минимальными преградами. Используйте Load Reference Audio (Person 1) (#7), чтобы предоставить речь, которую вы хотите, чтобы персонаж произнес. Более чистое аудио дает лучшую синхронизацию губ, поэтому предпочитайте речь без музыки или сильного фонового шума. Эта пара используется в обоих режимах: для одного человека и, когда включена, для левого или первого субъекта в режиме для двух людей.
Персонаж №2
Используйте Load Reference Image (Person 2) (#9) и Load Reference Audio (Person 2) (#11) при создании диалога. Выберите фото, которое соответствует кадрированию Персонажа 1, чтобы сохранить баланс композиции. Убедитесь, что второе аудио похоже по громкости на первое, чтобы избежать резких перцептивных сдвигов. Если вы создаете клип только для одного человека, вы можете игнорировать эту группу.
Видео для 1 человека
Траектория одного оратора управляется ComfyUI DreamID-Omni Sampler (#21). Она объединяет конвейер DreamID-Omni с фото и аудио Персонажа 1, затем рендерит кадр, согласующийся с вашим кратким описанием сцены в поле запроса узла. Держите ваш запрос кратким и практичным, например, описывая фон, расстояние камеры и манеру поведения. Результат записывается 💾 Save Video (Single Person) (#4), который именует и экспортирует файл для вас.
Видео для 2 человек
Диалоговая траектория использует ComfyUI DreamID-Omni Sampler (#22), чтобы составить два идентичности в одном кадре и управлять каждым ртом с его парным аудио. Предоставьте короткий запрос, чтобы задать окружающую среду и стиль взаимодействия, например, рабочее пространство, непринужденный тон или кто говорит первым. Это помогает стабилизировать расположение камеры и жесты, в то время как DreamID-Omni и MMAudio сохраняют идентичность и выравнивание губ. Клип экспортируется 💾 Save Video (Two Persons) (#5).
Общий конвейер DreamID-Omni
ComfyUI DreamID-Omni Loader (#23) инициализирует компоненты DreamID-Omni, используемые обоими путями. Обычно здесь не нужно ничего настраивать. Пока доступны веса и узел ComfyUI, загрузчик подготавливает конвейер, чтобы сэмплеры могли рендерить.
Основные узлы в рабочем процессе Comfyui DreamID-Omni
ComfyUI DreamID-Omni Loader (#23)
Инициализирует конвейер DreamID-Omni и делает его веса доступными для последующих сэмплеров. Здесь нет типичных пользовательских вводов. Если вы поддерживаете несколько вариантов модели, убедитесь, что установлены правильные веса перед постановкой рендеров в очередь.
ComfyUI DreamID-Omni Sampler (#21)
Отрисовка для одного человека. Этот узел объединяет конвейер загрузчика с первым референсным изображением и аудио, чтобы синтезировать говорящую голову, сохраняющую идентичность. Поле запроса — это место, где вы определяете сцену и манеру поведения; семя контролирует повторяемость; разрешение определяет кадрирование и детали лица; и шаги меняют скорость на точность. Для получения стабильных результатов между дублями, используйте одно и то же семя и минимизируйте изменения запроса.
ComfyUI DreamID-Omni Sampler (#22)
Отрисовка для двух человек. Этот экземпляр принимает два фото и два аудио, связывая каждый голос с его субъектом для синхронизированного движения губ. Запрос может сценарировать разговор и расположение камеры. Настройте семя и разрешение, как и в режиме для одного человека, и убедитесь, что оба аудио обрезаны до желаемого времени перед рендерингом.
💾 Save Video (Single Person) (#4)
Записывает выходные данные для одного оратора на диск. Установите папку или базовое имя, чтобы поддерживать организованность версий. Если доступно, оставьте параметры кодека и частоты кадров на автоматическом режиме, когда вы не уверены.
💾 Save Video (Two Persons) (#5)
Записывает выходные данные диалога на диск. Используйте уникальное базовое имя, чтобы клипы для одного и двух человек было легко различать. Сохраняйте автоматические настройки экспорта для надежности, если у вас нет конкретных требований к доставке.
Дополнительные параметры
- Держите лица достаточно крупными на референсных изображениях, чтобы они занимали значительную часть кадра для более сильной фиксации идентичности.
- Используйте чистое, хорошо уровнянное аудио речи. Обрежьте паузы в начале, чтобы избежать замороженных губ в начале.
- Для более устойчивого вида используйте одно и то же семя при итерациях на запросах или нарядах.
- Если расстояние между двумя персонажами кажется тесным, переформулируйте запрос, чтобы расширить камеру или увеличить пространство для плеч, а не обрезать лица.
- Для активов и обновлений смотрите официальную модель и узел: DreamID-Omni, ComfyUI_RH_Dreamid-Omni, и DreamID-Omni weights.
Благодарности
Этот рабочий процесс реализует и строится на следующих работах и ресурсах. Мы выражаем благодарность Guoxu1233 за модель/рабочий процесс DreamID-Omni, HM-RunningHub за узел ComfyUI DreamID-Omni, и XuGuo699 за веса модели DreamID-Omni за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Ресурсы
- Официальный репозиторий DreamID-Omni - https://github.com/Guoxu1233/DreamID-Omni
- GitHub: Guoxu1233/DreamID-Omni
- Узел DreamID-Omni ComfyUI (RunningHub) - https://github.com/HM-RunningHub/ComfyUI_RH_Dreamid-Omni
- Веса модели DreamID-Omni (Hugging Face) - https://huggingface.co/XuGuo699/DreamID-Omni
- Hugging Face: XuGuo699/DreamID-Omni
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.
