Что такое PhotoMakerV2
PhotoMakerV2, обновление от PhotoMaker, предлагает эффективный метод персонализированной генерации изображений по тексту. Он синтезирует реалистичные фотографии людей, используя несколько входных изображений личности и текстовую подсказку.
Некоторые ключевые особенности PhotoMakerV2:
- Высокая эффективность: Быстро создаёт персонализированные фотографии.
- Отличное сохранение личности: Сохраняет сходство с входными личностями.
- Гибкое управление текстом: Позволяет указывать контекст, стиль, атрибуты и т.д. в подсказке.
- Улучшенная точность идентификации: Улучшена по сравнению с PhotoMaker V1.
PhotoMakerV2 создаёт фотореалистичные изображения человека в различных контекстах, стилизует внешность, изменяет атрибуты, такие как возраст и пол, объединяет личности и модернизирует людей с старых фотографий или произведений искусства. Он открывает множество творческих возможностей.
Как работает PhotoMakerV2
PhotoMakerV2 кодирует одно или несколько входных изображений личности в "stacked ID embedding", служащее унифицированным представлением, заключающим в себе информацию о личности.
Эта embedding, комбинированная с текстовой подсказкой, подаётся в модель диффузии текст-изображение. Модель затем создаёт изображение, изображающее встроенную личность в контексте, описанном в подсказке.
Некоторые ключевые аспекты работы:
- Использует энкодер личности для извлечения информации о личности из входных изображений лиц
- Улучшает сохранение личности с помощью внешней модели распознавания лиц (InsightFace)
- Кодирует несколько изображений личности в stacked embedding для всестороннего захвата личности
- Подаёт stacked ID embedding в кросс-аттенционные слои модели диффузии
- Управляет генерацией с помощью текстовой подсказки, адаптивно объединяя информацию о личности
- Обучена на датасете, ориентированном на идентификацию, чтобы улучшить способности к идентификации
Как использовать ComfyUI PhotoMakerV2
Чтобы использовать PhotoMakerV2 в ComfyUI, в основном взаимодействуйте с узлом PhotoMakerEncodePlus. Типичный рабочий процесс включает:
- Загрузите модель PhotoMakerV2, используя узел "PhotoMaker Loader Plus".
- Загрузите одно или несколько изображений личности, используя узел "Prepare Images For CLIP Vision".
- Загрузите модель InsightFace, необходимую для PhotoMakerV2, используя узел "PhotoMaker InsightFace Loader".
- Подключите выходы этих узлов к соответствующим входам узла "PhotoMaker Encode Plus".
- В узле "PhotoMaker Encode Plus" укажите подсказку, описывающую желаемое изображение. Используйте специальное триггерное слово в подсказке, где должна появиться личность.
- Подключите выходное кондиционирование от узла "PhotoMaker Encode Plus" к узлу "KSampler" для генерации изображения.
Для получения дополнительной информации посетите PhotoMaker Hugging Face и ComfyUI-PhotoMaker-Plus. Все заслуги принадлежат их авторам.
