Точное редактирование портретов с контролем выражений PixelSmile
Этот рабочий процесс ComfyUI предоставляет тонкое управление выражениями PixelSmile на основе Qwen Image Edit. Он позволяет изменять лицо от нейтрального до специфических эмоций и смешивать между ними, сохраняя идентичность и композицию. Типичные случаи использования включают тонкую ретушь для портретов, исследование эмоциональных вариаций персонажа и создание контролируемых миксов выражений на одном холсте.
Под капотом график кодирует нейтральные и целевые подсказки с помощью редактора Qwen, вычисляет дельты PixelSmile для изоляции изменений выражений, смешивает несколько целей, затем выполняет выборку с легким Lightning LoRA для быстрых, стабильных результатов. Вы получаете предсказуемый контроль над счастливыми, удивленными, нейтральными или любыми другими поддающимися подсказкам выражениями без изменения структуры сцены.
Ключевые модели в рабочем процессе Comfyui для тонкого управления выражениями PixelSmile
- Qwen-Image-Edit-2511. Диффузионная основа для редактирования изображений, сохраняющая макет и идентичность во время редактирования. Она расширяет Qwen-Image для структурно-осведомленных, локализованных модификаций и стабильных изменений, обусловленных текстом. Model card
- Qwen2.5-VL-7B-Instruct. Модель текст-визуализация, используемая здесь как кодировщик подсказок для создания надежных условий редактирования из коротких, естественных фраз. Model card
- PixelSmile LoRA. LoRA, сфокусированная на выражениях, которая обеспечивает линейные изменения лица с контролем интенсивности, согласованные с семантикой подсказок. См. открытые веса и ресурсы проекта. Hugging Face Paper
- Qwen-Image-Edit-2511-Lightning LoRA. Оптимизированная по скорости LoRA, которая позволяет выполнять высококачественные редактирования за очень небольшое количество шагов, идеально подходящие для интерактивного исследования выражений. Model card
Как использовать рабочий процесс Comfyui для тонкого управления выражениями PixelSmile
Процесс берет исходный портрет, строит нейтральные и целевые условия выражений, вычисляет дельты PixelSmile, смешивает несколько целей, затем выполняет выборку и декодирует результат. Редактируйте подсказки в узлах кодировщика, регулируйте интенсивность и смешивание PixelSmile и предварительно просматривайте результат.
Загрузите исходный портрет и установите рабочий размер
- Используйте
LoadImage(#129) для загрузки вашего портрета. Изображение подается как в кодировщики, так и в зонд размера, чтобы график мог рендерить в оригинальном разрешении. GetImageSize+(#257) считывает ширину и высоту, аEmptySD3LatentImage(#119) выделяет латент того же размера. Это сохраняет кадрирование и композицию стабильными на протяжении всего процесса выборки.
Описывайте нейтральные и целевые выражения
TextEncodeQwenImageEditPlus(#248) кодирует нейтральное описание (например, "нейтральное выражение"), связанное с исходным изображением. Это становится вашим эталонным состоянием.- Создайте одно или несколько целевых описаний в
TextEncodeQwenImageEditPlus(#113, #260), таких как "счастливое выражение" или "удивленное выражение". Каждое целевое описание использует то же исходное изображение, что закрепляет идентичность и позу. - Подсказки могут быть короткими и естественными. Кодировщик использует Qwen2.5-VL-7B-Instruct для создания условий редактирования, адаптированных к Qwen-Image-Edit-2511.
Вычисляйте дельты PixelSmile для точного контроля
- Для каждой цели
PixelSmileConditioning(#249, #259) берет целевое условие и нейтральное условие, затем вычисляет дельту, которая изолирует только изменение выражения лица. - Узел предоставляет контроль над силой, который линейно масштабирует интенсивность выражения. Он также поддерживает метод, ограничивающий интерполяцию словом выражения, что помогает избежать нежелательных изменений за пределами области лица.
Смешивайте несколько выражений
ConditioningAverage(#261) смешивает два вывода PixelSmile в одно положительное условие. Используйте его для смешивания, например, 40% удивления с 60% счастья для сложных эмоций.ConditioningZeroOut(#231) обеспечивает чистый негатив, обнуляя остаточное руководство. Это позволяет сосредоточить редактирование и уменьшить дрейф.
Выборка с помощью Qwen Image Edit и Lightning
- Стек модели загружает Qwen-Image-Edit-2511 UNet, применяет PixelSmile LoRA, затем накладывает Lightning LoRA для быстрых, стабильных шагов (
UNETLoader(#244) →LoraLoaderModelOnly(#250, #251) →ModelSamplingAuraFlow(#118)). KSampler(#133) выполняет денойзинг, используя смешанные положительные и обнуленные негативные условия. Lightning LoRA позволяет получать отзывчивые предварительные просмотры с небольшим количеством шагов, что идеально при итерации по интенсивности и смешиванию PixelSmile.
Декодируйте и предварительно просматривайте
VAEDecode(#120) преобразует конечный латент обратно в изображение, аPreviewImage(#134) отображает результат. Поскольку размер латента соответствует исходному, результат сохраняет композицию и соотношение сторон.
Ключевые узлы в рабочем процессе Comfyui для тонкого управления выражениями PixelSmile
PixelSmileConditioning (#249)
Вычисляет дельту выражения между целевой подсказкой и нейтральным базовым состоянием, затем масштабирует её для контроля интенсивности. Настройте score, чтобы увеличить или смягчить сдвиг выражения. Переключатель method позволяет интерполировать по всем токенам для более широких стилистических изменений или ограничить интерполяцию токеном выражения для более точного контроля лица, что часто лучше сохраняет волосы и фон. См. реализацию узла для деталей. GitHub
PixelSmileConditioning (#259)
Вторая инстанция, которая позволяет установить параллельную цель (например, "удивлённый") против того же нейтрального базового состояния. Используйте это для настройки треков A/B выражений, которые вы можете смешивать. Держите оба значения score PixelSmile умеренными, если планируете их смешивать, так как экстремальные настройки на обоих треках могут отменить или переработать результат.
ConditioningAverage (#261)
Смешивает два условия PixelSmile в одно положительное условие. Увеличьте вес в сторону выражения, которое вы хотите доминировать, или установите полностью на одну сторону для чистого пробега одного выражения. При создании нюансированных эмоций начните с почти равного разделения, затем смещайте небольшими шагами, пока микро-функции, такие как брови и углы рта, не будут выглядеть естественно.
TextEncodeQwenImageEditPlus (#113)
Создаёт условия редактирования из коротких подсказок и входного изображения, используя Qwen2.5-VL-7B-Instruct в качестве кодировщика для Qwen-Image-Edit-2511. Держите фразы краткими и специфичными для эмоции. Использование одного и того же исходного изображения для нейтральных и целевых кодировщиков является ключом к сохранению идентичности.
KSampler (#133)
Выполняет денойзинг с использованием стеков Qwen-Image-Edit и Lightning LoRA. Используйте его в основном для контроля общего количества итераций и изменчивости, пока вы настраиваете интенсивность и смешивание PixelSmile. Если появляются артефакты, сначала уменьшите score PixelSmile перед увеличением шагов.
Дополнительные параметры
- Держите слова выражения явными, например "тонкое счастливое выражение" или "легкое удивление", чтобы сместить дельты PixelSmile к микро-выражениям.
- Если изменения лица проникают в волосы или фон, переключите метод PixelSmile на интерполяцию, ограниченную токенами, и немного уменьшите
score. - Обрежьте изображение вокруг лица перед редактированием, если выражения кажутся слабыми, затем примените к полному изображению, когда найдете подходящую настройку.
- Для скорости предварительного просмотра итерации с Lightning LoRA и низкими шагами, затем увеличивайте шаги только для окончательного экспорта, если необходимо.
Ссылки на модели и ресурсы проекта:
- проект и веса PixelSmile: Hugging Face и статья PixelSmile: Toward Fine-Grained Facial Expression Editing
- узел PixelSmile ComfyUI: GitHub
- Qwen-Image-Edit-2511: Hugging Face
- Qwen2.5-VL-7B-Instruct: Hugging Face
- Qwen-Image-Edit-2511-Lightning: Hugging Face
Благодарности
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим сообщество r/StableDiffusion за исходный пост, PixelSmile за модель PixelSmile и judian17 за узел ComfyUI PixelSmile Conditioning Interpolation за их вклад и поддержку. Для получения авторитетной информации, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведённым ниже.
Ресурсы
- r/StableDiffusion/Source post
- Документы / Примечания к выпуску: Reddit post
- PixelSmile/PixelSmile
- Hugging Face: PixelSmile/PixelSmile
- judian17/ComfyUI-PixelSmile-Conditioning-Interpolation
Примечание: Использование указанных моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.
