MOSS-Image Управление позой изображения ComfyUI: Генерация изображений с переносом позы по подсказке#
MOSS-Image Управление позой изображения ComfyUI создает новые, фотореалистичные изображения, которые следуют полной позе тела загруженной референсной фотографии, в то время как вы свободно изменяете объект, одежду и обстановку с помощью подсказки. Он извлекает чистый скелет с помощью DWPose и управляет генерацией с использованием легкого LoRA для редактирования позы, настроенного на MOSS-Image SFT, избегая тяжелых контрольных точек ControlNet.
Этот рабочий процесс идеально подходит для художественного направления, маркетинговых визуализаций и спортивных или исполнительских сцен, где размещение конечностей должно выглядеть естественно. В тестировании он воспроизводил сложные позы, такие как выпад в фехтовании, прыжок в балете, спортивный прыжок и выступление на скрипке с убедительной анатомией и четкими силуэтами.
Ключевые модели в рабочем процессе MOSS-Image Управление позой изображения ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. Базовый генератор изображений, который интерпретирует ваш текстовый запрос и создает финальное изображение; он служит основой, которую модулирует LoRA для контроля позы. Model card
- MOSS-Image LoRA для контроля позы от thedeoxen. Компактная LoRA для редактирования, которая вводит сильное следование позе в MOSS-Image-SFT без необходимости в отдельном ControlNet. Repository
- DWPose. Высококачественный детектор ключевых точек, используемый здесь для извлечения ориентиров тела, лица и рук из референсного изображения; препроцессор ComfyUI взят из пакета ControlNet Auxiliary. DWPose repo · ComfyUI node
Как использовать рабочий процесс MOSS-Image Управление позой изображения ComfyUI#
График следует четкому пути от вашего референсного изображения и подсказки до результата, соответствующего позе. Этапы ниже соответствуют ключевым группам узлов, с которыми вы будете взаимодействовать чаще всего.
Референсная поза и размеры#
Загрузите ваше референсное фото с помощью LoadImage (#1). Препроцессор DWPose pose control (#2) извлекает чистый скелет по кадру, включая необязательные ключевые точки лица и рук для выразительных снимков. Используйте предварительный просмотр Control (#13), чтобы убедиться, что извлеченная поза выглядит правильно и полностью захватывает предполагаемый жест. GetImageSize (#7) передает референсную ширину и высоту на холст, чтобы генерация автоматически соответствовала вашему исходному кадрированию.
Условие подсказки с MOSS-Image Edit#
Опишите новый объект, одежду, освещение и окружение в Text Encode MOSS-Image Edit (positive) (#8). Типичные фразы, такие как "фотография в полный рост в кинематографическом стиле", детали одежды и подсказки окружения работают хорошо. Используйте Text Encode MOSS-Image Edit (negative) (#9), чтобы исключить дефекты и стили, которые вы не хотите. Оба кодировщика получают одно и то же изображение позы от pose control, поэтому модель встраивает ограничение позы прямо в кондиционирование, при этом все еще подчиняясь вашему тексту.
Базовая модель и LoRA для контроля позы#
UNETLoader (#3) загружает базовую модель MOSS-Image-SFT. pose control LoRA (#4) применяется сверху, чтобы перевести обнаруженный скелет в сильное следование позе во время генерации. Если результат слишком жесткий или слишком свободный, отрегулируйте силу LoRA: более высокие значения фиксируют тело ближе к референсной позе, более низкие значения позволяют больше свободы, при этом все еще склоняя композицию.
Сэмплинг и декодирование#
EmptyLatentImage (#10) инициализирует латентный холст в разрешении референса. KSampler (#11) синтезирует изображение из вашего кондиционирования; сэмплер, планировщик, шаги, руководство, зерно и денойз вместе обмениваются скоростью, точностью и вариативностью. Установите фиксированное зерно, чтобы воспроизводить отличный результат, или измените его для свежих вариаций, которые сохраняют ту же позу и намерение сцены. VAEDecode (#12) преобразует латентное в RGB, и финальное изображение появляется в Result (#14).
Ключевые узлы в рабочем процессе MOSS-Image Управление позой изображения ComfyUI#
pose control (#2)#
Это препроцессор DWPose, который находит тело, лицо и руки и создает карту позы, используемую для руководства. Включите лицо и руки, когда жесты или выражения важны; отключите их для дальних или быстрых действий, чтобы упростить контроль. Если части скелета выглядят обрезанными, увеличьте или перекадрируйте референс, чтобы полная фигура была внутри кадра. Более высокое разрешение препроцессинга улучшает точность конечностей, но увеличивает вычисления; сбалансируйте это с вашим целевым размером выхода.
Text Encode MOSS-Image Edit (positive) (#8)#
Кодирует ваше творческое задание и изображение позы в вектор кондиционирования, который MOSS-Image-SFT следует во время сэмплинга. Пишите конкретные, учитывающие камеру подсказки, которые упоминают тип снимка, гардероб, материалы и освещение. Вход изображения закрепляет расположение тела; текст управляет идентичностью, одеждой и окружением. Если мелкие текстуры ускользают, укрепите описательные существительные и материалы; если кажется, что это слишком ограничено, уменьшите влияние изображения.
pose control LoRA (#4)#
Применяет LoRA для контроля позы MOSS-Image, которая склоняет генерацию к извлеченному скелету. Увеличьте ее силу для точного размещения конечностей или уменьшите, чтобы позволить модели слегка переосмыслить стойку, сохраняя общий жест. Сочетайте изменения силы LoRA с небольшими доработками подсказок, чтобы сохранить ваш предполагаемый силуэт, улучшая стиль.
KSampler (#11)#
Управляет шагами диффузии, которые превращают кондиционирование в пиксели. Используйте воспроизводимое зерно при исследовании доработок подсказок, чтобы поза и композиция оставались сравнимыми. Протестированные по умолчанию 30 шагов, CFG 4, простое/Эйлерово сэмплирование и денойз 1.0. Измените зерно для вариаций, сохраняя фиксированную референсную позу и подсказку; настраивайте другие параметры сэмплинга только после сравнения базового результата.
Дополнительные советы#
- Стремитесь к референсу в полный рост с четким разделением конечностей; загруженные фоны или сильное размытие движения могут помешать DWPose.
- Держите масштаб субъекта схожим между референсом и желаемым выходом; холст автоматически подстраивается по размеру, но экстремальные изменения масштаба снижают точность.
- Когда руки или инструменты важны (например, выступление на скрипке), включите лицо и руки в
pose control, чтобы захватить кончики пальцев и хватку. - Для спортивных сцен, таких как прыжок в балете или прыжок, добавьте подсказки действия в подсказку (пыль, следы движения, ветер), чтобы подчеркнуть позу, не изменяя размещение конечностей.
- Генерируйте последовательные вариации, изменяя только зерно; переключайте одежду, время суток или местоположение в тексте, пока поза тела остается неизменной.
Признания#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим thedeoxen за LoRA для контроля позы MOSS-Image, OpenMOSS-Team за базовую модель MOSS-Image-SFT и Fannovel16 за узел препроцессора DWPose за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- thedeoxen/MOSS-Image-pose-controlnet
- Hugging Face: thedeoxen/MOSS-Image-pose-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux (DWPose preprocessor node)
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими.