MOSS-Image Canny Control ComfyUI: Рестайлинг на основе контуров с использованием подсказок#
Этот рабочий процесс преобразует контуры из референсного фото в новое статичное изображение, управляемое текстовой подсказкой. Он сочетает базовую модель MOSS-Image-SFT с выделенной LoRA для управления Canny, чтобы обнаруженные контуры направляли композицию, в то время как подсказка определяет материалы, цвета и освещение. Это быстрый и надежный способ изменить стиль объектов, не теряя узнаваемые контуры.
MOSS-Image Canny Control ComfyUI идеально подходит для снимков продуктов, изучения окраски и отделки транспортных средств, а также архитектурных фасадов, где силуэт и компоновка должны оставаться неизменными. Вы предоставляете одно изображение и четкую подсказку; рабочий процесс сохраняет геометрию из карты контуров, предоставляя вам творческий контроль над отделкой и настроением.
Ключевые модели в рабочем процессе Comfyui MOSS-Image Canny Control ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. Модель изображения, обусловленная текстом, настроенная для надежного редактирования и генерации; она обеспечивает основное шумоподавление и понимание вашей подсказки, оставаясь чувствительной к структуре. Модельная карточка
- MOSS-Image Canny Control LoRA от thedeoxen. Легкий адаптер, который внедряет управление на основе Canny в MOSS-Image-SFT, чтобы сгенерированный контент следовал предоставленной карте контуров. Модельная карточка
Как использовать Comfyui MOSS-Image Canny Control ComfyUI#
На высоком уровне рабочий процесс извлекает контуры из вашей ссылки, кодирует ваши положительные и отрицательные подсказки с помощью редактора MOSS-Image, выполняет выборку с базовой моделью плюс Canny Control LoRA, затем декодирует в финальное изображение. Контрольное изображение задает структуру; подсказка задает внешний вид.
Загрузите референсное изображение (LoadImage (#1))#
Импортируйте одно хорошо экспонированное фото объекта в нужном кадрировании и соотношении сторон, которые вы хотите сохранить. Рабочий процесс рассматривает это как источник геометрии для изменения стиля. Чистые источники с четкими границами и минимальным размытием движения работают лучше всего.
Извлечение контуров Canny и предварительный просмотр (canny control (#2) и Control (#13))#
Рабочий процесс вычисляет карту контуров Canny из вашего фото с использованием дополнительного процессора ControlNet, чтобы только самые заметные контуры управляли композицией. Сильные контуры основного объекта будут приоритетными, в то время как мелкий шум будет подавлен. Вы можете предварительно просмотреть контрольное изображение, чтобы убедиться, что контуры соответствуют вашему намерению перед генерацией. Этот этап использует реализацию оператора Canny из набора ControlNet Auxiliary. См. репозиторий: comfyui_controlnet_aux.
Соответствие холста контрольному изображению (GetImageSize (#7) и EmptyLatentImage (#10))#
Ширина и высота холста выводятся из контрольного изображения, чтобы сохранить идеальные пропорции. Это выравнивание предотвращает искажение соотношения сторон и уменьшает дрейф композиции. Если вам нужно другое соотношение сторон, обрежьте референсное изображение перед его загрузкой, чтобы контроль и холст оставались синхронизированными.
Напишите ваши подсказки (Text Encode MOSS-Image Edit (positive) (#8) и Text Encode MOSS-Image Edit (negative) (#9))#
Опишите желаемые материалы, стиль, цвет, освещение и окружение в положительной подсказке. Редактор условий редактирования основывается как на вашем тексте, так и на контрольном изображении, чтобы изменения внешнего вида происходили, в то время как структура остается. Используйте отрицательную подсказку для подавления нежелательных артефактов, таких как нежелательный текст, низкое качество или элементы вне стиля. Условие редактирования изображения помогает поддерживать верность силуэта, даже когда ваша подсказка сильно стилизована.
Загрузите базовую модель и примените Canny Control LoRA (UNETLoader (#3) и canny control LoRA (#4))#
UNet из MOSS-Image-SFT предоставляет генеративную основу. Затем к модели применяется Canny Control LoRA, чтобы руководство по краям влияло на траекторию денойзинга. Вместе они объединяют структурный контроль из контуров с семантическим намерением вашей подсказки, позволяя выполнять верные рестайлинги без ручных масок.
Образец и декодирование (KSampler (#11) и VAEDecode (#12))#
Образец создает латентное изображение по вашим положительным и отрицательным условиям. Вы можете сохранить результаты повторяемыми с фиксированным семенем или исследовать альтернативы, изменяя его. После выборки VAE декодирует латенты в RGB-изображение для предварительного просмотра и экспорта. Если вы видите чрезмерную жесткость линий, ослабьте контроль, уменьшив влияние LoRA или увеличив творческую свободу во время выборки; если вы видите дрейф, сделайте наоборот.
Просмотр результата (Result (#14))#
Проверьте предварительный просмотр результата. Если силуэт правильный, но детали не соответствуют задаче, уточните положительную подсказку; если структура дрейфует, усилите структурный контроль или упростите подсказку. Повторяйте, пока материалы, настроение и геометрия не достигнут вашей цели.
Ключевые узлы в рабочем процессе Comfyui MOSS-Image Canny Control ComfyUI#
canny control (#2)#
Создает карту контуров, которая служит структурным приоритетом для всего запуска. Настройка низких и высоких порогов изменяет, какие контуры остаются: более высокие пороги подчеркивают основные контуры, более низкие допускают более тонкие детали. Используйте предварительный просмотр, чтобы убедиться, что контуры захватывают силуэт объекта без загромождения. Ссылка на реализацию: comfyui_controlnet_aux.
canny control LoRA (#4)#
Применяет Canny Control LoRA к базовой модели, чтобы сэмплер следовал карте контуров. Увеличьте силу LoRA, когда вам нужно строгое соблюдение контуров, и уменьшайте её для более свободной, творческой геометрии. Этот баланс является ключом к соответствию структурной точности и стилистической свободе. Модельная карточка: thedeoxen/MOSS-Image-canny-controlnet.
Text Encode MOSS-Image Edit (positive) (#8)#
Кодирует вашу основную подсказку, обусловливая как текст, так и контрольное изображение для редактирования. Сосредоточьтесь на конкретных описаниях, таких как материалы поверхности, отделка, нейтральные по бренду формы, качество освещения и окружение. Если модель недостаточно уточняет цвет или текстуру, добавьте явные прилагательные и язык камеры. Ссылка на базовую модель: OpenMOSS-Team/MOSS-Image-SFT.
Text Encode MOSS-Image Edit (negative) (#9)#
Кодирует ваши негативные термины, чтобы отвлечь сэмплер от нежелательных особенностей. Используйте краткие блоки для низкого качества, артефактов, элементов не по теме и терминов NSFW, когда это уместно. Жесткие негативы помогают сэмплеру инвестировать ресурсы в желаемый вид, а не исправлять общие ошибки.
KSampler (#11)#
Запускает процесс денойзинга, который превращает условия и латентный шум в изображение. Основные рычаги — это семя для воспроизводимости, алгоритм сэмплирования для текстуры и характера деталей, количество шагов для уточнения, масштаб управления для обмена силой подсказки на реализм и сила денойзинга для изменения того, насколько строго результат следует за контролем. Если сомневаетесь, зафиксируйте семя, пока вы регулируете один рычаг за раз, чтобы понять его эффект. Ссылка на проект: ComfyUI.
Дополнительные рекомендации#
- Начинайте с четких, средне-контрастных фотографий продуктов; избегайте размытия движения и загроможденных фонов, чтобы Canny извлекал чистые силуэты.
- Если структура идеальна, но атмосфера не та, сохраните семя и уточните только подсказку; если структура дрейфует, отрегулируйте силу LoRA или денойзинг в сторону большего контроля.
- Упоминайте якоря композиции в подсказке (например, "тот же центрированный силуэт"), чтобы усилить компоновку, не борясь с контрольным изображением.
- Предварительно обрежьте референс до нужного аспекта; холст автоматически совпадает с контрольным изображением.
- Для тонких механических деталей разрешайте немного более насыщенные контуры; для широких рестайлингов предпочитайте более редкие контуры, чтобы избежать чрезмерного ограничения текстур.
Этот рабочий процесс MOSS-Image Canny Control ComfyUI предоставляет вам точный структурный контроль с гибким стилем, делая его надежным инструментом для быстрых, удобных для итераций рестайлингов продуктов, транспортных средств и архитектуры.
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы искренне благодарим thedeoxen за MOSS-Image-canny-controlnet (Canny Control LoRA и рабочий процесс), OpenMOSS-Team за MOSS-Image-SFT (базовая модель) и Fannovel16 за comfyui_controlnet_aux (узлы предварительной обработки Canny) за их вклад и поддержку. Для получения авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.
Ресурсы#
- thedeoxen/MOSS-Image-canny-controlnet
- Hugging Face: thedeoxen/MOSS-Image-canny-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux
Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими организациями.
