MOSS-Image Canny Control ComfyUI: Restilização guiada por prompt a partir de contornos de referência#
Este fluxo de trabalho transforma os contornos de uma foto de referência em uma nova imagem estática guiada por um prompt de texto. Ele emparelha o modelo base MOSS-Image-SFT com um LoRA de Controle Canny dedicado para que as bordas detectadas direcionem a composição enquanto o prompt dita materiais, cores e iluminação. O resultado é uma maneira rápida e confiável de restilizar objetos sem perder contornos reconhecíveis.
MOSS-Image Canny Control ComfyUI é ideal para fotos de produtos, explorações de pintura e acabamento de veículos, e fachadas arquitetônicas onde o silhueta e o layout devem permanecer consistentes. Você fornece uma imagem e um prompt claro; o fluxo de trabalho preserva a geometria do mapa de bordas enquanto lhe dá controle criativo sobre o acabamento e o ambiente.
Modelos principais no fluxo de trabalho Comfyui MOSS-Image Canny Control ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. Modelo de imagem condicionado por texto ajustado para edição e geração robustas; fornece a base de remoção de ruído e compreensão do seu prompt enquanto permanece responsivo a sinais de estrutura. Model card
- MOSS-Image Canny Control LoRA por thedeoxen. Adaptador leve que injeta controle baseado em canny no MOSS-Image-SFT para que o conteúdo gerado siga o mapa de contorno fornecido. Model card
Como usar Comfyui MOSS-Image Canny Control ComfyUI#
Em um alto nível, o fluxo de trabalho extrai bordas da sua referência, codifica seus prompts positivos e negativos com o codificador de edição do MOSS-Image, amostras com o modelo base mais o Canny Control LoRA, então decodifica para uma imagem final. A imagem de controle define a estrutura; o prompt define a aparência.
Carregar uma imagem de referência (LoadImage (#1))#
Importe uma única foto bem exposta do sujeito na moldura e proporção de aspecto que você deseja manter. O fluxo de trabalho trata isso como a fonte de geometria para a restilização. Fontes limpas com limites claros e mínima desfoque de movimento funcionam melhor.
Extrair contornos Canny e pré-visualizar (canny control (#2) e Control (#13))#
O fluxo de trabalho calcula um mapa de bordas Canny da sua foto usando o pré-processador auxiliar ControlNet para que apenas os contornos mais salientes dirijam a composição. Bordas fortes do sujeito principal serão priorizadas, enquanto ruídos finos são suprimidos. Você pode pré-visualizar a imagem de controle para confirmar que os contornos correspondem à sua intenção antes de gerar. Este estágio usa a implementação do operador Canny do conjunto ControlNet Auxiliary. Veja o repositório: comfyui_controlnet_aux.
Combinar a tela com a imagem de controle (GetImageSize (#7) e EmptyLatentImage (#10))#
A largura e altura da tela são derivadas da imagem de controle para manter proporções perfeitas. Este alinhamento previne distorção de aspecto e reduz a deriva de composição. Se você precisar de uma proporção de aspecto diferente, corte a referência antes de carregá-la para que o controle e a tela permaneçam em sincronia.
Escreva seus prompts (Text Encode MOSS-Image Edit (positive) (#8) e Text Encode MOSS-Image Edit (negative) (#9))#
Descreva os materiais, estilo, cor, iluminação e ambiente desejados no prompt positivo. O codificador de edição condiciona tanto no seu texto quanto na imagem de controle para que mudanças de aparência ocorram enquanto a estrutura permanece. Use o prompt negativo para suprimir artefatos que você não deseja, como texto indesejado, baixa qualidade, ou elementos fora de estilo. O condicionamento de edição de imagem ajuda a manter a fidelidade da silhueta mesmo quando seu prompt é altamente estilizado.
Carregar o modelo base e aplicar o Canny Control LoRA (UNETLoader (#3) e canny control LoRA (#4))#
O UNet do MOSS-Image-SFT fornece a espinha dorsal generativa. O Canny Control LoRA é então aplicado ao modelo para que a orientação baseada em bordas influencie a trajetória de remoção de ruído. Juntos, eles fundem o controle estrutural dos contornos com a intenção semântica do seu prompt, permitindo restilizações fiéis sem máscaras manuais.
Amostrar e decodificar (KSampler (#11) e VAEDecode (#12))#
A amostragem produz a imagem latente sob suas condições positivas e negativas. Você pode manter os resultados repetíveis com uma semente fixa ou explorar alternativas mudando-a. Após a amostragem, o VAE decodifica latentes para uma imagem RGB para pré-visualização e exportação. Se você ver rigidez excessiva nas linhas, relaxe o controle reduzindo a influência do LoRA ou aumentando a liberdade criativa durante a amostragem; se você ver deriva, faça o oposto.
Revisar o resultado (Result (#14))#
Inspecione a pré-visualização do resultado. Se a silhueta estiver correta, mas os detalhes não atenderem ao resumo, refine o prompt positivo; se a estrutura desviar, fortaleça o controle estrutural ou simplifique o prompt. Iterar até que materiais, ambiente e geometria atendam ao seu objetivo.
Nós principais no fluxo de trabalho Comfyui MOSS-Image Canny Control ComfyUI#
canny control (#2)#
Gera o mapa de bordas que atua como o pré-requisito estrutural para toda a execução. Ajustar os limiares baixo e alto altera quais contornos sobrevivem: limiares mais altos enfatizam contornos principais, limiares mais baixos admitem detalhes mais finos. Use a pré-visualização para garantir que as bordas capturem a silhueta do objeto sem desordem. Referência de implementação: comfyui_controlnet_aux.
canny control LoRA (#4)#
Aplica o Canny Control LoRA ao modelo base para que o amostrador siga o mapa de bordas. Aumente a força do LoRA quando quiser aderência estrita aos contornos, e reduza para geometria mais solta e criativa. Este equilíbrio é fundamental para combinar fidelidade estrutural com liberdade estilística. Model card: thedeoxen/MOSS-Image-canny-controlnet.
Text Encode MOSS-Image Edit (positive) (#8)#
Codifica seu prompt principal, condicionando tanto no texto quanto na imagem de controle para geração consciente de edição. Concentre-se em descritores concretos como materiais de superfície, acabamento, dicas de formato neutras de marca, qualidade de iluminação e ambiente. Se o modelo subespecificar cor ou textura, adicione adjetivos explícitos e linguagem de câmera. Referência do modelo base: OpenMOSS-Team/MOSS-Image-SFT.
Text Encode MOSS-Image Edit (negative) (#9)#
Codifica seus termos negativos para afastar o amostrador de características indesejadas. Use bloqueadores concisos para baixa qualidade, artefatos, elementos fora do tópico, e termos NSFW quando apropriado. Negativos apertados ajudam o amostrador a investir capacidade na aparência que você deseja em vez de corrigir erros comuns.
KSampler (#11)#
Executa o processo de remoção de ruído que transforma o condicionamento e o ruído latente em uma imagem. As alavancas chave são a semente para reprodutibilidade, o algoritmo de amostragem para textura e caráter de detalhe, o número de etapas para refinamento, a escala de orientação para trocar a força do prompt contra o realismo, e a força de remoção de ruído para variar quão estritamente o resultado segue o controle. Quando em dúvida, trave a semente enquanto ajusta uma alavanca de cada vez para entender seu efeito. Referência do projeto: ComfyUI.
Extras opcionais#
- Comece com fotos de produtos nítidas e de contraste médio; evite desfoque de movimento e fundos desordenados para que o Canny extraia silhuetas limpas.
- Se a estrutura estiver perfeita, mas a vibração estiver errada, mantenha a semente e refine apenas o prompt; se a estrutura desviar, ajuste a força do LoRA ou remova o ruído em direção a mais controle.
- Mencione âncoras de composição no prompt (por exemplo, "mesma silhueta centrada") para reforçar o layout sem lutar contra a imagem de controle.
- Pré-corte a referência para o aspecto exato que você deseja; a tela corresponde automaticamente à imagem de controle.
- Para detalhes mecânicos finos, permita bordas ligeiramente mais ricas; para restilizações amplas, prefira bordas mais esparsas para evitar sobreconstrangimento de texturas.
Este fluxo de trabalho MOSS-Image Canny Control ComfyUI oferece controle estrutural preciso com estilo flexível, tornando-o uma ferramenta confiável para restilizações rápidas e amigáveis à iteração em produtos, veículos e arquitetura.
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos ao thedeoxen por MOSS-Image-canny-controlnet (Canny Control LoRA e fluxo de trabalho), OpenMOSS-Team por MOSS-Image-SFT (modelo base), e Fannovel16 por comfyui_controlnet_aux (nós de pré-processamento Canny) por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- thedeoxen/MOSS-Image-canny-controlnet
- Hugging Face: thedeoxen/MOSS-Image-canny-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
