Qwen Image 2.1 Inpainting: Fluxo de trabalho de edição local sem deslocamento para mudanças precisas guiadas por instruções#
Este fluxo de trabalho ComfyUI oferece edições locais direcionadas com Qwen Image 2.1 Inpainting usando uma imagem de entrada, uma máscara de usuário e instruções claras em inglês. Ele segue uma estratégia sem deslocamento que mantém a imagem de trabalho e a máscara perfeitamente alinhadas, aplicando ruído latente apenas dentro da região mascarada para que o modelo foque na mudança solicitada enquanto preserva a composição ao redor.
Use para adicionar ou substituir detalhes localizados, como um mergulhador, um cowboy ou uma camisa de linho. O design enfatiza o realismo e a consistência da cena com imagens de referência opcionais, mas não garante resultados idênticos a pixel fora da máscara. Espere inserções fiéis, iluminação natural e sombras de contato, e mudanças colaterais mínimas perto da borda da máscara.
Modelos chave no fluxo de trabalho Comfyui Qwen Image 2.1 Inpainting#
- Modelo de difusão Qwen-Image 2.1. O gerador de imagem principal que realiza inpainting guiado por instruções e edição local, condicionado pelo seu prompt e imagens de referência. Model card
- Qwen-Image 2.1 VAE. Codifica a imagem de entrada em latentes e decodifica os latentes editados de volta para pixels, ajudando a preservar a aparência global e o espaço de cores. Model card
- Codificador de texto/imagem Qwen-Image 2.1. Transforma instruções de edição em inglês e referências de cena em sinais de condicionamento que direcionam o processo de difusão para a edição solicitada. Model card
Como usar o fluxo de trabalho Comfyui Qwen Image 2.1 Inpainting#
Em resumo: você fornece uma imagem, pinta uma máscara sobre a área a ser alterada e escreve instruções concisas em inglês. O fluxo de trabalho escala a imagem para o modelo, alinha a máscara sem deslocamento, aplica ruído apenas onde as edições são necessárias, codifica seu prompt e imagens de referência opcionais, remove o ruído para realizar a mudança e salva uma comparação lado a lado.
Imagem de Entrada + Máscara de Inpainting (LoadImage (#11))#
Carregue a imagem de trabalho e sua máscara de inpainting. A máscara deve cobrir apenas a região que você deseja alterar, com um pequeno buffer ao redor das bordas para mesclagem. Bordas mais suaves geralmente produzem costuras mais limpas. Mantenha o resto da imagem sem máscara para que o modelo priorize a inserção ou substituição direcionada.
Instruções de Edição (Inglês) (Text (#165))#
Escreva instruções claras e específicas que descrevam o que adicionar ou modificar, onde deve aparecer e como deve parecer em relação à cena. Mencione escala, pose, perspectiva e iluminação para combinar com a foto. Restrições breves, como “preservar a casa e a costa”, ajudam a manter o contexto. A formulação negativa é opcional, mas pode afastar o modelo de atributos indesejados.
Referência 2 – Cena Original (LoadImage (#134))#
Adicione uma visão original e não editada da mesma cena como referência de preservação. O fluxo de trabalho a utiliza para ancorar a composição e a iluminação, para que o inpainting se misture naturalmente. O ponto de vista da câmera e o enquadramento combinados são mais eficazes. Esta etapa é opcional, mas recomendada para realismo.
Referência 3 – Cena Original (LoadImage (#136))#
Opcionalmente, adicione uma segunda referência de cena original. Fornecer várias referências consistentes melhora a estrutura e a estabilidade de cores ao redor da edição. Use imagens com a mesma lente, hora do dia e exposição quando possível.
Escalar Imagem & Máscara (grupo)#
Este grupo padroniza a resolução e garante o alinhamento da máscara com uma abordagem sem deslocamento. A imagem é escalada para um tamanho amigável ao modelo, processada pelo VAE para fixar as dimensões e, em seguida, GetImageSize (#132) fornece essas dimensões exatas para ImageScale (#158) e ResizeMask (#148) para que pixels e máscara combinem perfeitamente. GrowMaskWithBlur (#128) pode expandir e suavizar suavemente a máscara para reduzir costuras rígidas. Finalmente, SetLatentNoiseMask (#126) garante que ruído fresco seja aplicado apenas dentro da região mascarada, focando as edições onde você pintou.
modelo (grupo)#
Os componentes do modelo são carregados, sua instrução e imagens de referência são codificadas, e a etapa de remoção de ruído é executada. UNETLoader (#192), VAELoader (#178), e CLIPLoader (#177) trazem a suíte de modelos Qwen-Image 2.1. TextEncodeQwenImage21 (#191) converte seu prompt e referências em condicionamento, enquanto KSamplerAdvanced (#193) realiza inpainting usando os latentes mascarados de SetLatentNoiseMask (#126). VAEDecode (#194) retorna a imagem final.
Comparar e salvar#
Image Comparer (rgthree) (#51) mostra uma visualização ao vivo antes/depois que ajuda a julgar o alinhamento, iluminação e qualidade da costura. SaveImage (#201) grava o resultado no disco usando seu prefixo escolhido para que você possa iterar rapidamente e manter versões organizadas.
Nós chave no fluxo de trabalho Comfyui Qwen Image 2.1 Inpainting#
TextEncodeQwenImage21 (#191)#
Codifica instruções em inglês junto com até três imagens de cena em condicionamento para Qwen Image 2.1 Inpainting. Use o campo prompt para o que adicionar ou mudar e negative_prompt para características a evitar. O controle de resolution define a escala de trabalho interna do modelo; valores divisíveis por 32 são recomendados. Valores mais altos podem aumentar o detalhe global, mas podem exigir mais VRAM e tempo.
SetLatentNoiseMask (#126)#
Aplica uma máscara de ruído para que o novo sinal seja introduzido principalmente dentro da região que você pintou, permitindo edições locais com forte preservação de fundo. Emparelhe isso com uma máscara suavemente esfumada para transições sem costura. Áreas não mascaradas são respeitadas, mas não congeladas ao nível do pixel, então pequenas mudanças incidentais perto das bordas são possíveis.
GrowMaskWithBlur (#128)#
Pré-processa sua máscara para limites limpos. Expandir ligeiramente pode garantir que todo o novo objeto esteja dentro da zona editável, e adicionar desfoque esbate as bordas para minimizar costuras. Se a precisão for crucial, reduza a expansão e o desfoque; se a mesclagem for a prioridade, aumente-os modestamente.
KSamplerAdvanced (#193)#
Executa o processo de remoção de ruído que realiza sua instrução dentro da região mascarada. Ajuste as etapas e o sampler para equilibrar velocidade e fidelidade, e defina uma semente para reproduzir resultados durante a iteração. Orientação mais baixa frequentemente mescla inserções mais naturalmente, enquanto orientação mais alta pode impor uma adesão mais forte ao texto.
ImageScaleToMaxDimension (#138)#
Define a borda longa da imagem de trabalho para um bom equilíbrio entre detalhe e custo de computação. Valores maiores produzem inserções mais nítidas, mas aumentam o uso de memória e o tempo de renderização. Comece moderadamente, depois escale apenas se precisar de mais detalhes finos.
ResizeMask (#148)#
Redimensiona a máscara de inpainting para corresponder exatamente às dimensões de trabalho do modelo determinadas anteriormente. Este alinhamento sem deslocamento previne artefatos de “deslocamento de máscara” e mantém sua região pintada perfeitamente registrada com os pixels da imagem.
Extras opcionais#
- Mantenha as instruções concisas e concretas: o quê, onde, escala, perspectiva, iluminação e quaisquer elementos que devem ser preservados.
- Desenhe máscaras com um pequeno buffer e bordas suaves; inclua a pegada completa do objeto mais sombras de contato para um aterramento realista.
- Forneça uma ou duas referências de cena original para melhor composição e estabilidade de cores, especialmente com fundos complexos.
- Use uma resolução divisível por 32; aumente gradualmente se precisar de mais detalhes, observando VRAM e tempo.
- Trave uma semente para reprodutibilidade ao comparar ajustes de prompt ou máscara.
- Para costuras teimosas, execute uma segunda passagem leve com uma máscara mais apertada e suave que cobre apenas a zona de transição.
Este pipeline ComfyUI sem deslocamento torna o Qwen Image 2.1 Inpainting prático e previsível para inserções de objetos do dia a dia e substituições locais. Com máscaras alinhadas, ruído latente mascarado e condicionamento guiado por referência, você pode adicionar elementos críveis que combinam com a geometria e a luz da sua cena.
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos ao RunningHub pela fonte do fluxo de trabalho, ao Qwen pelo modelo Qwen-Image-2.1, e ao Qwen pelos exemplos oficiais de edição local por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e repositórios vinculados abaixo.
Recursos#
- RunningHub/Fonte do fluxo de trabalho
- Docs / Notas de Lançamento: Workflow source
- Qwen/Qwen-Image-2.1
- GitHub: QwenLM/Qwen-Image-2.1
- Hugging Face: Qwen/Qwen-Image-2.1
- Qwen/Exemplos oficiais de edição local
- Docs / Notas de Lançamento: Official local editing examples
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.