JoyAI Image Edit ComfyUI: edição de imagens guiada por instruções que preserva a estrutura
Este workflow oferece edições rápidas e guiadas por instruções a uma única imagem de referência diretamente no ComfyUI. Construído sobre o stack JoyAI‑Image‑Edit, ele realiza mudanças guiadas por prompts como trocas de objetos e cores, ajustes espaciais e renderização limpa de texto enquanto mantém a composição original intacta. JoyAI Image Edit ComfyUI é ideal para designers, equipes de produto e criadores que precisam de edições controladas sem mascaramento manual.
Você fornece uma imagem e uma instrução curta como "Torne o prato azul." O workflow processa essa solicitação através do transformador JoyAI Image Edit, codificador de texto e VAE, e então retorna uma imagem editada que respeita os limites de layout e conteúdo. É uma configuração compacta e específica do modelo ComfyUI focada em resultados previsíveis e reprodutibilidade.
Modelos principais no workflow Comfyui JoyAI Image Edit ComfyUI
- JoyAI‑Image‑Edit transformer. Modelo de edição central que condiciona sua instrução e a imagem de referência para produzir mudanças que preservam a estrutura. Cartão do modelo: jdopensource/JoyAI-Image-Edit.
- Codificador de texto e tokenizador JoyAI‑Image‑Edit. Codifica a instrução de edição em embeddings que o transformador pode seguir. Implementação e uso no código-base JoyAI Image: jd-opensource/JoyAI-Image.
- VAE para JoyAI Image Edit. Comprime e reconstrói imagens para edição e decodificação, contribuindo para a fidelidade de cores e retenção de detalhes. O workflow referencia um checkpoint Wan 2.1 VAE incluído com o stack JoyAI.
Como usar o workflow Comfyui JoyAI Image Edit ComfyUI
O pipeline flui da esquerda para a direita: carregue uma imagem fonte, escreva uma instrução, carregue o stack JoyAI, execute a edição e salve. Você não precisa de uma máscara para edições típicas, e o workflow é projetado para resultados reprodutíveis.
- Prepare a imagem fonte
- Carregue sua referência com
LoadImage(#6). Use uma imagem limpa e bem iluminada para melhores resultados e mantenha o sujeito razoavelmente centrado. Se você quiser preservar o enquadramento exatamente, recorte a fonte antes em vez de alterar o tamanho da tela depois. O workflow passa essa imagem diretamente para a fase de edição para que sua estrutura ancore o resultado.
- Carregue sua referência com
- Escreva a instrução de edição
- Insira seu pedido em
Prompt(#4) e, opcionalmente, defina exclusões emNegative Prompt(#5). Mantenha as instruções curtas, específicas e acionáveis, por exemplo "faça a caneca vermelha," "substitua o céu pelo pôr do sol," ou "adicione o texto JOYAI no caderno." Prompts negativos ajudam a evitar cores, objetos ou estilos indesejados. JoyAI Image Edit ComfyUI respeita a instrução enquanto mantém a consistência do layout com o original.
- Insira seu pedido em
- Carregue o stack JoyAI
- Os componentes do modelo são carregados por
JoyAIImageEditTransformerLoader(#1),JoyAIImageEditTextEncoderLoader(#2) eJoyAIImageEditVAELoader(#3). Esses nós buscam os pesos do transformador, codificador de texto mais tokenizador e o VAE que governa a codificação e decodificação da imagem. Normalmente, você não precisa alterar isso, a menos que esteja trocando checkpoints para um visual ou comportamento diferente. Manter esse trio consistente garante que a semântica da instrução, geometria e espaço de cores permaneçam estáveis.
- Os componentes do modelo são carregados por
- Execute a edição
JoyAIImageEditPipeline(#7) funde sua imagem fonte com os embeddings de instrução para gerar o resultado editado. O pipeline equilibra a força da instrução contra a fidelidade estrutural para que os objetos permaneçam onde pertencem enquanto seus atributos mudam conforme solicitado. Use uma semente fixa para reprodutibilidade ou altere as sementes para explorar variações. Se precisar de letras mais nítidas ou bordas finas, aumente as configurações de qualidade no sampler enquanto mantém o tamanho da imagem razoável em relação à sua fonte.
- Salve e revise
SaveImage(#8) grava a saída editada. Use nomes versionados para comparar execuções lado a lado e mantenha a semente no nome do arquivo ou nas anotações para que você possa reproduzir um resultado favorito. Ao iterar, ajuste apenas um controle por vez para ver claramente causa e efeito.
Nós principais no workflow Comfyui JoyAI Image Edit ComfyUI
JoyAIImageEditPipeline(#7)- Orquestrador central que aplica a instrução à imagem de referência usando o transformador JoyAI, codificador de texto e VAE. Ajuste
promptenegative_promptprimeiro. Use umaseedfixa para reexecuções determinísticas, depois varie para explorar alternativas. Equilibre a força da instrução e a qualidade de amostragem para trocar velocidade por fidelidade, e mantenha as dimensões de saída próximas à proporção da fonte para preservar o layout.
- Orquestrador central que aplica a instrução à imagem de referência usando o transformador JoyAI, codificador de texto e VAE. Ajuste
JoyAIImageEditTransformerLoader(#1)- Carrega o checkpoint do transformador JoyAI‑Image‑Edit que determina quão fortemente e de forma limpa as edições seguem seu texto. Trocar este peso pode mudar significativamente o estilo e a responsividade. Emparelhe transformador e codificador de texto da mesma família de lançamento para evitar incompatibilidades de embeddings.
JoyAIImageEditTextEncoderLoader(#2)- Fornece o codificador de texto e tokenizador que traduzem sua instrução em embeddings legíveis pelo modelo. Frases claras e concisas melhoram a qualidade do embedding. As configurações de precisão podem influenciar o uso de VRAM e a velocidade, então escolha o modo que se encaixa no seu hardware e tamanho de lote.
JoyAIImageEditVAELoader(#3)- Carrega o VAE que governa como as imagens são codificadas e decodificadas em torno da edição. Diferentes VAEs podem alterar sutilmente cor e contraste, então mantenha isso consistente em experimentos quando estiver avaliando prompts. Se você mudar o VAE, revise seus prompts para reequilibrar a formulação de cores.
Extras opcionais
- Criação de prompts
- Prefira ações únicas e claras como "faça o prato azul" em vez de parágrafos de múltiplas etapas. Nomeie objetos visíveis com precisão e use substantivos singulares ao editar atributos. Para edições espaciais, baseie o pedido com preposições como "na mesa," "no fundo," ou "na parede."
- Resolução e composição
- Preserve a proporção da fonte para manter a geometria. Amplie após a edição se precisar de entregas maiores em vez de forçar resoluções de edição extremas.
- Reprodutibilidade
- Mantenha uma semente fixa ao comparar variações de prompts, depois desbloqueie a semente para amostrar alternativas assim que estiver satisfeito.
- Referências e fontes
- Cartão do modelo e pesos: jdopensource/JoyAI-Image-Edit
- Detalhes de implementação e atualizações: jd-opensource/JoyAI-Image
- Modelo de gráfico ComfyUI usado por este projeto: joyai_image_comfyui
Agradecimentos
Este workflow implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos sinceramente ao jd-opensource pelo repositório JoyAI-Image, ao jd-opensource pelo workflow JoyAI-Image ComfyUI, e ao jdopensource pelo modelo JoyAI-Image-Edit por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação e repositórios originais vinculados abaixo.
Recursos
- jd-opensource/JoyAI-Image
- GitHub: jd-opensource/JoyAI-Image
- jd-opensource/joyai_image_comfyui
- GitHub: jd-opensource/JoyAI-Image
- jdopensource/JoyAI-Image-Edit
- Hugging Face: jdopensource/JoyAI-Image-Edit
Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
