1. O que é o Fluxo de Trabalho ComfyUI ICEdit?
O fluxo de trabalho ComfyUI ICEdit-Nunchaku integra o inovador framework In-Context Edit (ICEdit) com otimização Nunchaku para edição de imagens ultra-rápida. Desenvolvido por pesquisadores da Zhejiang University e Harvard University, o ICEdit permite edição instrucional de imagens de alta qualidade com eficiência notável. Construído sobre o transformador de difusão FLUX e aproveitando os princípios de aprendizado em contexto do ICEdit, este fluxo de trabalho preserva características de identidade enquanto permite modificações flexíveis com base em instruções de linguagem natural. O fluxo de trabalho ICEdit representa uma solução ideal para edição de imagens com IA, oferecendo resultados precisos com recursos mínimos de GPU.
2. Benefícios do ComfyUI ICEdit:
- Eficiência Excepcional: O ICEdit alcança edição de boa qualidade usando apenas 0,5% dos dados de treinamento e 1% dos parâmetros requeridos por métodos anteriores.
- Desempenho Ultra-Rápido: A integração ICEdit-Nunchaku permite edição em alta velocidade mesmo em sistemas com apenas 4GB de VRAM.
- Preservação de Identidade: O ICEdit mantém a identidade do sujeito mesmo através de modificações significativas de estilo ou atributo.
- Instruções de Linguagem Natural: Edite imagens usando prompts de texto simples com o sistema de instruções intuitivo do ICEdit.
- Edição de Múltiplas Etapas: O ICEdit suporta operações de edição sequenciais na mesma imagem para transformações complexas.
- Saída de Alta Resolução: O fluxo de trabalho ICEdit inclui três métodos diferentes de upscaling para resultados de alta qualidade.
3. Usando o ICEdit para Edição de Imagens
Começando:
- Entrada de Imagem:
- Faça upload da sua imagem de origem usando o nó principal Load Image localizado no canto inferior esquerdo do fluxo de trabalho ICEdit
- Esta é a entrada principal para a imagem que você deseja editar com o ICEdit
- O fluxo de trabalho ICEdit processará automaticamente sua imagem para as dimensões requeridas (512px de largura)
- Para melhores resultados com o ICEdit, use imagens quadradas sempre que possível, pois imagens não-quadradas podem ser cortadas centralmente durante o processamento
- Dica Pro: Para taxas de sucesso mais altas com o ICEdit, clique com o botão direito no nó Load Image e selecione "Open in MaskEditor" para criar manualmente uma máscara ao redor da área que você deseja editar
- Usando o Editor de Máscaras com o ICEdit (Opcional, mas Recomendado):
- No MaskEditor, use as ferramentas de pincel para desenhar uma máscara ao redor da área específica que você deseja modificar com o ICEdit
- Isso ajuda a direcionar a atenção do ICEdit para as partes relevantes da imagem
- Use diferentes configurações de pincel (espessura, opacidade, dureza) para controle preciso
- Clique em "Save" quando terminar para aplicar sua máscara personalizada ao fluxo de trabalho ICEdit
- Esta etapa melhora significativamente as taxas de sucesso do ICEdit para mudanças detalhadas ou específicas
- Inserindo Suas Instruções ICEdit:
- Encontre o nó de entrada String com o destaque vermelho no centro do fluxo de trabalho ICEdit
- Digite sua instrução ICEdit desejada neste campo
- Para transferências de estilo, simplesmente digite instruções como "Converter a imagem para estilo Ghibli" ou "Converter para ilustração de anime e manter camisa rosa, cabelo castanho"
- Deixe o outro nó String com o prefixo fixo inalterado - isso contém o contexto necessário que faz o ICEdit funcionar corretamente
- O fluxo de trabalho combinará automaticamente sua instrução com o prefixo necessário para processamento ICEdit ideal
- Executando o Fluxo de Trabalho ICEdit:
- Após fazer upload de sua imagem e inserir sua instrução de edição, clique em
run para iniciar o processamento ICEdit
- O fluxo de trabalho ICEdit gerará a imagem editada através de várias etapas de processamento
4. Referência de Parâmetros para ICEdit
Configurações de Parâmetros ICEdit:
- Nunchaku FLUX.1 LoRA Loader para ICEdit:
lora_strength: 1.00-1.18 (pode ser ajustado para a intensidade do efeito ICEdit, com 1.18 fornecendo os melhores resultados gerais)
- Configurações ICEdit KSamplerAdvanced:
- Primeiro KSampler: Padrão 30 passos, euler sampler, CFG 7
- Ajustar CFG: Valores mais altos (8-15) seguem as instruções mais estritamente, valores mais baixos (3-5) aumentam a criatividade
- Ajustar passos: Mais passos melhoram o detalhe, mas aumentam o tempo de processamento
- Segundo KSampler: Padrão 25 passos para upscaling com beta scheduler
- Terceiro KSampler: Padrão 30 passos, kl_optimal sampler para preservar detalhes faciais e textura
- Esses parâmetros podem ser ajustados com base nas suas necessidades específicas de edição
- Configuração de Upscaling ICEdit:
- O fluxo de trabalho ICEdit inclui três métodos de upscaling:
- Upscaling baseado em modelo usando modelos especializados como 2xNomosUni
- ImageScaleBy para aprimoramento de detalhes com escalonamento lanczos
- Amostragem KL-optimal para restauração ICEdit de alta fidelidade (ajuda a preservar características faciais)
- Se usar modelos de magnificação 4x, considere mudar o fator de escalonamento para 0.5 para evitar artefatos em grandes resultados ICEdit
- FluxGuidance no ICEdit:
- O fluxo de trabalho ICEdit tem múltiplos nós FluxGuidance em diferentes seções, controlando a força da orientação
- Conversão de Estilo FluxGuidance: Controla quão de perto a transferência de estilo do ICEdit segue suas instruções
- Edição de Imagem FluxGuidance: O lado direito mostra um valor de 4.0, equilibrando qualidade e precisão ICEdit
- Valores mais altos fazem o ICEdit seguir as instruções mais precisamente, mas podem afetar a qualidade da imagem
- Valores mais baixos fornecem mais liberdade criativa, mas podem resultar em resultados ICEdit menos precisos
- Integração Redux com ICEdit (Opcional):
- O fluxo de trabalho ICEdit inclui capacidades de ajuste fino de estilo Redux, mas é opcional
- Ao usar Redux para transferência de estilo ICEdit, você pode mudar para get_condition1, embora os resultados possam variar
5. Exemplos de Tarefas de Edição ICEdit
O ICEdit se destaca em uma variedade de operações de edição, incluindo:
- Transferências de Estilo com ICEdit: "Converter a imagem em ilustração de anime"
- Mudanças de Cor usando ICEdit: "Mudar a camisa azul para verde"
- Modificações de Roupa com ICEdit: "Mudar a camisa azul para jaqueta jeans"
- Adição de Acessórios através do ICEdit: "Adicionar óculos de sol", "Esta garota usa um relógio branco"
- Remoção de Acessórios com ICEdit: "Remover quadro na parede"
- Alterações de Fundo usando ICEdit: "Garota está na praia, nuvem colorida no céu"
- Manipulação de Objetos via ICEdit: "Mão segurando um durião"
- Operações de Texto/Marca d'Água com ICEdit: "Adicionar uma marca d'água azul 'de mim' na parede", "Remover o texto 'de aha'"
- Edição de Múltiplos Elementos através do ICEdit: "Converter para estilo Ghibli"
6. Dicas Avançadas para Resultados ICEdit Melhores
Engenharia de Prompt ICEdit:
- Seja específico e conciso em suas instruções ICEdit
- Para transferências de estilo ICEdit, inclua detalhes que você deseja preservar
- Use uma linguagem descritiva clara para os melhores resultados ICEdit
- Ao mudar fundos com ICEdit, seja específico sobre o posicionamento
Dicas de Otimização ICEdit:
- Se você encontrar resultados ICEdit insatisfatórios, tente mudar o valor da semente (isso é crítico para o sucesso)
- Para edições ICEdit complexas, considere dividi-las em várias etapas de edição mais simples
- Ajuste lora_strength para controlar a intensidade dos efeitos ICEdit
Lidando com Falhas ICEdit:
- O ICEdit funciona melhor com fotografias realistas; os resultados podem variar com entradas não fotorrealistas
- Tarefas de remoção de objetos com ICEdit têm taxas de sucesso mais baixas do que adições ou modificações
- Se uma tentativa de ICEdit falhar, tente reformular a instrução ou usar uma semente diferente
7. Créditos e Agradecimentos
Este fluxo de trabalho é alimentado por ICEdit, desenvolvido por Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang, e Yi Yang do ReLER, CCAI, Zhejiang University e Harvard University. A integração ComfyUI do ICEdit é possível graças às contribuições da comunidade, com agradecimentos especiais a judian17 pela versão compatível com Nunchaku do ICEdit e trabalho de otimização.
O fluxo de trabalho usa uma versão especialmente adaptada do ICEdit-MoE-LoRA onde camadas de especialistas foram ponderadas para compatibilidade, permitindo processamento ICEdit de alta qualidade com recursos computacionais mínimos.
Para informações adicionais sobre o ICEdit, visite:
