FLUX é um novo modelo de geração de imagens desenvolvido por Black Forest Labs, Os modelos FLUX-ControlNet-Depth e FLUX-ControlNet-Canny foram criados pela equipe XLabs AI. Este fluxo de trabalho do ComfyUI FLUX ControlNet também foi criado pela equipe XLabs AI. Para mais detalhes, visite **x-flux-comfyui**. Todo o crédito vai para sua contribuição.
Sobre o FLUX
Os modelos FLUX estão pré-carregados no RunComfy, nomeados flux/flux-schnell e flux/flux-dev.
- Ao iniciar uma Máquina de Tamanho Médio no RunComfy: Selecione o checkpoint
flux-schnell, fp8e o clipt5_xxl_fp8para evitar problemas de falta de memória. - Ao iniciar uma Máquina de Tamanho Grande ou Acima no RunComfy: Opte por um checkpoint grande
flux-dev, defaulte um clip altot5_xxl_fp16.
Para mais detalhes, visite: ComfyUI FLUX | Uma Nova Geração de Imagens Artísticas
🌟O seguinte Fluxo de Trabalho FLUX-ControlNet é especificamente projetado para o modelo [FLUX.1 [dev]](https://github.com/black-forest-labs/flux).🌟
Sobre o Fluxo de Trabalho FLUX-ControlNet (FLUX-ControlNet-Depth-V3 e FLUX-ControlNet-Canny-V3)
Apresentamos dois fluxos de trabalho FLUX-ControlNet excepcionais: FLUX-ControlNet-Depth e FLUX-ControlNet-Canny, cada um oferecendo capacidades únicas para aprimorar seu processo criativo.
1. Como Usar o Fluxo de Trabalho ComfyUI FLUX-ControlNet-Depth-V3
O modelo FLUX-ControlNet Depth é primeiro carregado usando o nó "LoadFluxControlNet". Selecione o modelo "flux-depth-controlnet.safetensors" para um controle de profundidade ideal.
- flux-depth-controlnet
- flux-depth-controlnet-v2
- flux-depth-controlnet-v3: ControlNet é treinado em resolução 1024x1024 e funciona para resolução 1024x1024, com uma versão melhor e mais realista
Conecte a saída deste nó ao nó "ApplyFluxControlNet". Além disso, conecte sua imagem de mapa de profundidade à entrada de imagem deste nó. O mapa de profundidade deve ser uma imagem em tons de cinza onde objetos mais próximos são mais claros e objetos distantes são mais escuros, permitindo que o FLUX-ControlNet interprete a informação de profundidade com precisão.
Você pode gerar o mapa de profundidade a partir de uma imagem de entrada usando um modelo de estimativa de profundidade. Aqui, o nó "MiDaS-DepthMapPreprocessor" é usado para converter a imagem carregada em um mapa de profundidade adequado para o FLUX-ControlNet. Parâmetros chave:
- Threshold = 6.28 (afeta a sensibilidade às bordas)
- Depth scale = 0.1 (quanto os valores do mapa de profundidade são escalados)
- Output Size = 768 (resolução do mapa de profundidade)
No nó "ApplyFluxControlNet", o parâmetro Strength determina o quanto a imagem gerada é influenciada pelo condicionamento de profundidade do FLUX-ControlNet. Maior força fará com que a saída adira mais de perto à estrutura de profundidade.
2. Como Usar o Fluxo de Trabalho ComfyUI FLUX-ControlNet-Canny-V3
O processo é muito semelhante ao fluxo de trabalho FLUX-ControlNet-Depth. Primeiro, o modelo FLUX-ControlNet Canny é carregado usando "LoadFluxControlNet". Em seguida, ele é conectado ao nó "ApplyFluxControlNet".
- flux-canny-controlnet
- flux-canny-controlnet-v2
- flux-canny-controlnet-v3: ControlNet é treinado em resolução 1024x1024 e funciona para resolução 1024x1024, com uma versão melhor e mais realista
A imagem de entrada é convertida em um mapa de bordas Canny usando o nó "CannyEdgePreprocessor", otimizando-a para o FLUX-ControlNet. Parâmetros chave:
- Low Threshold = 100 (limiar de intensidade das bordas)
- High Threshold = 200 (limiar de histerese para bordas)
- Size = 832 (resolução do mapa de bordas)
O mapa de bordas Canny resultante é conectado ao nó "ApplyFluxControlNet". Novamente, use o parâmetro Strength para controlar o quanto o mapa de bordas influencia a geração do FLUX-ControlNet.
3. Tanto para ComfyUI FLUX-ControlNet-Depth-V3 quanto para ComfyUI FLUX-ControlNet-Canny-V3
Em ambos os fluxos de trabalho FLUX-ControlNet, o prompt de texto codificado pelo CLIP é conectado para conduzir o conteúdo das imagens, enquanto o condicionamento do FLUX-ControlNet controla a estrutura e a geometria com base no mapa de profundidade ou de bordas.
Combinando diferentes FLUX-ControlNets, modalidades de entrada como profundidade e bordas, e ajustando sua força, você pode alcançar um controle refinado sobre o conteúdo semântico e a estrutura das imagens geradas pelo FLUX-ControlNet.
Licença: controlnet.safetensors está sob a [FLUX.1 [dev]](https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md) Licença Não Comercial
Licença
Veja os arquivos de licença:
flux/model_licenses/LICENSE-FLUX1-dev
flux/model_licenses/LICENSE-FLUX1-schnell
O Modelo FLUX.1 [dev] é licenciado pela Black Forest Labs. Inc. sob a Licença Não Comercial FLUX.1 [dev]. Direitos autorais Black Forest Labs. Inc.
EM NENHUMA HIPÓTESE A BLACK FOREST LABS, INC. SERÁ RESPONSÁVEL POR QUALQUER RECLAMAÇÃO, DANOS OU OUTRA RESPONSABILIDADE, SEJA EM UMA AÇÃO DE CONTRATO, DELITO OU OUTRA, DECORRENTE DE, OU EM CONEXÃO COM O USO DESTE MODELO.
