O fluxo de trabalho ComfyUI LayerDiffuse integra três sub-fluxos de trabalho especializados: criar imagens transparentes, gerar o fundo a partir do primeiro plano e o processo inverso de gerar o primeiro plano com base no fundo existente. Cada um desses sub-fluxos de trabalho LayerDiffuse opera independentemente, fornecendo a flexibilidade de escolher e ativar a funcionalidade específica do LayerDiffuse que atende às suas necessidades criativas.
Este fluxo de trabalho permite a criação direta de imagens transparentes, fornecendo a flexibilidade de gerar imagens com ou sem especificar a máscara do canal alfa.
Para este fluxo de trabalho LayerDiffuse, comece carregando sua imagem de primeiro plano e criando um prompt descritivo. O LayerDiffuse então mescla esses elementos para produzir a imagem desejada. Ao elaborar seu prompt para o LayerDiffuse, é crucial detalhar a cena completa (por exemplo, "um carro estacionado na lateral da rua") em vez de apenas descrever o elemento de fundo (por exemplo, "a rua").
Espelhando o fluxo de trabalho anterior, essa funcionalidade LayerDiffuse inverte o foco, visando mesclar elementos do primeiro plano com um fundo existente. Portanto, você precisa carregar a imagem de fundo e descrever a imagem final imaginada em seu prompt, enfatizando a cena completa (por exemplo, "um cachorro caminhando na rua") sobre elementos individuais (por exemplo, "o cachorro").
Para mais fluxos de trabalho LayerDiffuse, confira no github
Embora o processo de criar imagens transparentes seja robusto e produza resultados de alta qualidade de forma confiável, os fluxos de trabalho para mesclar fundos e primeiro planos são mais experimentais. Eles podem nem sempre alcançar uma mistura perfeita, indicativo da natureza inovadora, mas em desenvolvimento, dessa tecnologia.
O LayerDiffuse é uma abordagem inovadora projetada para permitir que modelos de difusão latente pré-treinados em larga escala gerem imagens com transparência. Essa técnica introduz o conceito de "transparência latente", que envolve a codificação da transparência do canal alfa diretamente no manifold latente de modelos existentes. Isso permite a criação de imagens transparentes ou múltiplas camadas transparentes sem alterar significativamente a distribuição latente original do modelo pré-treinado. O objetivo é manter a saída de alta qualidade desses modelos enquanto adiciona a capacidade de gerar imagens com transparência.
Para alcançar isso, o LayerDiffuse ajusta modelos de difusão latente pré-treinados, ajustando seu espaço latente para incluir a transparência como um offset latente. Esse processo envolve mudanças mínimas no modelo, preservando suas qualidades e desempenho originais. O treinamento do LayerDiffuse utiliza um conjunto de dados de 1 milhão de pares de camadas de imagem transparentes, coletados por meio de um esquema human-in-the-loop para garantir uma ampla variedade de efeitos de transparência.
O método mostrou-se adaptável a vários geradores de imagem de código aberto e pode ser integrado em diferentes sistemas de controle condicional. Essa versatilidade permite uma variedade de aplicações, como gerar imagens com transparência específica de primeiro plano/fundo, criar camadas com recursos de geração conjunta e controlar o conteúdo estrutural das camadas.
RunComfy é a principal ComfyUI plataforma, oferecendo ComfyUI online ambiente e serviços, juntamente com fluxos de trabalho do ComfyUI apresentando visuais impressionantes. RunComfy também oferece AI Playground, permitindo que artistas utilizem as mais recentes ferramentas de AI para criar arte incrível.
