Os nós OmniGen-ComfyUI e seu fluxo de trabalho associado são totalmente desenvolvidos por AIFSH e saftle. Damos todo o crédito devido a AIFSH e saftle por este trabalho inovador. Na plataforma RunComfy, estamos simplesmente apresentando as contribuições de AIFSH e saftle para a comunidade. É importante notar que atualmente não há conexão ou parceria formal entre RunComfy e AIFSH e saftle. Apreciamos profundamente o trabalho de AIFSH e saftle!
O fluxo de trabalho ComfyUI OmniGen permite que você manipule uma foto para mudar as roupas do sujeito, fundo, Prova Virtual de Roupas, Selfie com Celebridade, adicionar ou remover elementos e muito mais. Você pode adicionar até 3 imagens de referência para obter os resultados desejados.
OmniGen
OmniGen é um modelo versátil e unificado de geração de imagens projetado para criar visuais diversos a partir de prompts multimodais com simplicidade e flexibilidade. Ao contrário dos modelos tradicionais, elimina a necessidade de módulos extras como ControlNet ou etapas de pré-processamento, como estimativa de pose, permitindo saída direta através de instruções baseadas em texto. Inspirado na abordagem fluida do GPT para geração de texto, OmniGen capacita os usuários a ajustá-lo para qualquer tarefa criativa ou especializada com esforço mínimo. Sua estrutura inovadora torna a geração de imagens mais acessível, promovendo possibilidades ilimitadas para criatividade visual. OmniGen é um avanço na geração universal de imagens, inspirando a próxima onda de ferramentas de IA transformadoras.
1.1 Como Usar o Fluxo de Trabalho OmniGen?
Neste fluxo de trabalho, os nós Verdes à Esquerda são as entradas para Imagens de Referência e Resoluções. Os nós Rosa e Roxo no Meio são o desamostrador OmniGen e o Carregador de Modelo OmniGen e o Azul à Direita é o nó de Salvamento de Imagem.
- Carregue suas Imagens de Referência.
- Insira sua resolução e prompts
- Clique em Queue
Não há necessidade de configurar nada, Renderizado de forma tão simples.
1.2 Carregar Imagens de Entrada de Referência
- Carregue 1, 2 ou até 3 Imagens de Referência, elementos como roupas, pessoas, celebridades, animais, etc.
- Essas Imagens também serão Usadas em Prompts com a palavra de gatilho como "image_1" , "image_2" e "image_3" respectivamente.
1.3 Resolução
- Neste nó defina sua resolução para a imagem de saída.
- Em resoluções de imagem mais altas (acima de 1k) mais Vram será consumida e também há chances de ocorrer figuras ou sujeitos duplos.
- Você pode alterar o batch_size e a seed para randomizar no sampler para gerar variações.
1.4 Amostrador e Prompts OmniGen
- Prompt: Adicione seus prompts com base em suas imagens de referência. Denote imagens de entrada como "image_1" , "image_2" e "image_3".
- Exemplo: A Pessoa na image_1 está usando a jaqueta da image_2.
num_inferene_step:Define os passos de amostragem para OmniGen, Use valor em torno de 25-35 para bons resultadosimg_guidance_scale:Define a ponderação/Força para a(s) imagem(ns) de referência.max_input_image_size:Limita as resoluções das entradas.
1.5 Modelos OmniGen
Os modelos são baixados deste Repositório do Shitao no Hugging Face, em sua pasta comfyui/model/OmniGen manualmente pelo servidor runcomfy. Pode levar de 3 a 5 minutos para fazer uma cópia local em sua máquina.
Você pode Carregar outros modelos OmniGen aqui quando forem lançados.
OmniGen redefine a geração de imagens ao oferecer uma abordagem unificada e flexível que simplifica fluxos de trabalho e elimina a necessidade de ferramentas adicionais ou pré-processamento. Sua fácil afinidade e capacidades multimodais abrem novas possibilidades para tarefas criativas e especializadas. OmniGen prepara o cenário para uma geração visual impulsionada por IA mais acessível e inovadora no futuro.
