OmniGen | Imagem-Para-Imagem

Os nós OmniGen-ComfyUI e seu fluxo de trabalho associado são totalmente desenvolvidos por AIFSH e saftle. Damos todo o crédito devido a AIFSH e saftle por este trabalho inovador. Na plataforma RunComfy, estamos simplesmente apresentando as contribuições de AIFSH e saftle para a comunidade. É importante notar que atualmente não há conexão ou parceria formal entre RunComfy e AIFSH e saftle. Apreciamos profundamente o trabalho de AIFSH e saftle!

O fluxo de trabalho ComfyUI OmniGen permite que você manipule uma foto para mudar as roupas do sujeito, fundo, Prova Virtual de Roupas, Selfie com Celebridade, adicionar ou remover elementos e muito mais. Você pode adicionar até 3 imagens de referência para obter os resultados desejados.

OmniGen

OmniGen é um modelo versátil e unificado de geração de imagens projetado para criar visuais diversos a partir de prompts multimodais com simplicidade e flexibilidade. Ao contrário dos modelos tradicionais, elimina a necessidade de módulos extras como ControlNet ou etapas de pré-processamento, como estimativa de pose, permitindo saída direta através de instruções baseadas em texto. Inspirado na abordagem fluida do GPT para geração de texto, OmniGen capacita os usuários a ajustá-lo para qualquer tarefa criativa ou especializada com esforço mínimo. Sua estrutura inovadora torna a geração de imagens mais acessível, promovendo possibilidades ilimitadas para criatividade visual. OmniGen é um avanço na geração universal de imagens, inspirando a próxima onda de ferramentas de IA transformadoras.

1.1 Como Usar o Fluxo de Trabalho OmniGen?

Neste fluxo de trabalho, os nós Verdes à Esquerda são as entradas para Imagens de Referência e Resoluções. Os nós Rosa e Roxo no Meio são o desamostrador OmniGen e o Carregador de Modelo OmniGen e o Azul à Direita é o nó de Salvamento de Imagem.

1. Carregue suas Imagens de Referência.
2. Insira sua resolução e prompts
3. Clique em Queue

Não há necessidade de configurar nada, Renderizado de forma tão simples.

1.2 Carregar Imagens de Entrada de Referência

• Carregue 1, 2 ou até 3 Imagens de Referência, elementos como roupas, pessoas, celebridades, animais, etc.
• Essas Imagens também serão Usadas em Prompts com a palavra de gatilho como "image_1" , "image_2" e "image_3" respectivamente.

1.3 Resolução

• Neste nó defina sua resolução para a imagem de saída.
• Em resoluções de imagem mais altas (acima de 1k) mais Vram será consumida e também há chances de ocorrer figuras ou sujeitos duplos.
• Você pode alterar o batch_size e a seed para randomizar no sampler para gerar variações.

1.4 Amostrador e Prompts OmniGen

• Prompt: Adicione seus prompts com base em suas imagens de referência. Denote imagens de entrada como "image_1" , "image_2" e "image_3".
  • Exemplo: A Pessoa na image_1 está usando a jaqueta da image_2.
• num_inferene_step: Define os passos de amostragem para OmniGen, Use valor em torno de 25-35 para bons resultados
• img_guidance_scale: Define a ponderação/Força para a(s) imagem(ns) de referência.
• max_input_image_size: Limita as resoluções das entradas.

1.5 Modelos OmniGen

Os modelos são baixados deste Repositório do Shitao no Hugging Face, em sua pasta comfyui/model/OmniGen manualmente pelo servidor runcomfy. Pode levar de 3 a 5 minutos para fazer uma cópia local em sua máquina.

Você pode Carregar outros modelos OmniGen aqui quando forem lançados.

OmniGen redefine a geração de imagens ao oferecer uma abordagem unificada e flexível que simplifica fluxos de trabalho e elimina a necessidade de ferramentas adicionais ou pré-processamento. Sua fácil afinidade e capacidades multimodais abrem novas possibilidades para tarefas criativas e especializadas. OmniGen prepara o cenário para uma geração visual impulsionada por IA mais acessível e inovadora no futuro.