O que é o PhotoMakerV2
PhotoMakerV2, uma atualização do PhotoMaker, oferece um método eficiente para geração de texto-para-imagem personalizada. Ele sintetiza fotos realistas de indivíduos usando algumas imagens de identidade de entrada e um prompt de texto.
Algumas características principais do PhotoMakerV2 incluem:
- Alta eficiência: Gera fotos personalizadas rapidamente.
- Excelente preservação de identidade: Mantém a semelhança das identidades de entrada.
- Controle flexível de texto: Permite especificar contexto, estilo, atributos, etc., no prompt.
- Fidelidade de identidade aprimorada: Melhorada em comparação com o PhotoMaker V1.
PhotoMakerV2 gera imagens fotorrealistas de uma pessoa em vários contextos, estiliza aparências, altera atributos como idade e gênero, mescla identidades e moderniza pessoas de fotos antigas ou obras de arte. Ele desbloqueia inúmeras possibilidades criativas.
Como o PhotoMakerV2 Funciona
PhotoMakerV2 codifica uma ou mais imagens de identidade de entrada em uma "incorporação de ID empilhada", servindo como uma representação unificada que encapsula informações de identidade.
Esta incorporação, combinada com um prompt de texto, alimenta um modelo de difusão texto-para-imagem. O modelo então produz uma imagem que retrata a identidade incorporada no contexto descrito pelo prompt.
Alguns aspectos principais de como funciona nos bastidores:
- Utiliza um codificador de identidade para extrair informações de identidade das imagens faciais de entrada
- Melhora a preservação da identidade aproveitando um modelo externo de reconhecimento facial (InsightFace)
- Codifica várias imagens de identidade em uma incorporação empilhada para capturar a identidade de forma abrangente
- Alimenta a incorporação de ID empilhada nas camadas de atenção cruzada do modelo de difusão
- Guia a geração com o prompt de texto enquanto mescla adaptativamente as informações de identidade
- Treinado com um conjunto de dados orientado para a identidade para melhorar as capacidades de identificação
Como Usar o ComfyUI PhotoMakerV2
Para usar o PhotoMakerV2 no ComfyUI, interaja principalmente com o nó PhotoMakerEncodePlus. Um fluxo de trabalho típico envolve:
- Carregar o modelo PhotoMakerV2 usando o nó "PhotoMaker Loader Plus".
- Carregar uma ou mais imagens de identidade usando o nó "Prepare Images For CLIP Vision".
- Carregar o modelo InsightFace necessário pelo PhotoMakerV2 usando o nó "PhotoMaker InsightFace Loader".
- Conectar as saídas desses nós às entradas correspondentes do nó "PhotoMaker Encode Plus".
- No nó "PhotoMaker Encode Plus", especifique o prompt descrevendo a imagem desejada. Use a palavra de gatilho especial no prompt onde a identidade deve aparecer.
- Conectar a saída de condicionamento do "PhotoMaker Encode Plus" a um nó "KSampler" para gerar a imagem.
Para mais informações, visite PhotoMaker Hugging Face e ComfyUI-PhotoMaker-Plus. Todos os créditos vão para suas contribuições.
