¿Qué es PhotoMakerV2
PhotoMakerV2, una actualización de PhotoMaker, ofrece un método eficiente para la generación de texto a imagen personalizada. Sintetiza fotos realistas de individuos usando unas pocas imágenes de identidad de entrada y una indicación de texto.
Algunas características clave de PhotoMakerV2 incluyen:
- Alta eficiencia: Genera fotos personalizadas rápidamente.
- Excelente preservación de identidad: Mantiene la semejanza de las identidades de entrada.
- Control de texto flexible: Permite especificar el contexto, estilo, atributos, etc., en la indicación.
- Mejor fidelidad de identidad: Mejorada en comparación con PhotoMaker V1.
PhotoMakerV2 genera imágenes fotorrealistas de una persona en varios contextos, estiliza apariencias, cambia atributos como edad y género, fusiona identidades y moderniza personas de fotos antiguas o obras de arte. Desbloquea numerosas posibilidades creativas.
Cómo funciona PhotoMakerV2
PhotoMakerV2 codifica una o más imágenes de identidad de entrada en una "stacked ID embedding", que sirve como una representación unificada que encapsula la información de identidad.
Esta embedding, combinada con una indicación de texto, se alimenta a un modelo de difusión de texto a imagen. El modelo luego produce una imagen que muestra la identidad embebida en el contexto descrito por la indicación.
Algunos aspectos clave de cómo funciona internamente:
- Utiliza un codificador de identidad para extraer información de identidad de las imágenes faciales de entrada
- Mejora la preservación de identidad aprovechando un modelo externo de reconocimiento facial (InsightFace)
- Codifica múltiples imágenes de identidad en una embedding apilada para capturar la identidad de manera integral
- Alimenta la embedding de ID apilada en las capas de atención cruzada del modelo de difusión
- Guía la generación con la indicación de texto mientras fusiona adaptativamente la información de identidad
- Entrenado con un conjunto de datos orientado a la identidad para mejorar las capacidades de identificación
Cómo usar ComfyUI PhotoMakerV2
Para usar PhotoMakerV2 en ComfyUI, interactúa principalmente con el nodo PhotoMakerEncodePlus. Un flujo de trabajo típico implica:
- Carga el modelo PhotoMakerV2 usando el nodo "PhotoMaker Loader Plus".
- Carga una o más imágenes de identidad usando el nodo "Prepare Images For CLIP Vision".
- Carga el modelo InsightFace requerido por PhotoMakerV2 usando el nodo "PhotoMaker InsightFace Loader".
- Conecta las salidas de estos nodos a las entradas correspondientes del nodo "PhotoMaker Encode Plus".
- En el nodo "PhotoMaker Encode Plus", especifica la indicación que describe la imagen deseada. Usa la palabra desencadenante especial en la indicación donde debería aparecer la identidad.
- Conecta la salida de acondicionamiento de "PhotoMaker Encode Plus" a un nodo "KSampler" para generar la imagen.
Para más información, por favor visita PhotoMaker Hugging Face y ComfyUI-PhotoMaker-Plus. Todo el crédito va a sus contribuciones.
