JoyAI Image Edit ComfyUI: edición de imágenes guiada por instrucciones que preserva la estructura
Este flujo de trabajo ofrece ediciones rápidas guiadas por instrucciones a una imagen de referencia única directamente dentro de ComfyUI. Construido sobre el stack JoyAI-Image-Edit, realiza cambios guiados por prompts como intercambios de objetos y colores, ajustes espaciales y renderizado de texto limpio mientras mantiene intacta la composición original. JoyAI Image Edit ComfyUI es ideal para diseñadores, equipos de productos y creadores que necesitan ediciones controladas sin enmascaramiento manual.
Proporcionas una imagen y una breve instrucción como "Haz el plato azul". El flujo de trabajo envía esa solicitud a través del transformador JoyAI Image Edit, codificador de texto y VAE, luego devuelve una imagen editada que respeta los límites de disposición y contenido. Es una configuración compacta y específica del modelo de ComfyUI enfocada en resultados predecibles y reproducibilidad.
Modelos clave en el flujo de trabajo Comfyui JoyAI Image Edit ComfyUI
- Transformador JoyAI-Image-Edit. Modelo de edición principal que se basa en tu instrucción y la imagen de referencia para producir cambios que preservan la estructura. Tarjeta del modelo: jdopensource/JoyAI-Image-Edit.
- Codificador de texto y tokenizador JoyAI-Image-Edit. Codifica la instrucción de edición en embeddings que el transformador puede seguir. La implementación y uso están en el código de JoyAI Image: jd-opensource/JoyAI-Image.
- VAE para JoyAI Image Edit. Comprime y reconstruye imágenes para edición y decodificación, contribuyendo a la fidelidad del color y la retención de detalles. El flujo de trabajo referencia un punto de control VAE Wan 2.1 incluido con el stack JoyAI.
Cómo usar el flujo de trabajo Comfyui JoyAI Image Edit ComfyUI
El proceso fluye de izquierda a derecha: carga una imagen fuente, escribe una instrucción, carga el stack JoyAI, ejecuta la edición, y luego guarda. No necesitas un máscara para ediciones típicas, y el flujo de trabajo está diseñado para resultados reproducibles.
- Prepara la imagen fuente
- Carga tu referencia con
LoadImage(#6). Usa una imagen limpia y bien iluminada para obtener mejores resultados y mantén el sujeto razonablemente centrado. Si deseas preservar el encuadre exactamente, recorta la fuente de antemano en lugar de cambiar el tamaño del lienzo después. El flujo de trabajo pasa esta imagen directamente a la etapa de edición para que su estructura ancle el resultado.
- Carga tu referencia con
- Escribe la instrucción de edición
- Ingresa tu solicitud en
Prompt(#4) y define opcionalmente exclusiones enNegative Prompt(#5). Mantén las instrucciones cortas, específicas y accionables, por ejemplo, "haz la taza roja", "reemplaza el cielo con un atardecer" o "agrega el texto JOYAI en el cuaderno". Los prompts negativos ayudan a evitar colores, objetos o estilos no deseados. JoyAI Image Edit ComfyUI respeta la instrucción mientras mantiene la consistencia de la disposición con el original.
- Ingresa tu solicitud en
- Carga el stack JoyAI
- Los componentes del modelo se cargan mediante
JoyAIImageEditTransformerLoader(#1),JoyAIImageEditTextEncoderLoader(#2), yJoyAIImageEditVAELoader(#3). Estos nodos obtienen los pesos del transformador, el codificador de texto más el tokenizador, y el VAE que gobierna la codificación y decodificación de la imagen. Normalmente no necesitas cambiar estos a menos que estés intercambiando puntos de control para un aspecto o comportamiento diferente. Mantener este trío consistente asegura que la semántica de la instrucción, la geometría y el espacio de color permanezcan estables.
- Los componentes del modelo se cargan mediante
- Ejecuta la edición
JoyAIImageEditPipeline(#7) fusiona tu imagen fuente con los embeddings de la instrucción para generar el resultado editado. El pipeline equilibra la fuerza de la instrucción contra la fidelidad estructural para que los objetos se mantengan donde pertenecen mientras sus atributos cambian según lo solicitado. Usa una semilla fija para reproducibilidad o cambia las semillas para explorar variaciones. Si necesitas letras más nítidas o bordes finos, aumenta la configuración de calidad en el muestreador mientras mantienes el tamaño de la imagen razonable en relación con tu fuente.
- Guarda y revisa
SaveImage(#8) escribe la salida editada. Usa nombres versionados para comparar ejecuciones lado a lado y mantén la semilla en tu nombre de archivo o notas para que puedas reproducir un resultado favorito. Al iterar, ajusta solo un control a la vez para ver causa y efecto claros.
Nodos clave en el flujo de trabajo Comfyui JoyAI Image Edit ComfyUI
JoyAIImageEditPipeline(#7)- Orquestador central que aplica la instrucción a la imagen de referencia usando el transformador JoyAI, el codificador de texto y el VAE. Ajusta primero
promptynegative_prompt. Usa unaseedfija para repeticiones deterministas, luego varíala para explorar alternativas. Equilibra la fuerza de la instrucción y la calidad del muestreo para intercambiar velocidad por fidelidad, y mantén las dimensiones de salida cerca de la proporción de aspecto de la fuente para preservar la disposición.
- Orquestador central que aplica la instrucción a la imagen de referencia usando el transformador JoyAI, el codificador de texto y el VAE. Ajusta primero
JoyAIImageEditTransformerLoader(#1)- Carga el punto de control del transformador JoyAI-Image-Edit que determina cuán fuerte y limpiamente las ediciones siguen tu texto. Cambiar este peso puede cambiar significativamente el estilo y la capacidad de respuesta. Empareja el transformador y el codificador de texto de la misma familia de lanzamientos para evitar desajustes de embeddings.
JoyAIImageEditTextEncoderLoader(#2)- Proporciona el codificador de texto y el tokenizador que traducen tu instrucción en embeddings legibles por el modelo. Un fraseo claro y conciso mejora la calidad del embedding. Las configuraciones de precisión pueden influir en el uso de VRAM y la velocidad, así que elige el modo que se adapte a tu hardware y tamaño de lote.
JoyAIImageEditVAELoader(#3)- Carga el VAE que gobierna cómo se codifican y decodifican las imágenes alrededor de la edición. Diferentes VAEs pueden cambiar sutilmente el color y el contraste, así que mantén esto consistente a través de experimentos cuando estés evaluando prompts. Si cambias el VAE, revisa tus prompts para reequilibrar la redacción del color.
Extras opcionales
- Elaboración de prompts
- Prefiere acciones simples y claras como "haz el plato azul" sobre párrafos de varios pasos. Nombra objetos visibles con precisión y usa sustantivos singulares al editar atributos. Para ediciones espaciales, fundamenta la solicitud con preposiciones como "en la mesa", "en el fondo" o "en la pared".
- Resolución y composición
- Preserva la proporción de aspecto de la fuente para mantener la geometría. Escala después de la edición si necesitas entregables más grandes en lugar de presionar resoluciones de edición extremas.
- Reproducibilidad
- Mantén una semilla fija al comparar variaciones de prompts, luego desbloquea la semilla para muestrear alternativas una vez que estés satisfecho.
- Referencias y fuentes
- Tarjeta del modelo y pesos: jdopensource/JoyAI-Image-Edit
- Detalles de implementación y actualizaciones: jd-opensource/JoyAI-Image
- Plantilla de gráfico de ComfyUI utilizada por este proyecto: joyai_image_comfyui
Agradecimientos
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos enormemente a jd-opensource por el repositorio JoyAI-Image, jd-opensource por el flujo de trabajo JoyAI-Image ComfyUI, y jdopensource por el modelo JoyAI-Image-Edit por sus contribuciones y mantenimiento. Para obtener detalles autorizados, consulta la documentación original y los repositorios enlazados a continuación.
Recursos
- jd-opensource/JoyAI-Image
- GitHub: jd-opensource/JoyAI-Image
- jd-opensource/joyai_image_comfyui
- GitHub: jd-opensource/JoyAI-Image
- jdopensource/JoyAI-Image-Edit
- Hugging Face: jdopensource/JoyAI-Image-Edit
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.

