Adobe está probando qué tan bien los agentes de IA pueden utilizar herramientas de edición, como lo haría un profesional de Photoshop.

Puntos clave

• Adobe Research y UC San Diego desarrollaron EditAgent, un sistema de IA que divide las tareas de edición de imágenes en subpasos y combina un editor de uso general con herramientas especializadas para tareas como el afilado o el zoom.
• Un modelo de lenguaje estándar evalúa variantes de imágenes generadas en paralelo, utilizando estadísticas medidas y capturas de alta resolución. Con estos datos, supera a los modelos de evaluación que fueron entrenados específicamente para esa tarea.
• El EditAgent produce resultados más precisos que los agentes de IA anteriores, pero requiere aproximadamente diez veces más potencia computacional. La salida verificada puede luego utilizarse para entrenar modelos de edición más rápidos.

Los investigadores de Adobe desarrollaron un agente de IA para la edición de imágenes que combina un editor de uso general con herramientas especializadas. Un modelo de lenguaje estándar compara los resultados utilizando datos medidos y selecciona el mejor.

Los agentes de IA para edición de imágenes dividen las solicitudes complejas en pasos y, por lo general, repiten los pasos que fallan con los mismos herramientas, mientras que un modelo separado evalúa el resultado con una simple mirada.

Investigadores de Adobe Research y UC San Diego quieren cambiar eso con EditAgent, un sistema que funciona más como un profesional en Photoshop, según un artículo nuevo. El sistema selecciona la herramienta adecuada para cada tarea y compara el resultado con el original utilizando números exactos.

Los editores de uso general fallan en demasiadas tareas

En un test de 600 ediciones de imágenes, evaluadas por cinco profesionales, el editor multiusos Flux-2-Klein-9B no logró producir un resultado útil en el 42.7 por ciento de los casos. Las herramientas especializadas resolvieron aproximadamente dos tercios de esos fallos, especialmente para afinar, rotar y ampliar imágenes. Más intentos con el mismo editor apenas ayudaron.

Los investigadores también probaron si un agente obtiene mejores resultados refinando los datos paso a paso o generando múltiples variantes en paralelo. El refinamiento iterativo acumula pequeños errores, ya que cada ronda se basa en una imagen ya modificada. Los profesionales preferían las variantes paralelas generadas a partir del original en el 78.5 por ciento de las comparaciones en las que eligieron un bando. El agente necesitó solo la mitad de los pasos de evaluación. EditAgent se basa en estos dos hallazgos.

Los números difíciles convierten los modelos estándar en mejores jueces

El EditAgent planifica una solicitud en etapas y, para cada etapa, compara el editor de propósito general con las herramientas especializadas correspondientes. Luego, un modelo de lenguaje estándar compara todas las variantes en una sola pasada.

Para cada variante, el modelo obtiene un registro de verificación con una imagen detallada de la zona editada, un mapa de cambios en las regiones modificadas y estadísticas medidas sobre el brillo y el color. En un ejemplo, se pretendía iluminar suavemente una foto. Los números mostraron que la edición de uso general la había exponido en exceso y había cambiado los colores a más cálidos. La herramienta especializada se mantuvo dentro de los parámetros especificados.

Los investigadores probaron esto en su benchmark 600-edit. El modelo de juez tenía que elegir el mejor resultado entre varios candidatos, y contaron con qué frecuencia eligió una imagen que los profesionales también calificaban como útil. Para comparación, ejecutaron modelos como EditScore que fueron ajustados con calificaciones humanas de las ediciones de imágenes.

Sin el registro de verificación, ninguno de los siete modelos de lenguaje probados pudo igualar al mejor modelo entrenado fino. Con él, los siete superaron a todos los modelos entrenados fino. Qwen3.8-27B fue útil el 81.3 por ciento de las veces, en comparación con el 74.8 por ciento de EditScore-72B. Para los investigadores, esto sugiere que lo que un modelo de juez ve puede ser más importante que cómo fue entrenado.

Después de cada ronda, EditAgent también verifica si las ediciones posteriores accidentalmente anulan las anteriores. En el ejemplo del artículo, la instrucción “dejar entrar más luz solar” hace que una ventana previamente cubierta con vidrio vuelva a estar clara. El agente detecta el conflicto y lo soluciona.

El EditAgent mejoró los editores de código abierto Qwen-Image-Edit-2511 y Flux-2-Klein-9B en tres pruebas de rendimiento y superó a siete otros agentes de IA. En la prueba EdiVal, la variante Qwen en su tercera ronda de edición superó a los modelos comerciales Seedream 4.0 y GPT-Image-1.5. Pero el agente necesita aproximadamente diez veces más potencia computacional que un único editor, y su rendimiento depende de los herramientas que se conectan.

El agente genera datos de entrenamiento para editores más rápidos

Los investigadores también utilizan EditAgent como fuente de datos. Dado que el agente solo conserva los resultados verificados, generó aproximadamente 26,000 ejemplos de entrenamiento. Los editores que ajustaron los modelos con esos datos obtuvieron mejores resultados en todos los tres benchmarks. Por otro lado, los datos de entrenamiento generados directamente por FLUX, en realidad empeoraron el rendimiento de FLUX. Esa compensación podría hacer que los altos costos de computación del agente valgan la pena a lo largo del tiempo.

Adobe agregó agentes de IA en Photoshop, Premiere y otras aplicaciones de Creative Cloud en junio, comenzando como una versión beta pública. Los usuarios describen lo que desean, y el agente se encarga de los pasos individuales. La calidad con la que estos agentes seleccionan las herramientas adecuadas y verifican su propio resultado es una cuestión que afecta directamente a los productos de Adobe. Black Forest Labs ha reemplazado el modelo de uso general probado en el artículo: el nuevo Flux 3 Image Klein tiene 5.6 mil millones de parámetros, más pequeños que el Flux 2 Klein, pero obtiene una puntuación superior a todos los otros modelos abiertos e incluso al comercial Flux 2 Pro en las pruebas internas de Black Forest Labs.