Con GPT‑6 Astra en Codex ejecutando experimentos, Asana optimizó el flujo de trabajo de su agente de navegador en GPT‑6.1 Sol para que fuera 76x más barato y 5x más rápido.
Asana ayuda a los clientes a automatizar el trabajo en aplicaciones empresariales mediante StackAI(se abre en una nueva ventana), una plataforma que adquirió(se abre en una nueva ventana). Con StackAI, los clientes pueden crear flujos de trabajo que navegan por sitios web, completan formularios y recopilan información sin escribir código. A la escala de Asana, las pequeñas ineficiencias en estos flujos de trabajo se acumulan.
El CTO de StackAI en Asana, Frank Hidalgo, PhD, se propuso hacer que el agente de navegador fuera más rápido y más barato de ejecutar. Dirigió a GPT‑6 Astra en Codex para investigar el agente, probar mejoras y comparar los resultados. Un trabajo que estima habría llevado de uno a dos meses a mano tomó alrededor de una semana.
El estudio de Asana con 144 ejecuciones(se abre en una nueva ventana) probó GPT‑6.1 Sol y otros tres modelos de frontera, llamados aquí Modelos A, B y C. El flujo de trabajo optimizado que surgió en GPT‑6.1 Sol promedió $0.47 en costos estimados del modelo y alrededor de cuatro minutos por ejecución, 76x más barato y 5x más rápido que la configuración de producción original en el Modelo B.
“Así se ven en la práctica los equipos de humanos y agentes. Un ingeniero estableció la dirección, GPT-6 Astra ejecutó los experimentos, y los resultados pasaron por Command a producción. Esto demuestra cómo Asana da vida a los equipos humanos y de agentes.”—Arnab Bose, CPO de Asana
Identificación de ineficiencias del agente de navegador con GPT‑6 Astra
Para avanzar con rapidez, Hidalgo comenzó usando GPT‑6 Astra en Codex para mapear la base de código y explicar cómo el agente construía cada solicitud al modelo. GPT‑6 Astra descubrió que el agente almacenaba en caché sus instrucciones fijas y definiciones de herramientas, pero no el historial creciente de texto de páginas y capturas de pantalla que recopilaba, por lo que cada solicitud reenviaba ese historial a precio completo.
El agente también descartaba capturas de pantalla más antiguas y recortaba texto en casi cada paso. Cada edición alteraba el historial, por lo que almacenar en caché solo el historial no habría ayudado, y perder esos datos podría obligar al agente a volver a visitar páginas que ya había leído.
De un estimado de dos meses de investigación a una semana con GPT‑6 Astra
Hidalgo revisó las correcciones propuestas por GPT‑6 Astra y seleccionó tres para probar:
Extender el almacenamiento en caché al historial de navegación del agente
Aumentar la cantidad de texto que podía retener
Eliminar las capturas de pantalla en lotes en lugar de en cada paso
GPT‑6 Astra comenzó con pruebas rápidas para establecer qué variables importaban. Debido a que el código no estaba diseñado para experimentos controlados, luego refactorizó el código de modo que un frontend y un backend pudieran soportar muchos flujos de trabajo en paralelo, cada uno con su propia configuración.
Astra llevó a cabo el estudio completo: presupuestos de historial de 120,000 y 480,000 caracteres y seis políticas de almacenamiento en caché y capturas de pantalla, cada una probada tres veces en cada uno de los cuatro modelos (ver la tabla abajo). La política con mejor rendimiento permitía que las capturas de pantalla se acumularan hasta 20 antes de reducir a la más reciente. Esto mantenía el historial anterior sin cambios durante períodos más largos entre eliminaciones. Combinado con el presupuesto de historial más grande, se convirtió en el flujo de trabajo optimizado. Cada configuración realizó la misma tarea: recopilar seis campos para cada uno de 32 libros de un catálogo de demostración público, representativo de lo que algunos clientes de Asana ejecutan en StackAI.
Modelo | Descripción | Precio |
|---|---|---|
Modelo A | Un modelo más pequeño y menos costoso de otro laboratorio de frontera, lanzado en el otoño de 2025 | La mitad del precio de GPT‑6.1 Sol |
Modelo B | El modelo usado originalmente en producción, del mismo laboratorio que el Modelo A, lanzado en el verano de 2026 | Mismo precio que GPT‑6.1 Sol |
Modelo C | Una versión actualizada del Modelo B, lanzada en el otoño de 2026 | Mismo precio que GPT‑6.1 Sol |
GPT‑6.1 Sol | El modelo de OpenAI |
GPT‑6 Astra ejecutó los flujos de trabajo y examinó las solicitudes, los registros de uso y las salidas, y sesiones de modelos separadas revisaron el trabajo. Las solicitudes, los rastros de datos y los resultados de cada sesión quedaron registrados en Command(se abre en una nueva ventana), la plataforma de entrega de software de Asana, de modo que el equipo pudiera revisar después el estudio completo. Desde Command, los hallazgos se convirtieron en tickets, luego en pull requests, y los cambios llegaron a producción.
«Esto me habría llevado de uno a dos meses a mano. Con GPT-6 Astra en Codex, tomó alrededor de una semana: establecía un /goal antes de irme a dormir y revisaba los resultados por la mañana».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Reducir el costo del modelo por debajo de $0.50 por ejecución
Para el Modelo B, la optimización redujo el costo estimado del modelo de al menos $36.21 (algunas ejecuciones originales alcanzaban el límite de pasos antes de terminar) a $1.24 por ejecución, una reducción de 29x. El flujo de trabajo optimizado en GPT‑6.1 Sol fue aún 2.6x más barato, a $0.47. Cada ejecución del flujo de trabajo optimizado completó la tarea y devolvió la respuesta correcta.
Medias de 3 ejecuciones. ≥: la línea base incluye ejecuciones limitadas, por lo que su media es un límite inferior.
Los dos pliegues derechos se comparan con el Modelo B optimizado. El Modelo B se ejecutó en la fase 1, y el Modelo C y Sol 6.1 en la fase 2 del mismo estudio (línea punteada).
Solo en GPT‑6.1 Sol, con el mayor presupuesto de historial, la nueva política de caché y capturas de pantalla redujo el costo 4x, de $1.97 a $0.47 por ejecución. Cada llamada fue alrededor de 3x más barata, porque el 89% de la entrada provenía de la caché al 5% del precio sin caché. Las ejecuciones también se volvieron más rápidas: al menos 22.5 minutos en la configuración original en el Modelo B, unos cuatro minutos con el flujo de trabajo optimizado en GPT‑6.1 Sol.
Media de 3 ejecuciones, barras de SD. ≥: la media incluye una ejecución limitada o sin terminar, por lo que el valor real es al menos este grande.
Las barras usan el tema azul. Lea los efectos de la caché contra la barra de presupuesto mayor de 480k.
Los marcadores de ejecución y las barras de SD son reconstrucciones aproximadas de la imagen original; los valores de las ejecuciones subyacentes y las desviaciones estándar no estaban disponibles.
Media de 3 ejecuciones, barras de SD. ≥: la media incluye una ejecución limitada o sin terminar, por lo que el valor real es al menos este grande.
Las barras usan el tema azul. Lea los efectos de la caché contra la barra de presupuesto mayor de 480k.
Los marcadores de ejecución y las barras de SD son reconstrucciones aproximadas de la imagen original; los valores de las ejecuciones subyacentes y las desviaciones estándar no estaban disponibles.
La investigación también mostró cómo la gestión del historial afectaba si el agente producía una respuesta o no. Darle a GPT‑6.1 Sol más espacio para retener su historial de navegación aumentó el número de ejecuciones que producían una respuesta de tres de 18 con el presupuesto de historial menor a las 18 con el presupuesto mayor, cada una con la respuesta correcta. Para Hidalgo, el valor comercial consiste en dar a los clientes acceso a modelos más rápidos y capaces manteniendo los costos operativos sostenibles.
«El costo solía limitar qué modelos podíamos ofrecer a los clientes para estas cargas de trabajo. Al hacer el agente más eficiente, podemos dar a los clientes un modelo mejor y más rápido reduciendo nuestros costos operativos».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Ampliar la experimentación y las pruebas de producto
Asana ha publicado los cambios de navegación del navegador en StackAI y está desarrollando herramientas para facilitar la repetición de experimentos similares. Con el tiempo, el equipo planea incorporar estas pruebas en las evaluaciones de la plataforma, para que los clientes y los equipos internos puedan comparar el costo, el tiempo de ejecución y la calidad de las respuestas al configurar sus agentes.
«La velocidad de envío ya no es el cuello de botella; la atención humana lo es. Estamos cerca de un mundo donde cada ingeniero es un PM que dirige una flota de agentes».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Asana ahora usa GPT‑6 Astra en Codex para probar funciones del producto antes de su lanzamiento: Astra navega por la plataforma, prueba diferentes entradas e informa errores a los revisores de QA humanos. Hidalgo ve esto como la base de un nuevo ciclo de vida del desarrollo de software, con muchas sesiones de agentes en la nube probando funciones en paralelo.
El estudio completo está disponible en Asana(se abre en una nueva ventana) y StackAI(se abre en una nueva ventana) blogs.