Con GPT‑6 Astra en Codex ejecutando experimentos, Asana optimizó el flujo de trabajo de su agente de navegador en GPT‑6.1 Sol para que fuera 76x más barato y 5x más rápido.
Asana ayuda a los clientes a automatizar el trabajo en las aplicaciones empresariales mediante StackAI(se abre en una ventana nueva), una plataforma que adquirió(se abre en una ventana nueva). Con StackAI, los clientes pueden crear flujos de trabajo que navegan por sitios web, completan formularios y recopilan información sin escribir código. A la escala de Asana, las pequeñas ineficiencias en estos flujos de trabajo se acumulan.
El CTO de StackAI en Asana, Frank Hidalgo, PhD, se propuso hacer que el agente de navegador fuera más rápido y más barato de ejecutar. Dirigió a GPT‑6 Astra en Codex para investigar el agente, probar mejoras y comparar los resultados. Un trabajo que estima le habría tomado de uno a dos meses a mano tomó alrededor de una semana.
El estudio de Asana con 144 ejecuciones(se abre en una ventana nueva) probó GPT‑6.1 Sol y otros tres modelos de frontera, llamados aquí Modelos A, B y C. El flujo de trabajo optimizado que surgió en GPT‑6.1 Sol promedió $0.47 en costos estimados de modelo y unos cuatro minutos por ejecución, 76x más barato y 5x más rápido que la configuración de producción original en el Modelo B.
“Esto es lo que son en la práctica los equipos de humanos y agentes. Un ingeniero fijó la dirección, GPT-6 Astra ejecutó los experimentos, y los resultados pasaron por Command a producción. Esto demuestra cómo Asana da vida a los equipos humanos y de agentes.”—Arnab Bose, CPO de Asana
Identificación de ineficiencias del agente de navegador con GPT‑6 Astra
Para avanzar rápido, Hidalgo comenzó usando GPT‑6 Astra en Codex para mapear la base de código y explicar cómo el agente construía cada solicitud de modelo. GPT‑6 Astra descubrió que el agente almacenaba en caché sus instrucciones fijas y definiciones de herramientas, pero no el historial creciente de texto de páginas y capturas de pantalla que recopilaba, por lo que cada solicitud reenviaba ese historial a precio completo.
El agente también descartaba capturas de pantalla antiguas y recortaba texto en casi cada paso. Cada edición alteraba el historial, por lo que almacenar en caché solo el historial no habría ayudado, y perder esos datos podría obligar al agente a visitar de nuevo páginas que ya había leído.
De unos dos meses estimados de investigación a una semana con GPT‑6 Astra
Hidalgo revisó las correcciones propuestas por GPT‑6 Astra y seleccionó tres para probar:
Extender el almacenamiento en caché al historial de navegación del agente
Aumentar la cantidad de texto que podía retener
Eliminar las capturas de pantalla en lotes en lugar de en cada paso
GPT‑6 Astra comenzó con pruebas rápidas para establecer qué variables importaban. Como el código no estaba diseñado para experimentos controlados, luego refactorizó el código para que un frontend y un backend pudieran soportar muchos flujos de trabajo en paralelo, cada uno con su propia configuración.
Astra realizó el estudio completo: presupuestos de historial de 120,000 y 480,000 caracteres y seis políticas de caché y capturas de pantalla, cada una probada tres veces en cada uno de los cuatro modelos (consulte la tabla a continuación). La política con mejor rendimiento permitía que las capturas de pantalla se acumularan hasta 20 antes de recortarlas a la más reciente. Esto mantenía el historial anterior sin cambios durante periodos más largos entre eliminaciones. Combinada con el presupuesto de historial más grande, se convirtió en el flujo de trabajo optimizado. Cada configuración realizaba la misma tarea: recopilar seis campos para cada uno de 32 libros de un catálogo demo público, representativo de lo que algunos clientes de Asana ejecutan en StackAI.
Modelo | Descripción | Precio |
|---|---|---|
Modelo A | Un modelo más pequeño y menos costoso de otro laboratorio de frontera, lanzado en otoño de 2025 | La mitad del precio de GPT‑6.1 Sol |
Modelo B | El modelo utilizado originalmente en producción, del mismo laboratorio que el Modelo A, lanzado en verano de 2026 | Mismo precio que GPT‑6.1 Sol |
Modelo C | Una versión actualizada del Modelo B, lanzada en otoño de 2026 | Mismo precio que GPT‑6.1 Sol |
GPT‑6.1 Sol | El modelo de OpenAI |
GPT‑6 Astra ejecutó los flujos de trabajo y examinó las solicitudes, los registros de uso y las salidas, y sesiones de modelos independientes revisaron el trabajo. Las solicitudes, los rastros de datos y los resultados de cada sesión se registraron en Command(se abre en una ventana nueva), la plataforma de entrega de software de Asana, para que el equipo pudiera revisar el estudio completo después. Desde Command, los hallazgos se convirtieron en tickets, luego en pull requests, y los cambios pasaron a producción.
«Esto me habría llevado de uno a dos meses a mano. Con GPT-6 Astra en Codex, tomó alrededor de una semana: establecía un /goal antes de irme a dormir y revisaba los resultados por la mañana».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Reducir el costo del modelo por debajo de $0.50 por ejecución
Para el Modelo B, la optimización redujo el costo estimado del modelo de al menos $36.21 (algunas ejecuciones originales alcanzaban el límite de pasos antes de terminar) a $1.24 por ejecución, una reducción de 29x. El flujo de trabajo optimizado en GPT‑6.1 Sol fue aún 2.6x más barato, a $0.47. Cada ejecución en el flujo de trabajo optimizado completó la tarea y devolvió la respuesta correcta.
Medias de 3 ejecuciones. ≥: la línea base incluye ejecuciones limitadas, por lo que su media es un límite inferior.
Los dos pliegues derechos se comparan contra el Modelo B optimizado. El Modelo B se ejecutó en la fase 1, el Modelo C y Sol 6.1 en la fase 2 del mismo estudio (línea punteada).
Solo en GPT‑6.1 Sol, con el presupuesto de historial más grande, la nueva política de caché y capturas de pantalla redujo el costo 4x, de $1.97 a $0.47 por ejecución. Cada llamada fue alrededor de 3x más barata, porque el 89% de la entrada provenía de la caché al 5% del precio sin caché. Las ejecuciones también se volvieron más rápidas: al menos 22.5 minutos en la configuración original en el Modelo B, alrededor de cuatro minutos con el flujo de trabajo optimizado en GPT‑6.1 Sol.
Media de 3 ejecuciones, barras de SD. ≥: la media incluye una ejecución limitada o sin terminar, por lo que el valor real es al menos este grande.
Las barras usan el tema azul. Lea los efectos de la caché contra la barra de presupuesto más grande de 480k.
Los marcadores de ejecución y las barras de SD son reconstrucciones aproximadas de la imagen de origen; los valores de ejecución subyacentes y las desviaciones estándar no estaban disponibles.
Media de 3 ejecuciones, barras de SD. ≥: la media incluye una ejecución limitada o sin terminar, por lo que el valor real es al menos este grande.
Las barras usan el tema azul. Lea los efectos de la caché contra la barra de presupuesto más grande de 480k.
Los marcadores de ejecución y las barras de SD son reconstrucciones aproximadas de la imagen de origen; los valores de ejecución subyacentes y las desviaciones estándar no estaban disponibles.
La investigación también mostró cómo la gestión del historial afectaba si el agente producía una respuesta o no. Darle a GPT‑6.1 Sol más espacio para retener su historial de navegación aumentó el número de ejecuciones que produjeron una respuesta de tres de 18 con el presupuesto de historial más pequeño a las 18 con el presupuesto más grande, cada una con la respuesta correcta. Para Hidalgo, el valor comercial es dar a los clientes acceso a modelos más rápidos y capaces mientras se mantienen los costos operativos sostenibles.
«El costo solía limitar qué modelos podíamos ofrecer a los clientes para estas cargas de trabajo. Al hacer el agente más eficiente, podemos dar a los clientes un modelo mejor y más rápido mientras reducimos nuestros costos operativos».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Escalar la experimentación y las pruebas de producto
Asana ha lanzado los cambios de navegación del navegador en StackAI y está desarrollando herramientas para facilitar la repetición de experimentos similares. Con el tiempo, el equipo planea incorporar estas pruebas en las evaluaciones de la plataforma, para que los clientes y los equipos internos puedan comparar el costo, el tiempo de ejecución y la calidad de las respuestas al configurar sus agentes.
«La velocidad de envío ya no es el cuello de botella; la atención humana lo es. Estamos cerca de un mundo donde cada ingeniero es un PM que lidera una flota de agentes».—Frank Hidalgo, PhD, CTO de StackAI en Asana
Asana ahora usa GPT‑6 Astra en Codex para probar las funciones del producto antes del lanzamiento: Astra navega por la plataforma, prueba diferentes entradas e informa errores para los revisores humanos de QA. Hidalgo considera esto como la base de un nuevo ciclo de vida de desarrollo de software, con muchas sesiones de agentes en la nube probando funciones en paralelo.
El estudio completo está disponible en Asana(se abre en una ventana nueva) y StackAI(se abre en una ventana nueva) blogs.