Avec GPT‑6 Astra dans Codex en train de faire des expériences, Asana a optimisé le flux de travail de son agent navigateur sur GPT‑6.1 Sol, ce qui permet de l’exécuter 76 fois moins cher et 5 fois plus rapidement.
Asana aide les clients à automatiser le travail dans différentes applications business via StackAI>(ouvre dans une nouvelle fenêtre), une plateforme qu’elle a acquis>(ouvre dans une nouvelle fenêtre). En utilisant StackAI, les clients peuvent créer des flux de travail qui naviguent sur des sites web, remplissent des formulaires et collectent des informations sans avoir à écrire de code. À l’échelle d’Asana, les petites inefficacités dans ces flux de travail se cumulent.
Le CTO de StackAI chez Asana, Frank Hidalgo, PhD, a cherché à rendre l’agent navigateur plus rapide et moins coûteux à exécuter. Il a orienté GPT‑6 Astra dans Codex pour enquêter sur l’agent, tester les améliorations et comparer les résultats. Le travail qu’il estimait avoir nécessité un mois ou deux à effectuer manuellement a été réalisé en environ une semaine.
L’étude de 144 exécutions d’Asana (ouvre dans une nouvelle fenêtre) a testé GPT‑6.1 Sol et trois autres modèles de pointe, appelés ici Modèles A, B et C. Le flux de travail optimisé obtenu avec GPT‑6.1 Sol a coût en moyenne 0,47 dollar pour les coûts de modèle estimés, et dure environ quatre minutes par exécution ; c’est donc 76 fois moins cher et 5 fois plus rapide que la configuration de production originale utilisée avec le Modèle B.
C’est ainsi que se comportent en pratique les équipes de humains et d’agents. Un ingénieur a défini la direction, GPT-6 Astra a mené les expériences, et les résultats ont été transférés de Commande à production. Cela montre comment Asana met en œuvre les équipes de humains et d’agents.—Arnab Bose, CPO chez Asana
Détecter les inefficacités du navigateur-agent avec GPT‑6 Astra
Pour se déplacer rapidement, Hidalgo a commencé par utiliser GPT‑6 Astra dans Codex pour cartographier le code source et expliquer comment l’agent construit chaque demande de modèle. GPT‑6 Astra a découvert que l’agent stockait ses instructions fixes et les définitions des outils, mais pas l’historique croissant du texte des pages et des captures d’écran qu’il collectait, donc chaque demande devait recourir à cet historique à prix complet.
L’agent a également supprimé les anciens captures d’écran et a retravaillé le texte à presque chaque étape. Chaque modification modifiait l’histoire des modifications, de sorte que le stockage de l’histoire ne serait pas utile. De plus, perdre ces informations pourrait obliger l’agent à relire les pages qu’il avait déjà lues.
Depuis deux mois d’étude estimés à une semaine avec GPT‑6 Astra
Hidalgo a examiné les corrections proposées par GPT‑6 Astra et a choisi trois d’entre elles pour tester :
Étendre le stockage en cache à l'historique de navigation de l'agent
Augmenter la quantité de texte qu'il pouvait conserver
Supprimer les captures d'écran par groupes plutôt que à chaque étape
GPT‑6 Astra a commencé par des tests rapides afin de déterminer quelles variables étaient importantes. Comme le code n’était pas conçu pour des expériences contrôlées, il a ensuite été réfacté de manière à ce que un frontend et un backend puissent soutenir plusieurs flux de travail en parallèle, chacun avec ses propres paramètres.
Astra a mené l’étude complète : des budgets de historique de 120 000 et 480 000 caractères, ainsi que six politiques de stockage en cache et d’extraits d’écran, chacune testée trois fois pour chaque des quatre modèles (voir le tableau ci-dessous). La politique ayant le meilleur rendement permettait aux extraits d’écran de s’accumuler jusqu’à 20 avant que celle la plus récente ne soit appliquée. Cela permettait que l’historique antérieur reste inchangé pendant une longue période entre les suppressions. En combinaison avec le budget plus important pour l’historique, cela constituait le flux de travail optimisé. Chaque configuration remplissait la même tâche : collecter six champs pour chacun des 32 livres d’un catalogue de démonstration public, représentant ce que certains clients d’Asana utilisent dans StackAI.
Modèle | Description | Prix |
|---|---|---|
Modèle A | Un modèle plus petit et moins cher provenant d’un autre laboratoire de recherche, sorti à l’automne 2025 | La moitié du prix de GPT‑6.1 Sol |
Modèle B | Le modèle utilisé initialement en production, provenant du même laboratoire que le modèle A, sera lancé à l’été 2026 | Même prix que le GPT‑6.1 Sol |
Modèle C | Une version mise à jour du modèle B, sortie à l’automne 2026 | Même prix que le GPT‑6.1 Sol |
GPT‑6.1 Sol | Modèle d’OpenAI |
GPT‑6 Astra a exécuté les workflows, a examiné les demandes, les enregistrements d’utilisation et les résultats, et les sessions de modèle distinctes ont été examinées. Les demandes, les traces de données et les résultats de chaque session ont été enregistrés. Commande(ouvre dans une nouvelle fenêtre), La plateforme de livraison de logiciels d’Asana permet donc à l’équipe de revoir l’étude complète par la suite. À partir de Command, les résultats ont été transformés en tickets, puis en pull requests, et les modifications ont été intégrées dans la production.
« Cela m’aurait pris un à deux mois à la main. Avec GPT-6 Astra dans le Codex, cela a duré environ une semaine : je fixais un objectif avant de dormir et je vérifiais les résultats le matin. »—Frank Hidalgo, PhD, CTO de StackAI chez Asana
Coût du modèle inférieur à 0,50 $ par exécution
Pour le modèle B, l’optimisation a réduit le coût estimé du modèle de au moins 36,21 dollars (certaines exécutions originales ont atteint la limite de temps avant d’être terminées) à 1,24 dollars par exécution, soit une réduction de 29 fois. Le flux de travail optimisé sur GPT‑6.1 Sol est encore 2,6 fois moins cher, à 0,47 dollar. Chaque exécution dans le flux de travail optimisé a accompli la tâche et a donné la réponse correcte.
Moyens de 3 séries. ≥ : la ligne de base inclut les séries limitées, donc leur moyenne représente une limite inférieure.
Les deux plis droits sont comparés à l’optimisation du modèle B. Le modèle B a été utilisé en phase 1, tandis que le modèle C et Sol 6.1 ont été utilisés en phase 2 de la même étude (ligne pointillée).
Sur GPT‑6.1 Sol seul, avec un budget de historique plus important, la nouvelle politique de stockage en mémoire et d’écran d’ordinateur a réduit les coûts de 4 fois, passant de 1,97 $ à 0,47 $ par exécution. Chaque appel est également 3 fois moins cher, car 89 % des entrées proviennent de la mémoire, ce qui représente 5 % du coût non stocké. Les exécutions sont aussi devenues plus rapides : au moins 22,5 minutes avec l’installation originale sur le modèle B, environ quatre minutes avec le workflow optimisé sur GPT‑6.1 Sol.
Moyenne de 3 séries, écart-type des ondulations. ≥ : la moyenne inclut une série limitée ou inachevée, donc la valeur réelle est au moins aussi grande.
Les bars utilisent le thème bleu. Examinez les effets de stockage en mémoire face au bar à budget plus élevé de 480k.
Les marqueurs et les écarts-types sont des reconstructions approximatives basées sur l’image source ; les valeurs de référence et les écarts-types standards n’étaient pas disponibles.
Moyenne de 3 séries, écart-type des ondulations. ≥ : la moyenne inclut une série limitée ou inachevée, donc la valeur réelle est au moins aussi grande.
Les bars utilisent le thème bleu. Examinez les effets de stockage en mémoire face au bar à budget plus élevé de 480k.
Les marqueurs et les écarts-types sont des reconstructions approximatives basées sur l’image source ; les valeurs de référence et les écarts-types standards n’étaient pas disponibles.
L’enquête a également montré comment la gestion de l’histoire affectait le fait que l’agent produise ou non une réponse. En donnant à GPT‑6.1 Sol plus de place pour conserver son historique de navigation, le nombre de tentatives qui donnaient une réponse est passé de trois sur 18 avec un budget d’historique plus petit à tous 18 avec un budget plus important, chacune donnant la bonne réponse. Pour Hidalgo, la valeur commerciale réside dans l’accès des clients à des modèles plus rapides et plus performants, tout en maintenant les coûts d’exploitation viables.
Le coût a été utilisé pour limiter les modèles que nous pouvons proposer aux clients pour ces tâches. En rendant l’agent plus efficace, nous pouvons offrir aux clients un modèle meilleur et plus rapide, tout en réduisant nos coûts d’exploitation.—Frank Hidalgo, PhD, CTO de StackAI chez Asana
Échelle des expériences et test de produits
Asana a publié les modifications apportées à la navigation dans le navigateur de StackAI, et développe des outils permettant de reproduire facilement des expériences similaires. Avec le temps, l’équipe prévoit d’intégrer ces tests dans les évaluations de la plateforme, afin que les clients et les équipes internes puissent comparer le coût, le temps de traitement et la qualité des réponses lors de la configuration de leurs agents.
« La vitesse de livraison n’est plus le goulot d’étranglement ; c’est l’attention humaine qui en est le problème. Nous sommes proches d’un monde où chaque ingénieur est un responsable marketing dirigeant une flotte d’agents. »—Frank Hidalgo, PhD, CTO de StackAI chez Asana
Asana utilise maintenant GPT‑6 Astra dans Codex pour tester les fonctionnalités du produit avant leur sortie : Astra navigue la plateforme, teste différentes entrées et signale les bugs aux réviseurs de qualité humaine. Hidalgo considère cela comme la base d’un nouveau cycle de vie de développement logiciel, avec de nombreuses sessions d’agents cloud qui testent les fonctionnalités en parallèle.
Le document complet est disponible sur lesAsana>(ouvre dans une nouvelle fenêtre) etStackAI>(ouvre dans une nouvelle fenêtre) blogs.