Mit Experimenten unter GPT‑6 Astra in Codex optimierte Asana den Workflow seines Browser-Agenten auf GPT‑6.1 Sol, sodass dieser 76-mal günstiger und 5-mal schneller läuft.
Asana hilft Kunden, Arbeiten über Geschäftsanwendungen hinweg zu automatisieren, durch StackAI(öffnet in einem neuen Fenster), eine Plattform, die das Unternehmen übernommen hat(öffnet in einem neuen Fenster). Mit StackAI können Kunden Workflows erstellen, die Websites navigieren, Formulare ausfüllen und Informationen sammeln, ohne Code schreiben zu müssen. In Asanas Größenordnung summieren sich kleine Ineffizienzen in diesen Workflows.
Asanas StackAI-CTO, Frank Hidalgo, PhD, machte sich daran, den Browser-Agenten schneller und günstiger im Betrieb zu machen. Er beauftragte GPT‑6 Astra in Codex, den Agenten zu untersuchen, Verbesserungen zu testen und die Ergebnisse zu vergleichen. Arbeit, die seiner Schätzung nach ein bis zwei Monate von Hand gedauert hätte, nahm etwa eine Woche in Anspruch.
Asanas Studie mit 144 Durchläufen(öffnet in einem neuen Fenster) testete GPT‑6.1 Sol und drei weitere Frontier-Modelle, hier als Modell A, B und C bezeichnet. Der dabei auf GPT‑6.1 Sol entstandene optimierte Workflow kostete im Durchschnitt schätzungsweise $0.47 an Modellkosten und etwa vier Minuten pro Durchlauf – 76-mal günstiger und 5-mal schneller als die ursprüngliche Produktionsumgebung auf Modell B.
„So sehen Teams aus Menschen und Agenten in der Praxis aus. Ein Ingenieur legte die Richtung fest, GPT-6 Astra führte die Experimente durch, und die Ergebnisse gingen über Command in die Produktion. Dies zeigt, wie Asana Teams aus Menschen und Agenten zum Leben erweckt.“—Arnab Bose, CPO bei Asana
Aufdeckung von Ineffizienzen des Browser-Agenten mit GPT‑6 Astra
Um schnell voranzukommen, begann Hidalgo damit, GPT‑6 Astra in Codex zu nutzen, um die Codebasis zu kartieren und zu erklären, wie der Agent jede Modellanfrage aufbaute. GPT‑6 Astra stellte fest, dass der Agent seine festen Anweisungen und Tool-Definitionen zwischenspeicherte, nicht jedoch die wachsende Historie aus Seitentexten und Screenshots, die er sammelte; daher wurde bei jeder Anfrage diese Historie zum vollen Preis erneut gesendet.
Der Agent entfernte außerdem ältere Screenshots und kürzte Text bei fast jedem Schritt. Jede Änderung veränderte die Historie, sodass das alleinige Caching der Historie nicht geholfen hätte, und der Verlust dieser Fakten könnte erfordern, dass der Agent Seiten erneut besucht, die er bereits gelesen hatte.
Von schätzungsweise zwei Monaten Forschung auf eine Woche mit GPT‑6 Astra
Hidalgo prüfte GPT‑6 Astras vorgeschlagene Korrekturen und wählte drei zum Testen aus:
Ausweitung des Cachings auf den Browserverlauf des Agenten
Erhöhung der Textmenge, die er behalten konnte
Entfernen von Screenshots in Stapeln statt bei jedem Schritt
GPT‑6 Astra begann mit schnellen Tests, um festzustellen, welche Variablen relevant waren. Da der Code nicht für kontrollierte Experimente ausgelegt war, refaktorierte er anschließend den Code, sodass ein Frontend und Backend viele Workflows parallel unterstützen konnte, jeder mit eigenen Einstellungen.
Astra führte die vollständige Studie durch: Historienbudgets von 120,000 und 480,000 Zeichen sowie sechs Caching- und Screenshot-Richtlinien, jede dreimal an jedem der vier Modelle getestet (siehe Tabelle unten). Die am besten abschneidende Richtlinie ließ Screenshots sich bis zu 20 ansammeln, bevor auf den jeweils neuesten reduziert wurde. Dadurch blieb der frühere Verlauf über längere Zeiträume zwischen den Entfernungen unverändert. In Kombination mit dem größeren Historienbudget wurde daraus der optimierte Workflow. Jede Konfiguration führte dieselbe Aufgabe aus: das Sammeln von sechs Feldern für jedes von 32 Büchern aus einem öffentlichen Demo-Katalog, stellvertretend für das, was einige Asana-Kunden in StackAI ausführen.
Modell | Beschreibung | Preis |
|---|---|---|
Modell A | Ein kleineres, günstigeres Modell eines anderen Frontier-Labors, veröffentlicht im Herbst 2025 | Halber Preis von GPT‑6.1 Sol |
Modell B | Das ursprünglich in der Produktion verwendete Modell, aus demselben Labor wie Modell A, veröffentlicht im Sommer 2026 | Gleicher Preis wie GPT‑6.1 Sol |
Modell C | Eine aktualisierte Version von Modell B, veröffentlicht im Herbst 2026 | Gleicher Preis wie GPT‑6.1 Sol |
GPT‑6.1 Sol | OpenAIs Modell |
GPT‑6 Astra führte die Workflows aus und untersuchte die Anfragen, Nutzungsprotokolle und Ausgaben, und separate Modellsitzungen überprüften die Arbeit. Die Anfragen, Daten-Spuren und Ergebnisse jeder Sitzung wurden in Command(öffnet in einem neuen Fenster), Asanas Software-Delivery-Plattform, aufgezeichnet, damit das Team die vollständige Studie danach überprüfen konnte. Aus Command wurden die Ergebnisse in Tickets und dann in Pull Requests umgewandelt, und die Änderungen gingen in Produktion.
„Das hätte mich von Hand ein bis zwei Monate gekostet. Mit GPT-6 Astra in Codex dauerte es etwa eine Woche: Ich habe abends vor dem Schlafengehen ein /goal gesetzt und morgens die Ergebnisse überprüft.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Die Modellkosten unter $0.50 pro Lauf senken
Für Modell B senkte die Optimierung die geschätzten Modellkosten von mindestens $36.21 (einige ursprüngliche Läufe erreichten das Schrittlimit, bevor sie fertig wurden) auf $1.24 pro Lauf, eine Reduktion um 29x. Der optimierte Workflow auf GPT‑6.1 Sol war noch einmal 2.6x günstiger, bei $0.47. Jeder Lauf im optimierten Workflow vervollständigte die Aufgabe und lieferte die richtige Antwort.
Mittelwerte von 3 Läufen. ≥: Die Basislinie enthält begrenzte Läufe, ihr Mittelwert ist daher eine untere Grenze.
Die beiden rechten Faltungen werden mit Modell B optimiert verglichen. Modell B lief in Phase 1, Modell C und Sol 6.1 in Phase 2 derselben Studie (gestrichelte Linie).
Auf GPT‑6.1 Sol allein reduzierten die neue Caching- und Screenshot-Richtlinie mit dem größeren Verlaufs-Budget die Kosten um 4x, von $1.97 auf $0.47 pro Lauf. Jeder Aufruf war etwa 3x günstiger, weil 89% der Eingabe aus dem Cache zu 5% des nicht zwischengespeicherten Preises stammten. Die Läufe wurden auch schneller: mindestens 22.5 Minuten im ursprünglichen Setup auf Modell B, etwa vier Minuten mit dem optimierten Workflow auf GPT‑6.1 Sol.
Mittelwert von 3 Läufen, SD-Fehlerbalken. ≥: Der Mittelwert enthält einen begrenzten oder unvollendeten Lauf, der wahre Wert ist daher mindestens so groß.
Die Balken verwenden das blaue Thema. Lesen Sie die Caching-Effekte gegen den 480k-Balken mit größerem Budget.
Lauf-Markierungen und SD-Fehlerbalken sind ungefähre Rekonstruktionen aus dem Quellbild; die zugrunde liegenden Lauf-Werte und Standardabweichungen waren nicht verfügbar.
Mittelwert von 3 Läufen, SD-Fehlerbalken. ≥: Der Mittelwert enthält einen begrenzten oder unvollendeten Lauf, der wahre Wert ist daher mindestens so groß.
Die Balken verwenden das blaue Thema. Lesen Sie die Caching-Effekte gegen den 480k-Balken mit größerem Budget.
Lauf-Markierungen und SD-Fehlerbalken sind ungefähre Rekonstruktionen aus dem Quellbild; die zugrunde liegenden Lauf-Werte und Standardabweichungen waren nicht verfügbar.
Die Untersuchung zeigte auch, wie sich die Verwaltung des Verlaufs darauf auswirkte, ob der Agent überhaupt eine Antwort erzeugte. Wenn GPT‑6.1 Sol mehr Raum zum Aufbewahren seines Browsing-Verlaufs gegeben wurde, stieg die Anzahl der Läufe, die eine Antwort erzeugten, von drei von 18 mit dem kleineren Verlaufs-Budget auf alle 18 mit dem größeren Budget, jeweils mit der richtigen Antwort. Für Hidalgo liegt der Geschäftswert darin, Kunden Zugriff auf schnellere, leistungsfähigere Modelle zu geben und zugleich die Betriebskosten nachhaltig zu halten.
„Die Kosten begrenzten früher, welche Modelle wir Kunden für diese Workloads anbieten konnten. Indem wir den Agenten effizienter machen, können wir den Kunden ein besseres, schnelleres Modell bieten und gleichzeitig unsere Betriebskosten senken.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Skalierung von Experimenten und Produkttests
Asana hat die Änderungen an der Browser-Navigation in StackAI veröffentlicht und entwickelt Tools, um ähnliche Experimente leichter wiederholbar zu machen. Langfristig plant das Team, dieses Testen in die Evaluierungen der Plattform zu integrieren, damit Kunden und interne Teams bei der Konfiguration ihrer Agenten Kosten, Laufzeit und Antwortqualität vergleichen können.
„Die Shipping-Geschwindigkeit ist nicht mehr der Engpass; die menschliche Aufmerksamkeit ist es. Wir sind nahe an einer Welt, in der jeder Ingenieur ein PM ist, der eine Flotte von Agenten führt.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Asana nutzt GPT‑6 Astra in Codex nun, um Produktfunktionen vor der Veröffentlichung zu testen: Astra navigiert durch die Plattform, probiert verschiedene Eingaben aus und meldet Bugs für menschliche QA-Prüfer. Hidalgo betrachtet dies als Grundlage für einen neuen Software-Entwicklungszyklus, bei dem viele Cloud-Agenten-Sitzungen Funktionen parallel testen.
Die vollständige Studie ist verfügbar auf der Asana(öffnet in einem neuen Fenster) und StackAI(öffnet in einem neuen Fenster) blogs.