Mit GPT‑6 Astra in Codex, das Experimente ausführte, optimierte Asana den Workflow seines Browser-Agenten auf GPT‑6.1 Sol, sodass dieser 76-mal günstiger und 5-mal schneller lief.
Asana hilft Kunden, Arbeit über Geschäftsanwendungen hinweg zu automatisieren durch StackAI(öffnet in einem neuen Fenster), eine Plattform, die das Unternehmen übernommen hat(öffnet in einem neuen Fenster). Mit StackAI können Kunden Workflows erstellen, die Websites durchsuchen, Formulare ausfüllen und Informationen sammeln, ganz ohne Programmierung. In Asanas Größenordnung summieren sich kleine Ineffizienzen in diesen Workflows schnell auf.
Asanas StackAI-CTO, Frank Hidalgo, PhD, machte sich daran, den Browser-Agenten schneller und günstiger im Betrieb zu machen. Er beauftragte GPT‑6 Astra in Codex damit, den Agenten zu untersuchen, Verbesserungen zu testen und die Ergebnisse zu vergleichen. Arbeit, die seiner Schätzung nach ein bis zwei Monate von Hand gedauert hätte, nahm etwa eine Woche in Anspruch.
Asanas Studie mit 144 Durchläufen(öffnet in einem neuen Fenster) testete GPT‑6.1 Sol und drei weitere Frontier-Modelle, die hier als Modell A, B und C bezeichnet werden. Der daraus hervorgegangene optimierte Workflow auf GPT‑6.1 Sol erreichte im Durchschnitt geschätzte Modellkosten von $0.47 und etwa vier Minuten pro Durchlauf – 76-mal günstiger und 5-mal schneller als das ursprüngliche Produktions-Setup auf Modell B.
„So sehen Teams aus Menschen und Agenten in der Praxis aus. Ein Ingenieur gab die Richtung vor, GPT-6 Astra führte die Experimente durch, und die Ergebnisse gingen über Command in die Produktion. Dies zeigt, wie Asana Teams aus Menschen und Agenten zum Leben erweckt.“—Arnab Bose, CPO bei Asana
Aufdecken von Ineffizienzen des Browser-Agenten mit GPT‑6 Astra
Um schnell voranzukommen, begann Hidalgo damit, GPT‑6 Astra in Codex zu nutzen, um die Codebasis zu kartieren und zu erklären, wie der Agent jede Modellanfrage aufbaute. GPT‑6 Astra stellte fest, dass der Agent seine festen Anweisungen und Tool-Definitionen zwischenspeicherte, aber nicht die wachsende Historie aus Seitentexten und Screenshots, die er sammelte – daher wurde diese Historie bei jeder Anfrage zum vollen Preis erneut gesendet.
Der Agent entfernte außerdem ältere Screenshots und kürzte Text bei fast jedem Schritt. Jede Änderung veränderte die Historie, sodass das alleinige Caching der Historie nichts gebracht hätte, und der Verlust dieser Informationen könnte den Agenten dazu zwingen, bereits gelesene Seiten erneut aufzusuchen.
Von geschätzt zwei Monaten Forschung auf eine Woche mit GPT‑6 Astra
Hidalgo prüfte GPT‑6 Astras vorgeschlagene Korrekturen und wählte drei zum Testen aus:
Ausweichen des Cachings auf den Browserverlauf des Agenten
Erhöhen der Textmenge, die er behalten konnte
Entfernen von Screenshots in Batches statt bei jedem Schritt
GPT‑6 Astra begann mit schnellen Tests, um festzustellen, welche Variablen eine Rolle spielten. Da der Code nicht für kontrollierte Experimente ausgelegt war, refaktorierte er anschließend den Code, sodass ein Frontend und ein Backend viele Workflows parallel unterstützen konnten, jeder mit eigenen Einstellungen.
Astra führte die vollständige Studie durch: Verlaufs-Budgets von 120,000 und 480,000 Zeichen sowie sechs Caching- und Screenshot-Richtlinien, jede dreimal an jedem der vier Modelle getestet (siehe Tabelle unten). Die leistungsstärkste Richtlinie erlaubte es, Screenshots bis zu einer Anzahl von 20 anzusammeln, bevor auf den jeweils neuesten reduziert wurde. So blieb der frühere Verlauf über längere Zeiträume zwischen den Entfernungen unverändert. In Kombination mit dem größeren Verlaufs-Budget entstand daraus der optimierte Workflow. Jede Konfiguration führte dieselbe Aufgabe aus: das Sammeln von sechs Feldern für jedes von 32 Büchern aus einem öffentlichen Demo-Katalog, repräsentativ für das, was einige Asana-Kunden in StackAI ausführen.
Modell | Beschreibung | Preis |
|---|---|---|
Modell A | Ein kleineres, weniger teures Modell eines anderen Frontier-Labors, veröffentlicht im Herbst 2025 | Halb so teuer wie GPT‑6.1 Sol |
Model B | Das ursprünglich in der Produktion verwendete Modell, aus demselben Labor wie Model A, veröffentlicht im Sommer 2026 | Gleicher Preis wie GPT‑6.1 Sol |
Model C | Eine aktualisierte Version von Model B, veröffentlicht im Herbst 2026 | Gleicher Preis wie GPT‑6.1 Sol |
GPT‑6.1 Sol | OpenAIs Modell |
GPT‑6 Astra führte die Workflows aus und untersuchte die Anfragen, Nutzungsdatensätze und Ergebnisse, und separate Modellsitzungen überprüften die Arbeit. Die Anfragen, Datenspuren und Ergebnisse jeder Sitzung wurden in Command(öffnet sich in einem neuen Fenster), Asanas Software-Lieferplattform, aufgezeichnet, damit das Team die vollständige Studie im Nachhinein überprüfen konnte. Aus Command wurden die Ergebnisse in Tickets und dann in Pull Requests umgewandelt, und die Änderungen gingen in Produktion.
„Das hätte mich von Hand ein bis zwei Monate gekostet. Mit GPT-6 Astra in Codex dauerte es etwa eine Woche: Ich setzte vor dem Schlafengehen ein /goal und überprüfte die Ergebnisse am Morgen.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Die Modellkosten unter $0.50 pro Durchlauf senken
Für Model B senkte die Optimierung die geschätzten Modellkosten von mindestens $36.21 (einige ursprüngliche Durchläufe erreichten das Schrittlimit, bevor sie beendet waren) auf $1.24 pro Durchlauf, eine Reduktion um das 29fache. Der optimierte Workflow auf GPT‑6.1 Sol war nochmals 2.6x günstiger, bei $0.47. Jeder Durchlauf im optimierten Workflow vollendete die Aufgabe und lieferte die richtige Antwort.
Mittelwerte aus 3 Durchläufen. ≥: Der Baseline umfasst gedrosselte Durchläufe, daher ist ihr Mittelwert eine untere Schranke.
Die beiden rechten Faltungen vergleichen mit Model B optimiert. Model B lief in Phase 1, Model C und Sol 6.1 in Phase 2 derselben Studie (gestrichelte Linie).
Auf GPT‑6.1 Sol allein verkleinerte die neue Caching- und Screenshot-Politik mit dem größeren Verlaufsbudget die Kosten um das 4fache, von $1.97 auf $0.47 pro Durchlauf. Jeder Aufruf war etwa 3x günstiger, weil 89% der Eingaben aus dem Cache zu 5% des nicht zwischengespeicherten Preises stammten. Die Durchläufe wurden auch schneller: mindestens 22.5 Minuten bei der ursprünglichen Konfiguration auf Model B, ungefähr vier Minuten mit dem optimierten Workflow auf GPT‑6.1 Sol.
Mittelwert aus 3 Durchläufen, SD-Fehlerbalken. ≥: Der Mittelwert umfasst einen gedrosselten oder unvollendeten Durchlauf, daher ist der wahre Wert mindestens so groß.
Die Balken verwenden das blaue Farbschema. Lesen Sie die Caching-Effekte am 480k-Balken mit größerem Budget ab.
Laufmarkierungen und SD-Fehlerbalken sind ungefähre Rekonstruktionen aus dem Quellbild; zugrunde liegende Durchlaufwerte und Standardabweichungen waren nicht verfügbar.
Mittelwert aus 3 Durchläufen, SD-Fehlerbalken. ≥: Der Mittelwert umfasst einen gedrosselten oder unvollendeten Durchlauf, daher ist der wahre Wert mindestens so groß.
Die Balken verwenden das blaue Farbschema. Lesen Sie die Caching-Effekte am 480k-Balken mit größerem Budget ab.
Laufmarkierungen und SD-Fehlerbalken sind ungefähre Rekonstruktionen aus dem Quellbild; zugrunde liegende Durchlaufwerte und Standardabweichungen waren nicht verfügbar.
Die Untersuchung zeigte auch, wie sich das Verlaufsmanagement darauf auswirkte, ob der Agent überhaupt eine Antwort produzierte. GPT‑6.1 Sol mehr Raum zum Speichern seines Browsing-Verlaufs zu geben, erhöhte die Zahl der Durchläufe mit einer Antwort von drei von 18 mit dem kleineren Verlaufsbudget auf alle 18 mit dem größeren Budget, jeweils mit der richtigen Antwort. Für Hidalgo liegt der Geschäftswert darin, Kunden Zugang zu schnelleren, leistungsfähigeren Modellen zu geben und gleichzeitig die Betriebskosten tragbar zu halten.
„Früher begrenzten die Kosten, welche Modelle wir Kunden für diese Workloads anbieten konnten. Indem wir den Agenten effizienter machen, können wir Kunden ein besseres, schnelleres Modell bieten und gleichzeitig unsere Betriebskosten senken.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Experimente und Produkttests skalieren
Asana hat die Änderungen an der Browser-Navigation in StackAI veröffentlicht und entwickelt Werkzeuge, um ähnliche Experimente leichter wiederholbar zu machen. Mit der Zeit plant das Team, dieses Testen in die Evaluierungen der Plattform zu integrieren, damit Kunden und interne Teams Kosten, Laufzeit und Antwortqualität beim Konfigurieren ihrer Agenten vergleichen können.
„Die Auslieferungsgeschwindigkeit ist nicht mehr der Engpass; die menschliche Aufmerksamkeit ist es. Wir sind einer Welt nahe, in der jeder Ingenieur ein PM ist, der eine Flotte von Agenten führt.“—Frank Hidalgo, PhD, StackAI CTO bei Asana
Asana nutzt GPT‑6 Astra in Codex nun, um Produktfunktionen vor der Veröffentlichung zu testen: Astra navigiert auf der Plattform, probiert verschiedene Eingaben aus und meldet Fehler an menschliche QA-Prüfer. Hidalgo sieht darin die Grundlage für einen neuen Softwareentwicklungslebenszyklus, bei dem viele Cloud-Agenten-Sitzungen parallel Funktionen testen.
Die vollständige Studie ist verfügbar auf der Asana(öffnet sich in einem neuen Fenster) und der StackAI(öffnet sich in einem neuen Fenster) blogs.