Jedes Unternehmen hat seine eigenen Workflows, Tools, Grenzfälle und Definitionen von Erfolg. (öffnet in einem neuen Fenster)Third Moment Research(öffnet in einem neuen Fenster) ist überzeugt, dass die besten Agenten in genau dieser spezifischen Arbeit wirklich gut sein sollten und ihre Fähigkeiten mit zunehmender Nutzung verbessern sollten.
Das Unternehmen baut ein selbstverbesserndes KI-System rund um diese Idee auf und nutzt OpenAIs neueste Modelle, um Agentenverhalten zu verstehen, wiederkehrende Schwächen zu identifizieren und automatisch Tausende synthetischer Szenarien rund um diese Probleme zu erstellen. Das Team nutzt diese Szenarien, um Agenten zu verbessern, und wiederholt den Prozess, wenn neue Probleme auftauchen.
Codex, GPT‑6 Astra, GPT‑6 Sol und GPT‑6.1 Sol unterstützen die Forschungs- und Rechenarbeit des Systems und ermöglichen es Third Moment, gleichzeitig 10,000 Agenten bei Untersuchungen zu betreiben, die 36–48 Stunden dauern. Das Unternehmen nutzt Daybreak auch, um die Sicherheit der Umgebungen zu testen, in denen Agenten arbeiten.
„In einer einzigen Sitzung ist GPT-6.1 Sol in der Lage, über Tage hinweg einen kohärenten Faden rechnergestützter Forschung aufrechtzuerhalten, ohne den Überblick zu verlieren.“—Adam Khakhar, Mitgründer, Third Moment Research
Reduzierung von Laufzeit und Token-Verschwendung mit Codex
Eine der frühen Anwendungen von Third Moment liegt im Bereich des quantitativen Finanzwesens, da es dort ein klares Erfolgskriterium gibt. Dieses Gebiet bietet einen konkreten Rahmen, um zu untersuchen, wie Agenten arbeiten und wo sie Schwierigkeiten haben. Das Team nutzt Codex, um Probleme in der Forschungsumgebung zu finden und zu beheben.
In einem Fall verwendete es Codex mit GPT‑5.6, dem damals neuesten GPT-Modell, um Tausende aufgezeichneter Simulationstrajektorien (die Aktionen der Agenten und die Reaktionen der Umgebung) zusammen mit Zeitstempeln und der Codebasis zu analysieren.
Codex deckte einen Engpass auf: Das Backtesting einer Handelsstrategie über ein Jahr hinweg mit Order-Level-Daten von US-Aktien dauerte mehrere Stunden. Während des Wartens fragten die Agenten wiederholt den Abschluss ab, wodurch Tokens verschwendet und ihre Kontexte mit Statusabfragen gefüllt wurden.
Nach dem Profiling des Backtests und der Analyse seiner Eingaben und Nutzung identifizierte Codex eine Caching-Optimierung und eine Memory-Packing-Technik. Es experimentierte mit Lösungen und brachte die Korrektur in die Produktion, wodurch sich der Backtest von etwa 3 Stunden auf etwa 3 bis 5 Minuten reduzierte. Dies verringerte den Token-Verbrauch und die Kontextverschmutzung und gab mehr vom Token-Budget der Agenten für weitere Experimente frei.
Agenten mit Codex und GPT‑6 bei der Aufgabe halten
Third Moment stellt jedem Agenten die Werkzeuge, Informationen und die Umgebung zur Verfügung, die er für eine bestimmte Aufgabe benötigt. Für die quantitative Forschung betreibt das Team das Standard-Codex-Harness in einer Docker-Umgebung. Die Agenten erhalten ein Terabyte an Daten, Dokumentation und ein Forschungs-Repository mit Modulen für Feature Engineering, GPU-unterstütztes Modelltraining, Handelsstrategien und Simulation.
GPT‑6 Astra, GPT‑6 Sol und GPT‑6.1 Sol liefern die Denkleistung, während das Codex-Harness den Agenten Werkzeuge gibt, um zu handeln, Pläne zu erstellen, Ziele zu setzen, Subagenten zu erzeugen und den Kontext zu verdichten, während die Arbeit fortschreitet.
Um bei Agenten, die eine Aufgabe vor Abschluss abbrechen, gegenzusteuern, behandelt Third Moment Codex als Subagenten innerhalb eines äußeren Harness, der von GPT‑6 Sol oder GPT‑6.1 Sol angetrieben wird. Der äußere Harness untersucht die Trajektorie, wenn eine Aufgabe unvollendet bleibt, und entscheidet, ob der Vorgang wiederholt, der Auftrag abgebrochen oder an eine menschliche Prüfung eskaliert werden soll.
„Das Codex-Harness ist äußerst vielseitig und ermöglicht den Einsatz in vielen verschiedenen Domänen.“—Adam Khakhar, Mitgründer, Third Moment Research
In dieser Forschungsumgebung arbeiten die Agenten daran, ein von Third Moments Ingenieuren aufgebautes Basissystem für den Handel zu verbessern. Sie testen Handelsstrategien mit historischen Daten, bewerten, ob eine Verbesserung bedeutsam oder nur Rauschen ist, und nutzen jedes Ergebnis, um das nächste Experiment auszuwählen. Laut Adam hat ihre Arbeit das Basishandelssystem verbessert.
Längere Forschung mit höherer Token-Effizienz aufrechterhalten
Vor GPT‑5.5 konnten Modelle, so Adam, nur von einem Nutzer vorgegebene Experimente ausführen. Mit GPT‑5.5 und GPT‑5.6 konnten Modelle, die mit dem Codex-Harness arbeiteten, Ergebnisse nutzen, um Folgeexperimente zu entwerfen. Jetzt können Agenten mit GPT‑6 Astra, GPT‑6 Sol und GPT‑6.1 Sol mit Subagenten hunderte parallel laufende Experimente nutzen, um Grundursachen zu untersuchen.
Dieser Fortschritt hat Agenten geholfen, Forschungsrichtungen zu erkunden, die das Team nicht vorhergesehen hatte. In einer Sitzung identifizierte GPT‑6.1 Sol die Auswirkung von nicht angezeigten Trades an einer Börse, an der diese Trades einen unerwartet großen Anteil des Volumens ausmachten. „Das war ein nicht naheliegendes Ergebnis, das unser Forschungsteam zunächst nicht in Betracht gezogen hatte“, sagt Adam.
Third Moment bewertet Modelle in den Bereichen Optimierung, Machine-Learning-Systeme und quantitative Forschung. Es testet Frontier-Veröffentlichungen auf ihren höchsten Reasoning-Einstellungen und bewertet deren Fähigkeit, sich in Repositories zurechtzufinden, effizienten Code zu schreiben und eine Untersuchung aufrechtzuerhalten. Zum aktuellen Testumfang gehört auch GPT‑6 Luna.
„GPT-6.1 Sol ist derzeit unser am häufigsten genutztes Modell aufgrund seiner Token-Effizienz. Es erledigt Aufgaben mit den wenigsten Tokens und liefert dabei eine Leistung ähnlich der von GPT-6 Astra.“—Jeffrey Yan, Mitgründer, Third Moment Research
Ein Benchmark verlangt von Agenten, die Update-Latenz eines Live-Scoreboard-Dienstes zu reduzieren, während dessen Ausgaben erhalten bleiben. Das Team misst die Beschleunigung, indem es die durchschnittliche Laufzeit einer von Experten erstellten Lösung durch die der Lösung des Modells auf derselben Hardware unter Einhaltung der Korrektheit teilt. GPT‑6 Astra erzielte laut Adam die größte Beschleunigung.
Für gezielte Arbeiten, einschließlich Prüfungen auf bestimmte Sicherheitsschwächen im Simulationssystem, verwendet das Team effizientere Modelle wie GPT‑5.6 Terra. Für tiefergehende Forschung glaubt Adam, dass stärkeres Reasoning höhere Kosten rechtfertigen kann: „Im Bereich des Quantitative Finance ist der Wert, ein interessantes Signal zu finden, extrem hoch.“
Sicherheitstests mit Daybreak automatisieren
Mit 10,000 autonom laufenden Agents benötigt Third Moment eine Möglichkeit, die Sicherheit seiner Forschungsumgebungen im großen Maßstab zu testen. Das Team nutzt die Daybreak-Cybersecurity-Plattform, um diese Tests zu automatisieren, bevor Simulationen starten.
Die Tests prüfen, ob ein Agent aus seiner Forschungsumgebung ausbrechen und auf das weitere Netzwerk zugreifen könnte. „Durch den Einsatz von Daybreak können wir die Agents selbst Penetrationstests an der Simulation durchführen lassen und deren Infrastruktur und Sicherheit testen“, sagt Adam.
„Ohne Daybreak könnten wir das nicht autonom in diesem Maßstab testen.“—Adam Khakhar, Mitgründer, Third Moment Research
Auf dem Weg zu Hunderttausenden kollaborierenden Agents
Third Moments Ehrgeiz erstreckt sich auch auf die spezialisierte Arbeit, die Unternehmen jeden Tag leisten. Für einen Einzelhändler könnte das bedeuten, bessere Entscheidungen in der Lieferkette zu treffen, wenn der Lagerbestand knapp ist oder ein Lieferant sich verspätet. Für ein Engineering-Team könnte es bedeuten, Leistungsengpässe in einer großen Codebasis zu finden. Für ein dokumentenlastiges Unternehmen könnte es bedeuten, aufzudecken, wo Zusagen in einem Dokument nicht mit den in einem anderen dokumentierten Ergebnissen übereinstimmen.
Aufbauend auf den Reasoning-Fähigkeiten von GPT‑6 Astra, GPT‑6 Sol und GPT‑6.1 Sol plant Third Moment, von einzelnen Untersuchungen auf Hunderttausende kollaborierende Subagents zu skalieren. Seine Roadmap sieht Billionen von Token vor, die Ketten von Dutzenden abhängiger Experimente unterstützen – mit dem Ziel, diese Forschung zu nutzen, um Agents autonom zu verbessern, wenn neue Herausforderungen auftreten.
Für Adam würde dies den Menschen mehr Spielraum geben, zu gestalten, wie Agents lernen und arbeiten: „Menschen können sich in einer viel stärker befähigten Position befinden, in der sie darüber nachdenken können, wie man Forschung betreibt und die Forschung selbst optimiert, statt die Forschung tatsächlich durchzuführen.“