どの企業にも、独自のワークフロー、ツール、エッジケース、そして成功の定義があります。 (新しいウィンドウで開きます)Third Moment Research(新しいウィンドウで開きます) は、最良のエージェントとはその特定の業務に非常に長けており、使われるほど能力を向上させるべきだと考えています。
同社はその考えをもとに自己改善型AIシステムを構築しており、OpenAIの最新モデルを使ってエージェントの挙動を理解し、繰り返し現れる弱点を特定し、それらの問題を中心に何千もの合成シナリオを自動的に作成しています。チームはこれらのシナリオを使ってエージェントを改善し、新しい問題が現れるたびにこのプロセスを繰り返します。
Codex、GPT‑6 Astra、GPT‑6 Sol、GPT‑6.1 Solがシステムの研究および計算作業を支え、Third Momentは36〜48時間に及ぶ調査を10,000のエージェントで同時に実行できるようにしています。また、同社はDaybreakを使って、エージェントが作業する環境のセキュリティをテストしています。
「1回のセッションで、GPT-6.1 Solは数日にわたる計算処理の中でも、一貫した計算研究の筋を失わずに維持できます。」—Adam Khakhar、Third Moment Research 共同創業者
Codexによるランタイムとトークンの無駄の削減
Third Momentの初期の応用先の一つは、成功の指標が明確であることから、定量的ファイナンス分野です。この分野は、エージェントがどのように機能し、どこで苦労するかを研究するための具体的な環境を提供します。チームはCodexを使って、研究環境における問題を発見し対処しています。
ある事例では、当時最新のGPTモデルであったGPT‑5.6とCodexを組み合わせ、タイムスタンプやコードベースとともに、何千件もの記録されたシミュレーションの軌跡(エージェントの行動と環境の応答)を分析しました。
Codexが明らかにしたボトルネックは、1年分の米国株式の注文レベルのデータにわたって取引戦略をバックテストするのに数時間かかるというものでした。エージェントは待っている間、完了を繰り返しポーリングし、トークンを無駄にし、ステータスチェックでコンテキストを埋めていました。
バックテストをプロファイリングし、その入力と使用状況を分析した後、Codexはキャッシングの最適化とメモリパッキングの手法を特定しました。Codexは解決策を試し、その修正を本番環境にデプロイし、バックテストを約3時間から約3〜5分に短縮しました。これによりトークンの使用量とコンテキスト汚染が減り、さらなる実験のためにエージェントのトークン予算をより多く確保できるようになりました。
CodexとGPT‑6によるエージェントのタスク遂行の維持
Third Momentは、各エージェントに特定の業務に必要なツール、情報、環境を与えます。定量的研究では、チームはDocker化された環境の中でデフォルトのCodexハーネスを実行します。エージェントには、1テラバイトのデータ、ドキュメント、そして特徴量エンジニアリング、GPU対応のモデル学習、取引戦略、シミュレーション用のモジュールを含む研究リポジトリが与えられます。
GPT‑6 Astra、GPT‑6 Sol、GPT‑6.1 Solが推論を担い、Codexハーネスはエージェントに行動、計画の作成、目標の設定、サブエージェントの生成、作業進行に伴うコンテキストの圧縮を行うためのツールを提供します。
タスクを完了せずに停止してしまうエージェントに対処するため、Third MomentはCodexを、GPT‑6 SolまたはGPT‑6.1 Solによって動く外側のハーネス内のサブエージェントとして扱っています。外側のハーネスは、タスクが未完了のまま残された際に軌跡を調べ、リトライするか、ジョブを終了するか、人間によるレビューへエスカレートするかを判断します。
「Codexハーネスは非常に多用途で、多くの異なる分野での利用を可能にします。」—Adam Khakhar、Third Moment Research 共同創業者
その研究環境では、エージェントはThird Momentのエンジニアが構築したベースラインの取引システムの改善に取り組みます。エージェントは歴史的データ上で取引戦略をテストし、改善が意味のあるものかノイズかを評価し、各結果を次の実験の選択に活かします。Adamによれば、彼らの取り組みによりベースラインの取引システムは改善されました。
より高いトークン効率による長時間の研究の維持
GPT‑5.5以前は、モデルはユーザーが指示した実験を実行できるだけだったとAdamは言います。GPT‑5.5とGPT‑5.6では、Codexハーネスと連携するモデルが結果を使って後続の実験を設計できるようになりました。そして今、GPT‑6 Astra、GPT‑6 Sol、GPT‑6.1 Solにより、エージェントはサブエージェントと並行して実行される何百もの実験を通じて根本原因を調査できるようになっています。
この進歩により、エージェントはチームが予想していなかった研究方向を探索できるようになりました。あるセッションで、GPT‑6.1 Solは、取引量の予想外に大きな割合を占めていた取引所における、非表示取引(ノン・ディスプレイド・トレード)の影響を特定しました。「これは、私たちの研究チームが当初は考慮していなかった、直感的には分かりにくい結果でした」とAdamは言います。
Third Momentは、最適化、機械学習システム、定量的研究の各分野でモデルを評価しています。同社はフロンティアリリースを最高の推論設定でテストし、リポジトリの操作、効率的なコードの記述、調査の継続の能力を評価しています。現在のテストにはGPT‑6 Lunaも含まれます。
「GPT-6.1 Solはそのトークン効率の高さから、現在最も使用頻度の高いモデルです。GPT-6 Astraと同様のパフォーマンスを発揮しながら、最も少ないトークンでタスクを完了します。」—Jeffrey Yan、Third Moment Research 共同創業者
あるベンチマークでは、エージェントに、ライブスコアボードサービスの出力を維持したまま更新レイテンシを削減することが求められます。チームは、同一ハードウェア上で正しさを条件に、専門家が作成した解決策の平均実行時間をモデルの解決策の実行時間で割ることで高速化率を測定します。Adamによれば、GPT‑6 Astraが最大の高速化を達成しました。
シミュレーションシステムにおける特定のセキュリティ脆弱性のチェックなど、対象を絞った作業では、チームはGPT‑5.6 Terraのようなより効率的なモデルを使用しています。深い研究については、Adamはより強力な推論能力が高いコストを正当化すると考えています:「量的金融の分野では、興味深いシグナルを見つけることの価値は extremely high(極めて高い)のです。」
Daybreakによるセキュリティテストの自動化
10,000のエージェントが自律的に稼働しているThird Momentには、研究環境のセキュリティを大規模にテストする方法が必要でした。チームはDaybreakサイバーセキュリティプラットフォームを使用して、シミュレーションの開始前にそのテストを自動化しています。
テストでは、エージェントが研究環境から脱出してより広いネットワークにアクセスできるかどうかを確認します。「Daybreakを使用することで、エージェント自身にシミュレーションへのペネトレーションテストを行わせ、そのインフラとセキュリティをテストできるようになりました」とAdamは言います。
「Daybreakがなければ、これを大規模に自律的にテストすることはできなかったでしょう。」—Adam Khakhar、Third Moment Research 共同創業者
数十万人規模の協調するエージェントへの歩み
Third Momentの野望は、企業が毎日行う専門的な業務にも及びます。小売業者であれば、在庫が不足していたりサプライヤーが遅延していたりする際のより良いサプライチェーンの意思決定につながるかもしれません。エンジニアリングチームであれば、大規模なコードベースにおけるパフォーマンスのボトルネックの発見につながるかもしれません。文書の多いビジネスであれば、ある文書のコミットメントが別の文書に記録された結果と一致しない箇所の特定につながるかもしれません。
GPT‑6 Astra、GPT‑6 Sol、GPT‑6.1 Solの推論能力を基盤として、Third Momentは個別の調査から数十万人規模の協調するサブエージェントへの拡大を計画しています。そのロードマップでは、数十の依存する実験の連鎖を支える数兆トークンを見込んでおり、新たな課題が発生した際にその研究を活用してエージェントを自律的に改善することを目指しています。
Adamにとって、これにより人々はエージェントがどのように学び、働くかを形作るためのより大きな力を得られることになります:「人間ははるかにレバレッジの効いた立場に置かれ、実際に研究を行うのではなく、研究の方法や研究そのものの最適化について考えることができるようになります。」