OpenAI

Third Moment Research 如何运行 10,000 个智能体持续 36 小时以上

OpenAI介绍Third Moment Research同时运行10,000个代理开展36-48小时的量化金融研究,并用Daybreak自动化测试环境安全。内容为厂商自述案例,效果未经独立验证。

Third Moment Research’s continual improvement loop: agents run experiments, identify recurring issues, generate simulations, and improve the agent, using Codex and OpenAI models.
配图来源 · OpenAI

每家公司都有自己的工作流程、工具、边缘案例和成功定义。 ⁠(在新窗口中打开)Third Moment Research⁠(在新窗口中打开) 认为最好的智能体应该非常擅长那项特定工作,并且使用得越多,能力就应越强。

该公司围绕这一理念构建一个自我改进的 AI 系统,利用 OpenAI 最新的模型来理解智能体行为、识别反复出现的弱点,并围绕这些问题自动创建数千个合成场景。团队利用这些场景来改进智能体,并随着新问题的出现不断重复这一过程。

Codex、GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol 支持该系统的研究和计算工作,使 Third Moment 能够一次性运行 10,000 个智能体,对持续 36-48 小时的调查进行研究。该公司还使用 Daybreak 来测试智能体工作环境的安全性。

“在单次会话中,GPT-6.1 Sol 能够在数天的计算过程中保持连贯的计算研究主线,而不会迷失方向。”
—Adam Khakhar,Third Moment Research 联合创始人

使用 Codex 降低运行时间和 token 浪费

Third Moment 的早期应用之一是量化金融领域,因为该领域有明确的成功衡量标准。这一领域为研究智能体如何工作以及它们在何处遇到困难提供了具体的场景。团队使用 Codex 来发现并解决研究环境中的问题。

在一次实例中,它使用 Codex 配合 GPT‑5.6(当时的最新 GPT 模型)分析数千条记录下来的模拟轨迹(智能体的动作和环境的响应),同时结合时间戳和代码库。

Codex 发现了一个瓶颈:对一年的美股订单级数据进行交易策略回测需要数小时。在等待期间,智能体反复轮询完成状态,浪费 token 并让状态检查填满了上下文。

在分析回测的性能及其输入和使用情况后,Codex 确定了一种缓存优化和一种内存打包技术。它试验了多种解决方案并将修复部署到生产环境,将回测时间从大约 3 小时缩短到大约 3 到 5 分钟。这减少了 token 使用和上下文污染,为智能体释放了更多 token 预算用于进一步的实验。

使用 Codex 和 GPT‑6 让智能体专注任务

Third Moment 为每个智能体提供完成特定工作所需的工具、信息和环境。对于量化研究,团队在 Docker 化环境中运行默认的 Codex harness。智能体会收到一个 TB 级的数据、文档以及一个研究代码库,其中包含特征工程、GPU 支持的模型训练、交易策略和仿真等模块。

GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol 提供推理能力,而 Codex harness 则为智能体提供行动、制定计划、设定目标、生成子智能体以及在工作持续进行时压缩上下文的工具。

为了解决智能体在完成任务前停止的问题,Third Moment 将 Codex 作为由 GPT‑6 Sol 或 GPT‑6.1 Sol 驱动的外层 harness 中的子智能体。当任务未完成时,外层 harness 会检查执行轨迹,并决定是重试、终止作业,还是升级至人工审查。

“Codex harness 极为通用,它使得在许多不同领域的应用成为可能。”
—Adam Khakhar,Third Moment Research 联合创始人

在该研究环境中,智能体致力于改进由 Third Moment 工程师构建的基线交易系统。他们在历史数据上测试交易策略,评估某项改进是有意义的还是噪声,并利用每个结果来选择下一个实验。据 Adam 称,他们的工作已经改进了基线交易系统。

Third Moment Research’s continual improvement loop: agents run experiments, identify recurring issues, generate simulations, and improve the agent, using Codex and OpenAI models.

以更高的 token 效率支持更长的研究

Adam 表示,在 GPT‑5.5 之前,模型只能执行用户指定的实验。借助 GPT‑5.5 和 GPT‑5.6,与 Codex harness 配合工作的模型能够利用实验结果设计后续实验。而现在,借助 GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol,智能体可以通过与子智能体并行运行的数百个实验来调查根本原因。

这一进展帮助智能体探索了团队未曾预料到的研究方向。在一次会话中,GPT‑6.1 Sol 发现了非展示交易对某交易所的影响,这些交易在该交易所的成交量中占据了出乎意料的大比例。“这是我们研究团队最初没有考虑到的非显而易见的结果,”Adam 说。

Third Moment 在优化、机器学习系统和量化研究方面评估各种模型。它以最高推理设置测试前沿发布版本,评估其浏览代码库、编写高效代码以及持续开展调查的能力。目前的测试还包括 GPT‑6 Luna。

“鉴于其 token 效率,GPT-6.1 Sol 是目前我们使用最多的模型。它以最少的 token 完成任务,同时提供与 GPT-6 Astra 相近的性能。”
—Jeffrey Yan,Third Moment Research 联合创始人

其中一个基准测试要求智能体降低实时记分板服务的更新延迟,同时保持其输出不变。团队通过将专家编写方案的平均运行时间除以模型方案在同一硬件上(以正确性为前提)的运行时间来衡量加速比。据 Adam 称,GPT‑6 Astra 带来了最大的加速。

对于有针对性的工作,包括对模拟系统中特定安全漏洞的检查,团队会使用更高效的模型,如GPT‑5.6 Terra。对于深度研究,Adam认为更强的推理能力可以证明更高的成本是合理的:“在量化金融领域,发现某个有趣信号的价值极高。”

使用Daybreak自动化安全测试

随着10,000个智能体自主运行,Third Moment需要一种方法来大规模测试其研究环境的安全性。团队使用Daybreak网络安全平台在模拟启动之前自动化这项测试。

这些测试检查智能体是否能突破其研究环境并访问更广泛的网络。“通过使用Daybreak,我们能够让智能体自己对模拟进行渗透测试,并测试其基础设施和安全性,”Adam说。

“没有Daybreak,我们将无法大规模地自主测试这些内容。”
—Adam Khakhar,Third Moment Research联合创始人

迈向数十万协作智能体

Third Moment的雄心延伸到公司每天所做的专业化工作。对于零售商来说,这可能意味着在库存短缺或供应商延迟时做出更好的供应链决策。对于工程团队来说,这可能意味着在大型代码库中找到性能瓶颈。对于文档繁重的企业来说,这可能意味着识别出一份文档中的承诺与另一份文档中记录的结果不一致之处。

在GPT‑6 Astra、GPT‑6 Sol和GPT‑6.1 Sol的推理能力基础上,Third Moment计划从单个调查扩展到数十万协作子智能体。其路线图要求数万亿token支持数十个相互依赖的实验链,目标是在新挑战出现时利用这些研究自主改进智能体。

对Adam来说,这将使人们有更多能力来塑造智能体的学习和工作方式:“人类可以处于一个杠杆化得多的位置,他们可以思考如何做研究并优化研究本身,而不是真正去做研究。”

OpenAI <3 初创公司

加入社区开始构建(在新窗口中打开)
原始出处

OpenAI

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准