OpenAI Sitemap更新于

Third Moment Research 如何运行 10,000 个智能体超过 36 小时

Third Moment Research基于Codex与GPT系列模型构建自我改进的智能体系统,可同时运行10,000个智能体进行36-48小时的量化金融研究。文中介绍了Codex通过缓存与内存打包优化将回测从约3小时缩短到约3至5分钟、外层监督机制处理未完成任务,以及用Daybreak平台自动开展渗透测试等做法。这些为公司自己的案例描述,效果未经独立验证。

Third Moment Research’s continual improvement loop: agents run experiments, identify recurring issues, generate simulations, and improve the agent, using Codex and OpenAI models.
配图来源 · OpenAI Sitemap

每家公司都有自己的工作流程、工具、边界情况和成功的定义。 ⁠(在新窗口中打开)Third Moment Research⁠(在新窗口中打开) 认为最好的智能体应该非常擅长那项特定工作,并且使用得越多,其能力就应该越强。

该公司围绕这一理念构建了一个自我改进的 AI 系统,利用 OpenAI 的最新模型来理解智能体行为、识别反复出现的弱点,并自动围绕这些问题创建数千个合成场景。团队使用这些场景来改进智能体,并随着新问题的出现重复这一过程。

Codex、GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol 支持该系统的研究和计算工作,使 Third Moment 能够一次运行 10,000 个智能体,进行持续 36-48 小时的调查。该公司还使用 Daybreak 来测试智能体工作环境的安全性。

“在一次会话中,GPT-6.1 Sol 能够在数天的计算过程中保持连贯的计算研究主线,而不会迷失方向。”
—Adam Khakhar,Third Moment Research 联合创始人

用 Codex 减少运行时间和 token 浪费

Third Moment 的早期应用之一是量化金融领域,因为该领域有明确的成功衡量标准。这一领域为研究智能体的工作方式及其困难所在提供了具体的场景。团队使用 Codex 来发现并解决研究环境中的问题。

在一个实例中,团队使用 Codex 配合 GPT‑5.6(当时的最新 GPT 模型),结合时间戳和代码库,分析了数千条记录下来的模拟轨迹(智能体的动作和环境的响应)。

Codex 发现了一个瓶颈:对一年的美股订单级数据进行交易策略回测需要数小时。在等待期间,智能体反复轮询是否完成,浪费了 token,并用状态检查填满了它们的上下文。

在对回测进行性能分析并研究其输入和使用方式后,Codex 找到了一种缓存优化和一种内存打包技术。它试验了解决方案并将修复部署到生产环境,将回测时间从大约 3 小时缩短到大约 3 至 5 分钟。这减少了 token 使用和上下文污染,为智能体留出了更多 token 预算用于进一步的实验。

用 Codex 和 GPT‑6 让智能体保持专注

Third Moment 为每个智能体提供完成特定工作所需的工具、信息和环境。在量化研究方面,团队在 Docker 化环境中运行默认的 Codex harness。智能体会收到 1 TB 的数据、文档,以及一个包含特征工程、GPU 支持的模型训练、交易策略和仿真模块的研究代码库。

GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol 提供推理能力,而 Codex harness 则为智能体提供行动工具,使它们能够制定计划、设定目标、生成子智能体,并在工作持续进行时压缩上下文。

为了解决智能体在完成任务前停止的问题,Third Moment 将 Codex 视为由 GPT‑6 Sol 或 GPT‑6.1 Sol 驱动的外层 harness 中的一个子智能体。当任务未完成时,外层 harness 会检查轨迹,并决定是重试、终止该任务,还是升级到人工审核。

“Codex harness 非常多才多艺,它可以在许多不同的领域中使用。”
—Adam Khakhar,Third Moment Research 联合创始人

在那个研究环境中,智能体的工作是改进由 Third Moment 工程师构建的基线交易系统。它们在历史数据上测试交易策略,评估某项改进是有意义的还是噪声,并利用每个结果来选择下一个实验。据 Adam 说,它们的工作已经改进了基线交易系统。

Third Moment Research’s continual improvement loop: agents run experiments, identify recurring issues, generate simulations, and improve the agent, using Codex and OpenAI models.

以更高的 token 效率支撑更长的研究

Adam 说,在 GPT‑5.5 之前,模型只能执行用户指定的实验。有了 GPT‑5.5 和 GPT‑5.6,与 Codex harness 配合工作的模型可以利用结果来设计后续实验。现在,有了 GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol,智能体可以通过与子智能体并行运行的数百个实验来调查根本原因。

这一进展帮助智能体探索了团队未曾预料到的研究方向。在一次会话中,GPT‑6.1 Sol 发现了非公开显示交易对某一交易所的影响,而这些交易在该交易所的成交量中占据了出乎意料的大份额。“这是一个我们的研究团队最初没有考虑到的非显而易见的结果,”Adam 说。

Third Moment 在优化、机器学习系统和量化研究方面评估模型。它以最高推理设置测试前沿版本,评估它们浏览代码库、编写高效代码和维持调查的能力。当前的测试还包括 GPT‑6 Luna。

“鉴于其 token 效率,GPT-6.1 Sol 是我们目前使用最多的模型。它以最少的 token 完成任务,同时提供与 GPT-6 Astra 相似的性能。”
—Jeffrey Yan,Third Moment Research 联合创始人

其中一个基准测试要求智能体在保持输出不变的前提下降低一个实时记分板服务的更新延迟。团队用专家手工编写的解决方案在同一硬件上的平均运行时间除以模型解决方案的平均运行时间来衡量加速比,并以正确性为前提。据 Adam 说,GPT‑6 Astra 带来了最大的加速。

对于有针对性的工作,包括检查模拟系统中特定安全漏洞,团队会使用更高效的模型,例如 GPT‑5.6 Terra。对于深度研究,Adam 认为更强的推理能力可以证明更高成本的合理性:“在量化金融领域,发现某个有趣信号的价值极其高。”

使用 Daybreak 自动化安全测试

随着 10,000 个代理自主运行,Third Moment 需要一种方法来大规模测试其研究环境的安全性。团队使用 Daybreak 网络安全平台在模拟启动之前自动化这项测试。

这些测试检查代理是否可能脱离其研究环境并访问更广泛的网络。“通过使用 Daybreak,我们能够让代理自身对模拟进行渗透测试,并测试其基础设施和安全性,”Adam 说。

“如果没有 Daybreak,我们将无法大规模地自主进行这种测试。”
—Adam Khakhar,Third Moment Research 联合创始人

迈向数十万协作代理

Third Moment 的雄心延伸到公司每天从事的专业工作。对于零售商来说,这可能意味着在库存短缺或供应商延迟时做出更好的供应链决策。对于工程团队来说,这可能意味着在大型代码库中发现性能瓶颈。对于文档繁重的企业来说,这可能意味着找出一份文件中的承诺与另一份文件中记录的结果不匹配之处。

基于 GPT‑6 Astra、GPT‑6 Sol 和 GPT‑6.1 Sol 的推理能力,Third Moment 计划从单个调查扩展到数十万协作子代理。其路线图要求以数万亿 token 支持数十个相互依赖实验组成的链条,目标是在新挑战出现时利用这些研究自主改进代理。

对 Adam 而言,这将使人们有更多能力去塑造代理的学习和工作方式:“人类可以处于杠杆作用更大的位置,他们可以思考如何做研究并优化研究本身,而不是实际去做研究。”

OpenAI <3 初创企业

加入社区开始构建(在新窗口中打开)
原始出处

OpenAI Sitemap

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准