OpenAI Sitemap更新于

用 Ironclad 推进计算机使用

了解 OpenAI 和 Ironclad 如何在复杂的合同工作流程上训练和评估 AI 智能体,以推进专业工作中的计算机使用。

配图来源 · OpenAI Sitemap

当我们推出 GPT‑6 Astra时,我们展示了我们的模型在将计算机用于专业工作方面的进步,从准备文档到测试网站。我们的下一个目标是让智能体在使用专业软件解决复杂商业问题方面更强大、更高效。我们正在探索如何训练模型理解公司的业务规则、执行多步骤工作流程,并验证其工作是否符合最初要求。

为了加速这项研究,我们正直接与少数最了解这些工作流程的软件公司合作。我们一起识别具有挑战性、高价值的任务,并将其转化为用于训练和评估我们模型的研究问题,最终使我们的模型在真实商业应用中更强大、更有用。

我们的第一个合作伙伴是 AI 合同领域的领导者 Ironclad。通过与 Ironclad 团队密切合作,我们开发了需要智能体配置协议、审批和可复用法律条款的任务,并在这些复杂工作流程上展示了进展。Ironclad 的专业知识在定义成功的标准以及将真实客户需求直接带入前沿模型开发方面发挥了关键作用。我们感谢他们的合作,并期待分享我们共同取得的成果。

GPT‑6 Astra 是我们的第一个在 Ironclad 任务上训练的前沿模型。在我们的研究评估中,其平均得分比 GPT‑5.6 Sol 高 32%,而每次尝试的估计时间降低了 48%。1

将合同工作流程转化为训练任务

设想一个法律运营团队在建立一个软件采购流程。财务部门可能需要审批超过一定金额的采购,安全部门可能需要审查某些请求,法务部门可能需要审查非标准条款。设置该流程的人必须将这个简短的清单转化为信息收集表单、文档模板、审批规则以及最终协议的记录。

执行同样工作的 AI 智能体在操作软件时必须始终关注这些要求。例如,它必须配置财务部门对超过支出阈值的审批,并检查高于和低于该阈值的请求是否遵循正确的路径。仅仅把单个步骤做对是不够的:完成的流程必须在其设计所要应对的各种情况下都能正常运行。

Ironclad 的员工以及 OpenAI 中使用 Ironclad 的人员帮助我们的研究人员识别了横跨法律、商业和采购工作的 11 个任务。其中包括设置保密协议、创建采购审批流程,以及更新可复用的法律条款以反映请求者所选司法管辖区等任务。我们估计,这项工作对于有经验的用户来说平均每个任务大约需要 30 到 40 分钟。

我们根据任务的复杂程度,用 8 到 50 条标准对每个任务进行评估。这让我们能够看到模型在哪些部分做对了,以及在哪些地方存在不足。Ironclad 还提供了其产品的托管软件环境,供模型练习这些任务。我们的研究人员围绕具有代表性的工作流程开发了合成训练任务,2 并使用强化学习帮助模型通过练习和反馈不断改进。这种组合——由了解这项工作的人挑选的任务、详细的标准,以及供模型练习的场所——确保我们能在对客户最重要的真实任务上取得改进。

Astra 的表现如何

我们比较了 Astra 和 GPT‑5.6 Sol,其中 Astra 使用 Max reasoning 设置,Sol 使用 High reasoning 设置,这是各自模型得分最高的设置。在 11 个研究任务中,Astra 的平均得分为 55.0%,而 GPT‑5.6 Sol 为 41.6%,每次尝试的估计平均时间则从 Sol 的 37.0 分钟降至 Astra 的 19.2 分钟。3 一个在 Astra 开发过程中使用的内部模型在这些任务上取得了更强的 63.7%,我们的目标是将这些进一步的提升带到未来的模型中。

指标

GPT‑5.6 Sol
High reasoning

GPT‑6 Astra
Max reasoning

平均评分标准得分

41.6%

55.0%

每次尝试的估计平均时间

37.0 分钟

19.2 分钟

Astra 以更少的每次模拟时间满足了更多任务要求。下面的两个视频片段展示了两个模型如何处理同一个研究任务。Astra(第一个)在估计 20 分钟内满足了约 94% 的任务标准;GPT‑5.6 Sol(第二个)在估计 32 分钟内满足了约 85%。

GPT‑6 Astra 在估计 20 分钟内满足了约 94% 的任务标准。

GPT‑5.6 Sol 在估计 32 分钟内满足了约 85% 的任务标准。

此次合作对Ironclad意味着什么

Ironclad在这项工作中的角色反映了其客户深有体会的一个挑战:合同流程必须在保持企业所依赖的规则的同时处理例外情况。如果智能体在任务进行到一半时丢失了其中某条规则的踪迹,这就限制了软件公司能够放心地让它去做的事情。这凸显了为什么在智能体越来越擅长复杂的合同任务之际,人工监督依然重要,以及为什么一个完整的合同平台仍然不可或缺。与我们研究人员合作,使Ironclad能够将这些问题的解决纳入底层模型的开发过程,从而让我们可以共同研究这些问题。

随着模型能力的不断提升,Ironclad 有机会在更多自有产品中使用它们。对于法务和业务团队而言,这可能意味着 AI 承担复杂合同工作中更多的精力投入,同时保留这些团队所依赖的控制机制。

“要让 AI 在复杂的合同领域真正有用,它不能只是完成单个动作。智能体需要理解完整的合同生命周期,包括业务工作流之间如何衔接,同时保留团队所依赖的控制机制。我们与 OpenAI 的合作将这些现实世界的挑战带入研究过程,并帮助推动这项技术向前发展。”
——Ironclad 首席技术官 Sunita Verma

与我们合作,推动 AI 应用于复杂的专业工作

我们正邀请少数软件公司与我们研究和工程团队直接合作,解决当今智能体尚无法可靠完成的重要专业任务。如果你的团队有此类任务,我们希望看到一个具体示例:你要求智能体做什么、其失败之处的证据,以及你将如何评判成功的结果。合作伙伴还应能够提供深入了解这项工作的人员、一个用于测试的安全环境,以及可以安全用于研究的数据。这为我们调查失败原因并衡量模型是否有所改进提供了起点。

如果这正是你的团队的情况, 申请探索研究合作.

原始出处

OpenAI Sitemap

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准