随着 GPT‑6 Astra 在 Codex 中运行实验,Asana 优化了其浏览器代理在 GPT‑6.1 Sol 上的工作流程,使其运行成本降低至原来的1/76、速度提升5倍。
Asana 通过以下方式帮助客户跨业务应用实现工作自动化 StackAI(在新窗口中打开),这是一个它 收购(在新窗口中打开)的平台。借助 StackAI,客户无需编写代码即可构建导航网站、填写表单和收集信息的工作流程。在 Asana 的规模下,这些工作流程中的小低效会不断累积。
Asana 的 StackAI 首席技术官 Frank Hidalgo(博士)着手让浏览器代理运行得更快、更便宜。他指示 Codex 中的 GPT‑6 Astra 调查该代理、测试改进并比较结果。他估计手工完成这项工作需要一到两个月,而实际只用了大约一周。
Asana 的144次运行研究(在新窗口中打开) 测试了 GPT‑6.1 Sol 以及另外三个前沿模型,此处称为模型 A、B 和 C。在 GPT‑6.1 Sol 上形成的优化工作流程,每次运行的估计模型成本平均为 0.47美元,耗时约四分钟,比模型 B 上的原始生产配置便宜76倍、快5倍。
“这就是人类与智能体团队在实践中的样子。一位工程师确定了方向,GPT-6 Astra 运行了实验,结果通过 Command 进入生产环境。这展示了 Asana 如何将人类与智能体团队变为现实。”——Asana 首席产品官 Arnab Bose
使用 GPT‑6 Astra 识别浏览器代理的低效之处
为了快速推进,Hidalgo 首先使用 Codex 中的 GPT‑6 Astra 对代码库进行映射,并解释该代理如何构建每个模型请求。GPT‑6 Astra 发现,该代理缓存了其固定指令和工具定义,但没有缓存其收集到的不断增长的页面文本和屏幕截图历史,因此每个请求都以全价重新发送该历史记录。
该代理还几乎在每一步都丢弃较旧的屏幕截图并裁剪文本。每次编辑都会改变历史记录,因此仅缓存历史记录并无帮助,而丢失这些信息可能导致代理不得不重新访问它已经读过的页面。
借助 GPT‑6 Astra,从估计两个月的研究缩短到一周
Hidalgo 审阅了 GPT‑6 Astra 提出的修复方案,并选择了三项进行测试:
将缓存扩展到代理的浏览历史
增加其可保留的文本量
分批移除屏幕截图,而不是在每一步都移除
GPT‑6 Astra 先进行快速测试以确定哪些变量是重要的。由于代码并非为受控实验而设计,它随后重构了代码,使一个前端和后端能够并行支持多个工作流程,每个工作流程都有自己的设置。
Astra 进行了完整研究:120,000 和 480,000 字符的历史预算,以及六种缓存和屏幕截图策略,每种策略在四个模型上各测试三次(见下表)。表现最佳的策略允许屏幕截图累积到20张,然后削减到仅保留最近的一张。这在两次移除之间让较早的历史记录在更长时间内保持不变。结合更大的历史预算,它成为了优化后的工作流程。每个配置执行相同的任务:从一个公开演示目录中为32本书各收集六个字段,这代表了某些 Asana 客户在 StackAI 中运行的典型任务。
模型 | 描述 | 价格 |
|---|---|---|
模型 A | 来自另一家前沿实验室的更小、更便宜的模型,于2025年秋季发布 | GPT‑6.1 Sol 价格的一半 |
Model B | 最初用于生产环境的模型,与 Model A 出自同一实验室,于2026年夏季发布 | 与 GPT‑6.1 Sol 价格相同 |
Model C | Model B 的更新版本,于2026年秋季发布 | 与 GPT‑6.1 Sol 价格相同 |
GPT‑6.1 Sol | OpenAI 的模型 |
GPT‑6 Astra 运行了工作流并检查了请求、使用记录和输出,另有独立的模型会话对工作进行了复核。每个会话的请求数据和结果都被记录在 Command(在新窗口中打开)——Asana 的软件交付平台中,以便团队事后审查完整的研究过程。研究发现从 Command 被转化为工单(tickets),再转化为拉取请求(pull requests),随后变更被部署到生产环境。
“如果手工来做,这需要一到两个月。而在 Codex 中使用 GPT-6 Astra,只花了大约一周:我会在睡前设置一个 /goal,早上起来查看结果。”—Frank Hidalgo,博士,Asana 的 StackAI CTO
将模型成本降至每次运行低于 0.50 美元
对于 Model B,优化使估算的模型成本从每次运行至少 36.21 美元(部分原始运行在完成前达到了步骤上限)降至 1.24 美元,降幅为 29 倍。在 GPT‑6.1 Sol 上经过优化的工作流还要便宜 2.6 倍,为 0.47 美元。优化工作流中的每次运行都完成了任务并返回了正确答案。
3 次运行的平均值。≥:基线包含被截断的运行,因此其均值是下限。
右侧两个折线是与优化后的 Model B 进行比较。Model B 在同一研究(虚线)的第 1 阶段运行,Model C 和 Sol 6.1 在第 2 阶段运行。
仅在 GPT‑6.1 Sol 上,凭借更大的历史记录预算,新的缓存和截图策略使成本降低了 4 倍,从每次运行 1.97 美元降至 0.47 美元。每次调用便宜了约 3 倍,因为 89% 的输入来自缓存,而缓存价格仅为未缓存价格的 5%。运行速度也变得更快:在 Model B 的原始设置上至少需要 22.5 分钟,而在 GPT‑6.1 Sol 上使用优化后的工作流大约只需四分钟。
3 次运行的平均值,SD 误差线。≥:均值包含被截断或未完成的运行,因此真实值至少有这么大。
柱状图使用蓝色主题。缓存效果请对照 480k 更大预算的柱子读取。
运行标记和 SD 误差线是根据源图像的近似重建;底层的运行数值和标准差不可用。
3 次运行的平均值,SD 误差线。≥:均值包含被截断或未完成的运行,因此真实值至少有这么大。
柱状图使用蓝色主题。缓存效果请对照 480k 更大预算的柱子读取。
运行标记和 SD 误差线是根据源图像的近似重建;底层的运行数值和标准差不可用。
这项研究还展示了历史记录管理如何影响智能体是否能够产出答案。让 GPT‑6.1 Sol 拥有更多空间来保留其浏览历史,使产出答案的运行次数从较小历史预算下的 18 次中的 3 次,增加到较大预算下的全部 18 次,且每次都给出了正确答案。对 Hidalgo 来说,其商业价值在于让客户能够使用更快、更强的模型,同时保持运营成本的可持续性。
“过去,成本限制了我们可以向客户提供哪些模型来处理这些工作负载。通过让智能体更高效,我们可以在降低运营成本的同时,为客户提供更好、更快的模型。”—Frank Hidalgo,博士,Asana 的 StackAI CTO
扩展实验与产品测试
Asana 已在 StackAI 中发布了浏览器导航方面的改进,并正在开发工具以使类似实验更容易重复进行。随着时间推移,团队计划将这种测试纳入平台的评估体系中,使客户和内部团队在配置其智能体时可以比较成本、运行时间和答案质量。
“交付速度不再是瓶颈;人的注意力才是。我们正在接近这样一个世界:每一位工程师都是领导一群智能体的 PM。”—Frank Hidalgo,博士,Asana 的 StackAI CTO
Asana 现在正在 Codex 中使用 GPT‑6 Astra 在产品发布前测试产品功能:Astra 会浏览平台、尝试不同的输入,并为人工 QA 审查人员报告缺陷。Hidalgo 将此视为全新软件开发生命周期的基础,其中许多云端智能体会话将并行测试各项功能。
完整的研究报告发布在 Asana(在新窗口中打开) 和 StackAI(在新窗口中打开) 博客。
