OpenAI 推出了其 Decisions API 模型 广泛可用 首次面向用户，进入了快速、廉价智能的市场，这一市场近期让由前前沿实验室研究员创立的初创公司TypeSafe成为一家 76亿美元公司.
TypeSafe 的 Jev 模型 开创了一个品类 作为超级分类器的深度学习模型：给定一组选项，它们可以快速做出选择，并为其决策提供置信度评级。软件开发者很快发现，这些决策模型或“系统一”模型可以在各种工作流程中取代大语言模型，运行速度更快，成本也大幅降低。
OpenAI API产品负责人Nikunj Handa告诉TechCrunch,他的同事们看到Jev后说“哇，我们有一百万种用例”。Handa的团队迅速行动，推出了自己的版本：他们没有构建专门校准的决策模型，而是对ChatGPT Luna进行了重新配置，以加快推理速度并降低成本。
“Decisions API 带来的最大突破就是速度，把耗时从一到三秒缩短到100、120、180毫秒，”Handa说。“未来，我们可能会进行专门的训练，让我们的模型在这些方面变得更好。但现在，完成任务的只是朴实无华的Luna。”
该公司于9月29日的开发者日上宣布了Decisions API，该API已于周四向所有客户开放。OpenAI在公开版本中加入了新的语音和视觉模态，并通过按地理位置部署推理资源，努力确保世界各地区都拥有更低的延迟。
在与Box、Datadog、Ramp和Speak等客户的初步试用中，工程师们使用该API以更高的吞吐量替代了OpenAI的LLM。打造AI语言导师的Speak公司首席技术官Andrew Hsu表示，Decisions API使公司将动作之间的时间从1.4秒缩短到了.13秒。OpenAI还利用该产品提升了其Dots语音助手的响应速度。
不过，除了“对你有效”之外，究竟什么才构成一个好的决策模型仍不明确——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe的CEO Diogo Almeida不信任基准测试，并敦促人们在自己的工作中试用这些模型，但即便是TypeSafe 也发布了自己的排名 ，是在上周发布其最新Jev模型时推出的，该模型包含支持图像和smart-if语句等新功能。
像 AIM System One Index 和 Artificial Analysis Decision Index 这样的公开基准测试往往倾向于Liquid上周发布的全新决策模型D1 Ultra，以及Base Lab的Elephant-1。最新的Jev模型在两个指数上仍具竞争力，分别排在第七和第三，而OpenAI的Decision Model则分别排在第八和第十四。不过，TypeSafe的产品目前是OpenRouter上 被查询最多的 。
不过，最有趣的Jev基准测试是 JevMan，这是一个让决策模型玩吃豆人的基准测试；最新的Jev模型位居该榜单之首。构建该基准测试的Opper AI首席增长官Felix Wunderlich表示，这款经典游戏“是一个有趣的测试，因为它包含源源不断的快速、高风险决策。在每个路口，模型都必须在几百毫秒内决定该往哪里走。”
OpenAI那个可以说能力更强的模型，其优势可能在于多模态——对于图像分类，“Luna极其强大，并且一直表现出更好的校准，”Handa告诉TechCrunch，并补充说OpenAI的客户希望Decisions API在使用图像作为输出方面也更加灵活。
Handa还预见到速度的进一步提升将催生新的用例：“我们能不能把它降到60毫秒左右？那样你就可以想象一个对视频中的每一帧都进行调用的API了？”
随着这些产品变得更快、更便宜，我们可以期待它们不辜负Jev这个名字所致敬的那位经济学家的理念——他曾 解释过 ，更高效地使用一种资源会使其变得更加普及。或者，正如Handa所看到的，将会涌现出越来越多“疯狂的用例”，它们此前一直藏在显而易见之处，直到决策模型将它们揭示出来。