OpenAI更新于

LegalOn在保持开发速度的同时将Codex成本减半

LegalOn通过按任务复杂度在GPT‑6 Astra、GPT‑6.1 Sol与GPT‑6 Luna间选型,配合默认限用Fast模式及部门与个人预算上限,对成熟业务提出约20%的效率要求,在保持开发速度的同时将每日估算成本较GPT‑5.5降低65%;文中所述为估算值,其按功能发布衡量客户价值的ROI体系仍在建设中。

配图来源 · OpenAI

LegalOn Technologies在全球范围内提供Professional AI,利用AI支持法律工作及其他关键业务职能。通过将领域专业知识与AI相结合,它使人们能够专注于复杂的判断和决策。其目标是实现AI驱动的管理,提高业务决策的质量和速度。

这一方法不仅延伸到其产品,还延伸到让组织本身实现AI原生化。公司将Codex整合到其开发流程中,并通过日常使用在整个组织内扩大采用。

随着采用逐步深入,一个新挑战出现了:成本控制。不受限制地使用高性能模型可能会推高支出,而一刀切的限制则有可能损害AI所带来的生产力提升。

如何在不拖慢开发的情况下降低成本?LegalOn Technologies通过根据任务复杂度和开发阶段在GPT‑6(Astra、Luna)和GPT‑6.1 Sol之间进行选择,并使预算与各业务的成长阶段保持一致,应对了这一挑战。公司在保持开发速度的同时将成本减半。

优化模型以保持开发速度并降低成本

公司最初让开发人员不受限制地使用其主力模型GPT‑5.5的Fast模式。他们将它的使用扩展到设计、实施和日常工作中,通过试验学习如何最好地在人与AI之间划分职责。

然而,继续不受限制地使用高性能模型将不可避免地超出年度预算。公司的AI驱动开发卓越中心(AID CoE)开始制定模型选择指南。AID CoE对模型进行测试和监控,管理者则将其发现分享给各自的团队。这使每位工程师都能独立地为每项任务选择最合适的模型。

将模型与任务相匹配并战略性地分配资源

新指南使公司从每项任务都使用最高能力模型,转变为为工作选择合适的模型。团队从轻量级模型开始,随着任务复杂度的增加而过渡到更强的模型。

为支持治理,公司还通过管理员设置引入了系统控制,对部门和个人设置每月使用限额。AID CoE监控使用情况,并根据业务需要调整限额。

在这些控制下进行的内部测试帮助使选择标准更加具体。最轻量的模型GPT‑6 Luna处理需求明确的代码实现;GPT‑6.1 Sol支持标准设计、数据分析和文档准备;而能力最强的模型GPT‑6 Astra则处理包括架构设计在内的高级判断。模型与任务的匹配逐渐成为各团队共同的实践。

针对不同任务在三个模型之间做出选择

GPT-6 Luna

日常执行与实施;运行日常自动化;委托相对简单的任务和分析;代码实现,主要作为子代理(subagent)。

GPT-6.1 Sol

标准设计与分析;相对简单的软件设计;常规数值分析和文档创建;比使用Luna需要更短完成时间的任务。

GPT-6 Astra

复杂的分析、设计和编排;复杂分析和文档创建;复杂软件设计;作为编排者(orchestrator)协调各代理。

在选择模型的同时,公司开始默认限制Fast模式,仅在需要时允许个别请求。尽管这一变化引发了对开发速度的担忧,但团队采用了诸如并行运行任务等方法来保持性能并平稳过渡。

公司还在部门、团队和个人层面为AI支出引入了预算上限。成熟的LegalOn业务被要求将成本效率提高最多约20%,而处于启动阶段的新业务则获得充裕的预算,以鼓励积极使用AI。

LegalOn Technologies高级工程经理Yuta Tokitake解释说,新业务优先考虑业务速度而非成本效率。其目标是广泛使用AI以增加产出,并最终推动业务增长。

模型选择、功能限制以及针对各业务量身定制的预算,合计将预估的每日成本降低了约65%。这一方法在控制总体预算的同时,将资源导向公司希望增长的业务。

成果一览

模型优化和战略性资源分配带来了以下成果:

  • 从每项任务都使用最强模型,转变为根据任务复杂度和开发阶段选择GPT‑6 Astra、GPT‑6.1 Sol或GPT‑6 Luna。

  • 在默认限制Fast模式后,开发性能得以保持,这得益于并行执行任务等团队实践。

  • 预算上限将成熟业务约20%的效率提升与新业务的积极投资相结合。

  • 通过在GPT‑6和6.1模型之间进行选择,与GPT‑5.5相比,预估每日成本降低了65%。

通过功能发布衡量AI投资的真实ROI

通过模型优化,该公司在不牺牲开发速度和质量的前提下降低了成本。团队还发现AI在稳步缩短从开发到发布的周期。

但该公司把目光放得更远。仅凭更快的开发速度就能算AI投资成功吗?更快开发与客户价值之间的联系仍不清晰。“AI能够加速系统开发和更新,这几乎是不言而喻的,”Tokitake说,“我们真正想弄清楚的是,更快的开发是否真的转化为了客户价值。”

这个问题促使该公司开发了自己的指标,将评估AI投资的依据从开发速度和使用量转向客户价值。

Tokitake解释道:“使用AI时,我们可以跟踪单个任务的成本,但一项完整工作——即一次功能发布——的总成本往往仍是黑箱。因此我们围绕每次功能发布作为一个单位来设计度量。通过将发布所交付的客户价值与其中实际投入的AI成本相关联,我们旨在使投资回报可见且准确。”

该公司目前正在构建计算这一指标的流水线。完成后,它将使客户价值方面的真实ROI变得可见。LegalOn Technologies正在超越AI成本管理,向将技术投资与业务价值直接关联的方向迈进。

为AI时代构建组织与治理

下一个目标是将个别工程师的AI经验转化为全组织的能力。作为第一步,该公司计划构建一个知识库来收集和分享实践经验。它将记录诸如设计、实现和评审的最佳模型组合等知识,并迅速将个人成功转化为全公司的最佳实践。

这些由团队实践经验驱动的变化也在塑造组织和招聘。AI带来的生产力提升促使该公司从根本上重新思考人员与AI之间的工作分工以及人力规划。随着投资战略和组织架构的演进,该公司已经开始在招聘中强调AI技能。

要将AI应用转化为持久的竞争优势,需要持续微调治理与团队行动自由之间的平衡。AID CoE与安全团队正通力合作,从多个角度优化性能、成本和风险,构建一个支持全组织实验的灵活框架。

“通过规则和预算施加过多限制可能会削弱组织的冲劲。我们需要的是一个能有效平衡风险控制与团队所需速度的灵活运营模式。”
Yuta Tokitake,高级工程经理,LegalOn Technologies

OpenAI <3 startups

加入社区开始构建(在新窗口中打开)
原始出处

OpenAI

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准