OpenAI更新日

LegalOn、開発速度を維持したままCodexのコストを半減

LegalOnは、開発速度を維持しながら、推定1日あたりのCodexコストを65%削減しました。Astra、Sol、Lunaをタスクに適宜割り当て、予算を戦的に管理することでこれを実現しました。

画像の出典 · OpenAI

LegalOn Technologiesは、Professional AIを世界中で提供し、AIを活用して法務業務その他の重要なビジネス機能を支援しています。ドメインの専門知識とAIを組み合わせることで、人々が複雑な判断や意思決定に集中できる環境を実現しています。その目標は、業務における意思決定の質と速度を向上させる、AI駆動のマネジメントです。

このアプローチは製品にとどまらず、組織そのものをAIネイティブにすることへと広がっています。同社はCodexを開発プロセスに組み込み、日常的な利用を通じて組織全体への導入を拡大しました。

導入が進むにつれ、新たな課題が浮上しました。それがコスト管理です。高性能モデルの無制限な利用は支出を押し上げかねず、画一的な制限はAIがもたらした生産性向上を損なうリスクがありました。

開発の速度を落とさずにコストを削減するには、どうすればよいのか。LegalOn Technologiesは、タスクの複雑さと開発ステージに応じてGPT‑6(Astra、Luna)とGPT‑6.1 Solを使い分け、各事業の成長ステージに合わせて予算を配分することでこの課題に取り組みました。その結果、開発速度を維持したままコストを半減させることができました。

開発速度を維持しつつコストを削減するためのモデル最適化

同社は当初、主要モデルであるFastモードのGPT‑5.5を開発者に無制限に提供していました。開発者たちはその利用を設計、実装、日常業務へと広げ、試行錯誤を通じて人とAIの役割分担の最適なあり方を学んでいきました。

しかし、高性能モデルを無制限に使い続ければ、年間予算を超過することは避けられませんでした。同社のAI-powered Development CoE(AID CoE)は、モデル選択に関するガイドラインの策定に着手しました。AID CoEがモデルのテストとモニタリングを行い、マネージャーがその知見をチームで共有しました。これにより、各エンジニアがタスクごとに最も適したモデルを自律的に選択できるようになりました。

モデルとタスクのマッチングと戦的なリソース配分

新しいガイドラインにより、同社はあらゆるタスクに最高性能のモデルを使う方式から、仕事に応じて適切なモデルを選ぶ方式へと移行しました。各チームは軽量モデルから始め、タスクの複雑さが増すにつれてより高性能なモデルへと移行していきました。

ガバナンスを支えるため、同社は管理者設定によるシステム制御も導入し、部門および個人に月間利用制限を設けました。AID CoEが利用状況をモニタリングし、業務ニーズに応じて制限を調整しています。

これらの統制下での社内テストにより、選択基準はより具体的になりました。最も軽量なGPT‑6 Lunaは要件が明確なコード実装を担当し、GPT‑6.1 Solは標準的な設計、データ分析、ドキュメント作成を支援し、最も高性能なGPT‑6 Astraはアーキテクチャ設計を含む高度な判断を担当します。モデルとタスクのマッチングは、次第にチーム全体で共有されるプラクティスとなっていきました。

異なるタスクに応じた3モデルの使い分け

GPT-6 Luna

日常的な実行と実装、日常的なオートメーションの実行、比較的単純なタスクや分析の委任、主にサブエージェントとしてのコード実装。

GPT-6.1 Sol

標準的な設計と分析、比較的単純なソフトウェア設計、定型的な数値分析とドキュメント作成、Lunaよりも短い完了時間が求められるタスク。

GPT-6 Astra

複雑な分析、設計、オーケストレーション、複雑な分析とドキュメント作成、複雑なソフトウェア設計、オーケストレーターとしてのエージェントの調整。

モデル選択と並行して、同社はFastモードをデフォルトで制限し、必要な場合にのみ個別のリクエストを許可する運用を開始しました。この変更は開発速度への懸念を生みましたが、各チームはタスクの並列実行などのアプローチを用いてパフォーマンスを維持し、円滑に移行しました。

また、部門、グループ、個人の各レベルでAI支出の予算上限も導入しました。確立されたLegalOnの既存事業には最大約20%のコスト効率改善が求められ、立ち上げ段階の新規事業にはAIの積極的な活用を促すために潤沢な予算が配分されました。

LegalOn TechnologiesのシニアエンジニアリングマネージャーであるYuta Tokitake氏は、新規事業ではコスト効率よりもビジネススピードを優先したと説明します。AIを大規模に活用してアウトプットを増やし、最終的にビジネスの成長を牽引することを目指したのです。

モデル選択、機能制限、事業ごとに調整された予算を組み合わせることで、推定1日あたりのコストを約65%削減しました。このアプローチにより、予算全体を管理下に置きながら、リソースを成長させたい事業へと振り向けることができました。

結果の概要

モデルの最適化と戦的なリソース配分により、以下の成果が得られました:

  • あらゆるタスクに最高性能のモデルを使う方式から、タスクの複雑さと開発ステージに応じてGPT‑6 Astra、GPT‑6.1 Sol、GPT‑6 Lunaを選択する方式への転換。

  • Fastモードのデフォルト制限後も、タスクの並列実行などのチームのプラクティスに支えられ、開発パフォーマンスを維持。

  • 成熟事業で約20%の効率改善を図りつつ、新規事業には積極的な投資を行う形で予算上限を設定。

  • GPT‑6および6.1のモデルを使い分けることで、GPT‑5.5と比較して推定1日あたりのコストを65%削減。

機能リリースを通じたAI投資の真のROIの測定

モデルの最適化を通じて、同社は開発スピードや品質を犠牲にすることなくコストを削減しました。チームではまた、AIが開発からリリースまでのサイクルを着実に短縮していることも実感されています。

しかし同社はさらに先を見据えています。開発の速さだけでは、AI投資の成功と言えるのでしょうか。開発の高速化と顧客価値とのつながりは依然不明確なままでした。「システム開発やアップデートをAIが加速できることは、ほぼ当然の前提になっています」と時武氏は言います。「私たちが本当に理解したいのは、その開発の高速化が実際に顧客にとっての価値につながっているのかどうかです」。

この問いがきっかけとなり、同社は独自の指標を開発しました。これにより、AI投資の評価基準は開発スピードや利用量から顧客価値へと移行しました。

時武氏は次のように説明します。「AIを利用する際、個々のタスクのコストは追跡できますが、ひとつの完成した仕事、つまり機能リリースの総コストはブラックボックスのままであることが少なくありません。そこで私たちは、機能リリースひとつひとつを単位として計測を設計しました。リリースがもたらす顧客価値と、そこに投資された実際のAIコストを紐づけることで、投資対効果を可視化し、正確に把握できるようにすることを目指しています」。

同社は現在、この指標を算出するためのパイプラインを構築中です。完成すれば、顧客価値の観点から真のROIが可視化されることになります。LegalOn Technologiesは、AIコスト管理を超えて、テクノロジー投資をビジネス価値に直接つなげる段階へと進んでいます。

AI時代に向けた組織とガバナンスの構築

次の目標は、個々のエンジニアが持つAIのノウハウを、組織全体の能力に変えることです。第一歩として、同社は実践的な経験を収集・共有するためのナレッジベースを構築する計画です。設計、実装、レビューに最適なモデルの組み合わせといった知識を蓄積し、個人の成功を素早く会社全体のベストプラクティスへと転換します。

チームの実践的な経験によってもたらされたこれらの変化は、組織や採用にも影響を与えています。AIによる生産性向上を受け、同社は人とAIの仕事の分担のあり方や人員計画を根本から見直そうとしています。投資戦略と組織構造の進化に伴い、採用ではすでにAIスキルを重視し始めています。

AIの導入を持続的な競争優位に変えるには、ガバナンスとチームの行動の自由とのバランスを絶えず洗練させ続ける必要があります。AID CoEとセキュリティチームは協働し、パフォーマンス、コスト、リスクを多角的に最適化しながら、組織全体の実験を支援する柔軟なフレームワークを構築しています。

「ルールや予算による過度な制約は、組織の推進力を損なう可能性があります。必要なのは、リスク管理とチームに求められるスピードのバランスを効果的に取れる、柔軟な運用モデルです」。
LegalOn Technologies シニアエンジニアリングマネージャー 時武 悠太

OpenAI <3 startups

コミュニティに参加する構築を始める(新しいウィンドウで開きます)
原文の出典

OpenAI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください