OpenAIはDecisions APIモデルを 初めて一般ユーザーに 広く提供し、高速で低コストなインテリジェンス市場に参入した。この市場は最近、フロンティアラボの元研究者が創業したスタートアップTypeSafeを 76億ドル企業.
に押し上げた。 TypeSafeのJevモデル スーパークラシファイアとして機能する深層学習モデルにとって、これは大きな意味を持つ。選択肢のセットを与えられれば、素早く選択を行い、その決定に対する信頼度の評価を提供できる。ソフトウェア開発者たちは、こうした意思決定モデル、すなわちSystem Oneモデルが、さまざまなワークフローでLLMを置き換えられ、より高速に動作し、劇的に低いコストで運用できることにすぐに気づいた。
切り開いた。選択肢のセットが与えられると、素早く選択を行い、その判断に対する信頼度の評価を提供する。ソフトウェア開発者たちは、こうした意思決定モデル、いわゆるSystem Oneモデルが、さまざまなワークフローでLLMを置き換えられ、より高速かつ劇的に低コストで動作することをすぐに発見した。
「Decisions APIの大きなブレークスルーはスピードです。1〜3秒かかっていたものを100、120、180ミリ秒に短縮しました」とHandaは語った。「将来的には、こうした面でモデルをさらに改良するための専用トレーニングを行うかもしれません。しかし現時点では、仕事をこなしてくれるのはただの昔ながらのLunaです。」
9月29日の同社開発者向けイベント「デベロッパーデー」で発表されたDecisions APIは、木曜日にすべての顧客が利用可能になった。OpenAIは公開版に音声と視覚の新しいモダリティを追加し、推論リソースを地理的に配置することで、世界中の各地域で低レイテンシを確保する取り組みを進めた。
Box、Datadog、Ramp、Speakなどの顧客を対象とした初期トライアルでは、エンジニアたちがこのAPIを使ってOpenAIのLLMをより高いスループットのものに置き換えた。AI語学チューターを手がけるSpeakのCTO、Andrew Hsuは、Decisions APIによってアクション間の時間を1.4秒から.13秒に短縮できたと語った。OpenAI自身もこの製品を使って、Dots音声アシスタントの応答性を向上させた。
Box、Datadog、Ramp、Speakといった顧客との初期トライアルでは、エンジニアたちがこのAPIを使ってOpenAIのLLMをより高いスループットのものに置き換えた。AI語学チューターを開発するSpeakのCTO、Andrew Hsuは、Decisions APIによってアクション間の時間を1.4秒から0.13秒に短縮できたと述べた。OpenAI自身もこの製品を使い、Dots音声アシスタントの応答性を向上させた。 それでも、「自分にとって機能する」という以外に、優れた意思決定モデルとは何かは明確ではない。インテリジェンス、コスト、キャリブレーション、スピードの最適化はワークロードによって異なるようだ。TypeSafeのCEO、Diogo Almeidaはベンチマークを信じておらず、人々に自身のワークでモデルを試すよう勧めているが、そのTypeSafe自身も先週、 先週、画像のサポートやスマートif文などの新機能を含む最新のJevモデルのリリースと併せて発表された。
した。これは最新のJevモデルのリリースに合わせたもので、同モデルには画像対応やsmart-ifステートメントなどの新機能が含まれている。 AIM System One Index や Artificial Analysis Decision Index といった公開ベンチマークは、Liquidが先週リリースした新しい意思決定モデルD1 Ultraと、Base LabのElephant-1を高く評価する傾向がある。最新のJevモデルは両インデックスで7位と3位と依然として競争力を保っており、OpenAIのDecision Modelはそれぞれ8位と14位に位置している。ただし、現時点でTypeSafeの提供モデルはOpenRouterで 最も広くクエリされている 。
しかし、最も楽しいJevベンチマークは JevManだ。これは意思決定モデルがパックマンをプレイするベンチマークで、最新のJevモデルがそのランキングを首位で飾っている。このベンチマークを構築したOpper AIのチーフグロースオフィサー、Felix Wunderlichは、この古典的ゲームについて「絶え間なく続く素早い高リスクの意思決定の連続であるため、興味深いテストです。すべての分岐点で、モデルは数百ミリ秒のうちにどこへ進むべきかを決めなければなりません」と語った。
OpenAIのより高性能とされるモデルが優位に立てる可能性があるのはマルチモダリティの分野だ。画像分類についてHandaはTechCrunchに「Lunaは非常に強力で、より良いキャリブレーションを示しています」と語り、OpenAIの顧客はDecisions APIが画像を出力として使うことにもっと柔軟になることを望んでいると付け加えた。
Handaは、さらなる高速化が新たなユースケースを可能にするとも見ている。「これを60ミリ秒程度まで持っていけたら、ビデオのすべてのフレームごとにAPIコールのようなものを発行する、といったことも想像できるでしょう?」
これらの提供がより速く、より安価になるにつれ、Jevの名前の由来である、資源をより効率的に使うことでその資源がより遍在的になることを 説明した 経済学者の教え通りになると期待できる。あるいはHandaの見方では、意思決定モデルが明らかにするまで誰の目にも留まらなかった「途方もないユースケースの集合」が拡大していくのだろう。