OpenAIは10月22日、すべての顧客に対してDecisions APIを正式に提供しました。これは迅速な意思決定シナリオ向けのAPIサービスであり、スタートアップ企業TypeSafeのJevモデルが推進する意思決定モデルの競争に直接参加することになります。
OpenAIは9月29日の開発者日において、この製品を発表した。その核心は、推論の遅延と使用コストを低減するために、ChatGPT Lunaモデルを再配置することであり、独立した意思決定モデルを特別に訓練することではない。
OpenAI APIのプロダクト責任者であるNikunj Handaによると、Decisions APIにより処理時間が1〜3秒から100〜180ミリ秒に短縮されるという。公開バージョンでは音声と視覚モーダルが追加され、地域ごとに推論リソースをスケジュールすることで遅延が低減される。Box、Datadog、Ramp、Speakなどの顧客による初期テストでは、このAPIにより処理スループットが向上し、特に言語学習アプリのSpeakでは操作間隔が1.4秒から0.13秒に短縮された。OpenAIはまた、Dots音声アシスタントの応答速度を向上させるためにこのAPIを使用している。
決定モデルは、与えられた選択肢に基づいて迅速に選択を行い、信頼度評価を提供することができ、伝統的な大言語モデルの一部の論理判断機能を代替する可能性があります。現在、Jev、LiquidのD1Ultra、Base LabsのElephant-1などの製品が競争に参加しています。
公開のベンチマークでは、最新のJevモデルが2つの意思決定モデル指数でそれぞれ7位と3位にランクインし、OpenAIモデルは8位と14位になった。多モーダル能力と推論速度が継続的に向上するにつれて、意思決定モデルはリアルタイムインタラクション、画像分類、ビデオのフレームごとの処理などの応用領域を拡大することが期待される。しかし、異なるタスクには速度、コスト、正確性に対する要求が異なる。