OpenAI a officiellement ouvert la Decisions API à tous les clients le 22 octobre, proposant des services API adaptés aux scénarios de prise de décision rapide, et participant directement à la compétition de modèles de décision menée par le modèle Jev de la startup TypeSafe.
OpenAI a annoncé ce produit lors de la Journée des développeurs le 29 septembre. Son cœur est la réconfiguration du modèle ChatGPT Luna, afin de réduire les retards d’inférence et les coûts d’utilisation, plutôt que de former un modèle de décision indépendant.
Selon Nikunj Handa, responsable du produit OpenAI API, l’API Decisions peut réduire le temps de traitement de 1 à 3 secondes à 100 à 180 millisecondes. La version publique ajoute des modalités vocales et visuelles, et réduit les délais en planifiant les ressources de raisonnement par région. Dans les tests préliminaires avec des clients tels que Box, Datadog, Ramp et Speak, cette API a augmenté le rendement de traitement ; par exemple, l’application d’apprentissage linguistique Speak a réduit l’intervalle d’opération de 1,4 seconde à 0,13 seconde. OpenAI l’utilise également pour améliorer la vitesse de réponse de l’assistant vocal Dots.
Le modèle de décision peut faire des choix rapidement en fonction des options données et fournir une évaluation de confiance, offrant ainsi la possibilité de remplacer certaines parties du jugement logique assurées par les grands modèles de langage traditionnels. Actuellement, des produits tels que Jev, D1Ultra de Liquid et Elephant-1 de Base Labs participent à la concurrence.
Dans les tests de référence publiés, le modèle Jev le plus récent se classe respectivement septième et troisième dans les deux indices de modèles de décision, tandis que le modèle OpenAI occupe la huitième et la quatorzième places. Avec l’amélioration continue des capacités multimodales et de la vitesse de raisonnement, les modèles de décision devraient s’étendre à des applications telles que l’interaction en temps réel, la classification d’images et le traitement par frame de vidéos. Cependant, les exigences en termes de vitesse, de coût et de précision varient selon les tâches.