OpenAI a rendu son modèle Decisions API largement disponible aux utilisateurs pour la première fois, entrant sur le marché de l'intelligence rapide et bon marché qui a récemment fait de TypeSafe, une startup fondée par un ancien chercheur du laboratoire de pointe, une entreprise de 7,6 milliards de dollars.
Le modèle Jev de TypeSafe a créé une catégorie de modèles d'apprentissage profond agissant comme des super classificateurs : étant donné un ensemble d'options, ils peuvent rapidement faire des choix et offrir un indice de confiance dans leur décision. Les développeurs de logiciels ont rapidement découvert que ces modèles de décision ou « System One » pouvaient remplacer les LLM dans une variété de flux de travail, fonctionnant plus rapidement et à un coût nettement inférieur.
Nikunj Handa, responsable produit des API d'OpenAI, a déclaré à TechCrunch que ses collègues avaient vu Jev et se sont dit « waouh, nous avons comme un million de cas d'utilisation pour ça ». L'équipe de Handa s'est lancée dans une course pour proposer sa propre version : plutôt que de construire un modèle de décision spécifiquement calibré, l'équipe a pris ChatGPT Luna et l'a reconfigurée pour accélérer l'inférence et réduire le coût.
« Le grand atout de Decisions API a été la vitesse, en faisant passer les choses d'une à trois secondes à 100, 120, 180 millisecondes », a déclaré Handa. « À l'avenir, nous pourrions peut-être avoir un entraînement spécifique pour rendre nos modèles encore meilleurs de ces manières. Mais pour l'instant, c'est juste du bon vieux Luna qui fait le travail. »
Annoncée lors de la journée des développeurs de l'entreprise le 29 septembre, la Decisions API est devenue disponible pour tous les clients jeudi. OpenAI a ajouté de nouvelles modalités vocales et visuelles à la version publique, et a travaillé à garantir une latence plus faible dans les régions du monde en ciblant géographiquement ses ressources d'inférence.
Lors des premiers essais avec des clients comme Box, Datadog, Ramp et Speak, les ingénieurs ont utilisé l'API pour remplacer les LLM d'OpenAI avec un débit plus élevé. Andrew Hsu, le CTO de Speak, qui construit des tuteurs linguistiques en IA, a déclaré que la Decisions API a permis à l'entreprise de réduire le temps entre les actions de 1.4 seconde à .13 seconde. OpenAI a également utilisé le produit pour améliorer la réactivité de son assistant vocal Dots.
Pourtant, on ne sait pas exactement ce qui fait un bon modèle de décision, autre que « ça marche pour vous » — l'optimisation entre intelligence, coût, calibration et vitesse semble varier selon la charge de travail. Le PDG de TypeSafe, Diogo Almeida, se méfie des benchmarks et exhorte les gens à tester les modèles dans leur propre travail, mais même TypeSafe a publié son propre classement la semaine dernière aux côtés du lancement de son dernier modèle Jev, qui inclut de nouvelles fonctionnalités telles que la prise en charge des images et les déclarations smart-if.
Les benchmarks publics comme l' AIM System One Index et l' Artificial Analysis Decision Index ont tendance à favoriser D1 Ultra, un nouveau modèle de décision que Liquid a lancé la semaine dernière, et Elephant-1 de Base Lab. Le dernier modèle Jev reste compétitif sur les deux indices, en septième et troisième position, avec le Decision Model d'OpenAI en huitième et quatorzième position respectivement. Cependant, les offres de TypeSafe sont, pour l'instant, les plus interrogées sur OpenRouter.
Le benchmark Jev le plus amusant, cependant, est JevMan, un benchmark où les modèles de décision jouent à PacMan ; le dernier modèle Jev domine ce classement. Felix Wunderlich, directeur de la croissance chez Opper AI, qui a construit ce benchmark, a déclaré que le jeu classique « est un test intéressant en raison de son flux incessant de décisions rapides et à enjeux élevés. À chaque carrefour, le modèle doit décider où aller en quelques centaines de millisecondes. »
Là où le modèle d'OpenAI, sans doute plus capable, pourrait avoir un avantage, c'est dans la multi-modalité — pour la classification d'images, « Luna est extrêmement puissante et montre de meilleures calibrations », a déclaré Handa à TechCrunch, ajoutant que les clients d'OpenAI souhaitent que la Decisions API soit plus flexible quant à l'utilisation d'images comme sorties également.
Handa a également envisagé de nouvelles augmentations de vitesse permettant de nouveaux cas d'utilisation : « Pouvons-nous arriver à quelque chose comme 60 millisecondes, et alors on pourrait imaginer un appel d'API pour chaque image d'une vidéo ? »
À mesure que ces offres deviennent plus rapides et moins chères, on peut s'attendre à ce qu'elles se conforment à l'éponyme de Jev, un économiste qui a expliqué comment l'utilisation plus efficace d'une ressource la rend plus omniprésente. Ou, comme le voit Handa, il y aura un ensemble croissant de « cas d'utilisation dingues » qui se cachaient en pleine vue jusqu'à ce que les modèles de décision les révèlent.