OpenAI hat am 22. Oktober offiziell die Decisions API für alle Kunden freigegeben und eine API-Dienstleistung für schnelle Entscheidungsszenarien eingeführt. Dadurch nimmt das Unternehmen direkt an dem Wettbewerb um Entscheidungsmodelle teil, der von dem Modell Jev der Startup TypeSafe ausgeht.
OpenAI kündigte am 29. September im Entwicklertag das Produkt an. Im Kern besteht es in der Neukonfiguration des ChatGPT Luna-Modells, um die Rechenzeit und die Nutzungskosten zu reduzieren, anstatt ein separates Entscheidungsmodell auszubilden.
Laut Nikunj Handa, Leiter des OpenAI API-Produkts, kann die Verarbeitungszeit mit der Decisions-API von 1–3 Sekunden auf 100–180 Millisekunden reduziert werden. Die öffentliche Version enthält neue Sprach- und visuelle Modi und verringert die Verzögerung durch die Bereitstellung von Inferenzressourcen nach Regionen. In den ersten Tests mit Kunden wie Box, Datadog, Ramp und Speak hat diese API die Verarbeitungsleistung erhöht; bei der Sprachlern-App Speak wurde die Betriebsdauer von 1,4 Sekunden auf 0,13 Sekunde verkürzt. OpenAI verwendet sie auch, um die Reaktionsgeschwindigkeit des Sprachassistenten Dots zu verbessern.
Das Entscheidungsmodell kann auf Basis der gegebenen Optionen schnell eine Wahl treffen und eine Bewertung der Zuverlässigkeit liefern, wodurch es die logische Beurteilungstätigkeiten einiger traditioneller Large Language Model ersetzen könnte. Derzeit nehmen Produkte wie Jev, D1Ultra von Liquid und Elephant-1 von Base Labs am Wettbewerb teil.
Im offenen Benchmark testen belegt das neueste Jev-Modell jeweils den siebten und dritten Platz in den Entscheidungsmodell-Indizes, während das OpenAI-Modell den achten und vierzehnten Platz einnimmt. Mit der zunehmenden Verbesserung der Multimodalität und der Rechengeschwindigkeit könnten die Entscheidungsmodelle Anwendungen wie Echtzeitinteraktion, Bildklassifizierung und Frame-by-Frame-Verarbeitung von Videos erweitern. Dennoch unterscheiden sich die Anforderungen an Geschwindigkeit, Kosten und Genauigkeit für verschiedene Aufgaben weiterhin.