OpenAI hat sein Decisions-API-Modell allgemein verfügbar gemacht und steht Nutzern damit zum ersten Mal zur Verfügung und tritt in den Markt für schnelle, günstige Intelligenz ein, der kürzlich TypeSafe, ein Startup eines ehemaligen Forschers des Frontier-Labors, zu einem Unternehmen im Wert von 7,6 Milliarden Dollar.
gemacht hat. TypeSafes Jev-Modell schuf eine Kategorie für Deep-Learning-Modelle, die als Super-Klassifikatoren agieren: Gegeben eine Reihe von Optionen, können sie schnell Entscheidungen treffen und ihrer Entscheidung eine Konfidenzbewertung beifügen. Softwareentwickler fanden schnell heraus, dass diese Entscheidungs- oder System-One-Modelle LLMs in einer Vielzahl von Workflows ersetzen können – schneller arbeitend und zu dramatisch niedrigeren Kosten.
Nikunj Handa, der Produktleiter für OpenAIs APIs, erzählte TechCrunch, dass seine Kollegen Jev sahen und sagten: „Wow, wir haben etwa eine Million Anwendungsfälle dafür.“ Handas Team sprintete los, um eine eigene Version anzubieten: Statt ein speziell kalibriertes Entscheidungsmodell zu bauen, nahm das Team ChatGPT Luna und konfigurierte es um, um die Inferenz zu beschleunigen und die Kosten zu senken.
„Der große Durchbruch bei der Decisions API war die Geschwindigkeit, sie verkürzt Dinge von ein bis drei Sekunden auf 100, 120, 180 Millisekunden“, sagte Handa. „In Zukunft könnten wir gezieltes Training haben, um unsere Modelle in diesen Hinsichten noch besser zu machen. Aber im Moment ist es einfach das gute alte Luna, das die Arbeit erledigt.“
Angekündigt am Entwicklertag des Unternehmens am 29. September, wurde die Decisions API am Donnerstag für alle Kunden verfügbar. OpenAI fügte der öffentlichen Version neue Sprach- und Bildmodalitäten hinzu und sorgte durch geografisch gezielte Inferenz-Ressourcen für geringere Latenz in Regionen rund um die Welt.
In ersten Trials mit Kunden wie Box, Datadog, Ramp und Speak nutzten Ingenieure die API, um OpenAIs LLMs mit höherem Durchsatz zu ersetzen. Andrew Hsu, der CTO von Speak, das KI-Sprachtutoren entwickelt, sagte, die Decisions API ermögliche es dem Unternehmen, die Zeit zwischen Aktionen von 1.4 Sekunden auf .13 Sekunden zu reduzieren. OpenAI nutzte das Produkt auch, um die Reaktionsfähigkeit seines Sprachassistenten Dots zu verbessern.
Dennoch ist unklar, was genau ein gutes Entscheidungsmodell ausmacht, abgesehen davon, dass „es für dich funktioniert“ – die Optimierung über Intelligenz, Kosten, Kalibrierung und Geschwindigkeit scheint je nach Workload unterschiedlich zu sein. TypeSafe-CEO Diogo Almeida misstraut Benchmarks und fordert die Leute auf, die Modelle in ihrer eigenen Arbeit zu testen, aber selbst TypeSafe veröffentlichte eigene Rankings letzte Woche zusammen mit der Veröffentlichung seines neuesten Jev-Modells, das neue Funktionen enthält, darunter Unterstützung für Bilder und Smart-If-Anweisungen.
Öffentliche Benchmarks wie der AIM System One Index und der Artificial Analysis Decision Index bevorzugen tendenziell D1 Ultra, ein neues Entscheidungsmodell, das Liquid letzte Woche veröffentlichte, und Base Labs Elephant-1. Das neueste Jev-Modell bleibt auf beiden Indizes wettbewerbsfähig, auf Platz sieben und drei, während OpenAIs Decision Model auf Platz acht bzw. vierzehn fällt. TypeSafes Angebote sind jedoch vorerst die am häufigsten abgefragten auf OpenRouter.
Der unterhaltsamste Jev-Benchmark ist jedoch JevMan, ein Benchmark, bei dem Entscheidungsmodelle PacMan spielen; das neueste Jev-Modell führt diese Rangliste an. Felix Wunderlich, der Chief Growth Officer bei Opper AI, das den Benchmark entwickelt hat, sagte, das klassische Spiel „ist ein interessanter Test wegen seines ununterbrochenen Stroms schneller, hochriskanter Entscheidungen. An jeder Kreuzung muss das Modell innerhalb weniger hundert Millisekunden entscheiden, wohin es geht.“
Wo OpenAIs argumentativ fähigeres Modell einen Vorteil haben könnte, ist bei Multi-Modalität – bei der Bildklassifikation „ist Luna extrem leistungsstark und zeigt bessere Kalibrierungen“, erzählte Handa TechCrunch, und fügte hinzu, dass OpenAI-Kunden sich wünschen, dass die Decisions API flexibler auch bei der Verwendung von Bildern als Ausgaben wird.
Handa sah auch durch weitere Geschwindigkeitssteigerungen neue Anwendungsfälle entstehen: „Können wir das auf etwa 60 Millisekunden bringen, und dann könnte man sich einen API-Aufruf für jede einzelne Frame in einem Video vorstellen?“
Wenn diese Angebote schneller und günstiger werden, können wir erwarten, dass sie ihrem Namensgeber Jev gerecht werden, einem Ökonomen, der erklärte, wie die effizientere Nutzung einer Ressource sie allgegenwärtiger macht. Oder, wie Handa es sieht, wird es eine wachsende „verrückte Menge an Anwendungsfällen“ geben, die sich bislang offen vor unseren Augen versteckten, bis die Entscheidungsmodelle sie enthüllten.