OpenAI hizo que su modelo Decisions API estuviera ampliamente disponible para los usuarios por primera vez, entrando en el mercado de inteligencia rápida y barata que recientemente convirtió a TypeSafe, una startup fundada por un exinvestigador del laboratorio frontera, en una empresa de $7.6 mil millones.
El modelo Jev de TypeSafe creó una categoría para modelos de aprendizaje profundo que actúan como superclasificadores: dado un conjunto de opciones, pueden tomar decisiones rápidamente y ofrecer una calificación de confianza en su decisión. Los desarrolladores de software descubrieron rápidamente que estos modelos de decisión o System One podían reemplazar a los LLM en una variedad de flujos de trabajo, operando más rápido y a un costo drásticamente menor.
Nikunj Handa, el líder de producto de las APIs de OpenAI, le dijo a TechCrunch que sus colegas vieron Jev y dijeron "wow, tenemos como un millón de casos de uso para esto". El equipo de Handa trabajó a toda velocidad para ofrecer su propia versión: en lugar de construir un modelo de decisión específicamente calibrado, el equipo tomó ChatGPT Luna y lo reconfiguró para acelerar la inferencia y reducir el costo.
"El gran logro con Decisions API ha sido la velocidad, reduciendo cosas de uno a tres segundos a 100, 120, 180 milisegundos", dijo Handa. "En el futuro, quizás tengamos un entrenamiento específico para hacer que nuestros modelos sean aún mejores en estos aspectos. Pero por ahora, es simplemente la vieja Luna la que hace el trabajo".
Anunciada en el día de desarrolladores de la empresa el 29 de septiembre, la Decisions API estuvo disponible para todos los clientes el jueves. OpenAI añadió nuevas modalidades de voz y visión a la versión pública, y trabajó para garantizar una menor latencia en regiones de todo el mundo al ubicar geográficamente sus recursos de inferencia.
En pruebas iniciales con clientes como Box, Datadog, Ramp y Speak, los ingenieros usaron la API para reemplazar los LLM de OpenAI con un mayor rendimiento. Andrew Hsu, el CTO de Speak, que construye tutores de idiomas con IA, dijo que la Decisions API permitió a la empresa reducir el tiempo entre acciones de 1.4 segundos a .13 segundos. OpenAI también usó el producto para mejorar la capacidad de respuesta de su asistente de voz Dots.
Aun así, no está claro exactamente qué hace que un modelo de decisión sea bueno, más allá de "funciona para ti" — la optimización entre inteligencia, costo, calibración y velocidad parece variar según la carga de trabajo. El CEO de TypeSafe, Diogo Almeida, desconfía de los benchmarks e insta a las personas a probar los modelos en su propio trabajo, pero incluso TypeSafe publicó su propio ranking la semana pasada junto con el lanzamiento de su último modelo Jev, que incluye nuevas características como soporte para imágenes y sentencias smart-if.
Los benchmarks públicos como el AIM System One Index y el Artificial Analysis Decision Index tienden a favorecer a D1 Ultra, un nuevo modelo de decisión que Liquid lanzó la semana pasada, y a Elephant-1 de Base Lab. El último modelo Jev sigue siendo competitivo en ambos índices, en séptimo y tercer lugar, con el Decision Model de OpenAI cayendo al octavo y decimocuarto lugar, respectivamente. Sin embargo, las ofertas de TypeSafe son, por ahora, las más consultadas en OpenRouter.
El benchmark de Jev más divertido, sin embargo, es JevMan, un benchmark donde los modelos de decisión juegan PacMan; el último modelo Jev encabeza ese ranking. Felix Wunderlich, el director de crecimiento de Opper AI, que construyó el benchmark, dijo que el juego clásico "es una prueba interesante debido a su flujo incesante de decisiones rápidas y de alto riesgo. En cada cruce, el modelo debe decidir a dónde ir en unos pocos cientos de milisegundos".
Donde el modelo de OpenAI, posiblemente más capaz, puede tener una ventaja es en la multi-modalidad: para la clasificación de imágenes, "Luna es extremadamente poderosa y ha mostrado mejores calibraciones", le dijo Handa a TechCrunch, añadiendo que los clientes de OpenAI quieren que la Decisions API sea más flexible al usar imágenes también como salidas.
Handa también vio que mayores aumentos de velocidad habilitan nuevos casos de uso: "¿Podemos llevar esto a algo como 60 milisegundos, y entonces podrías imaginar como una llamada de API como para cada cuadro de un video?"
A medida que estas ofertas se vuelven más rápidas y baratas, podemos esperar que honren el nombre de Jev, un economista que explicó cómo usar un recurso de manera más eficiente lo hace más omnipresente. O, como lo ve Handa, habrá un "conjunto loco de casos de uso" en expansión que estaban ocultos a plena vista hasta que los modelos de decisión los revelaron.