OpenAI abrió oficialmente el 22 de octubre la API Decisions a todos los clientes, lanzando un servicio de API para escenarios de toma de decisiones rápidas, y participando directamente en la competencia de modelos de decisión impulsada por el modelo Jev de la empresa startup TypeSafe.
OpenAI anunció el producto el 29 de septiembre, día del desarrollador, cuyo objetivo principal es reconfigurar el modelo ChatGPT Luna para reducir el retraso en la inferencia y los costos de uso, en lugar de entrenar un modelo de toma de decisiones independiente.
Según Nikunj Handa, responsable del producto de la API de OpenAI, la API Decisions puede reducir el tiempo de procesamiento de 1—3 segundos a 100—180 milisegundos. La versión pública incluye modales de voz y visual, y reduce el retraso mediante la asignación de recursos de razonamiento por región. En pruebas preliminares con clientes como Box, Datadog, Ramp y Speak, esta API aumentó el rendimiento de procesamiento; en particular, la aplicación de aprendizaje de idiomas Speak redujo el intervalo de operación de 1.4 segundos a 0.13 segundos. OpenAI también la utiliza para mejorar la velocidad de respuesta del asistente de voz Dots.
El modelo de decisión puede tomar decisiones rápidamente basándose en las opciones dadas y proporcionar una evaluación de confianza, con la esperanza de reemplazar parte de las funciones de juicio lógico de los modelos tradicionales de lenguaje grande. Actualmente, productos como Jev, D1Ultra de Liquid y Elephant-1 de Base Labs participan en la competencia.
En los tests de referencia públicos, el modelo más reciente de Jev ocupa el séptimo y el tercer lugar en los dos índices de modelos de decisión, mientras que el modelo de OpenAI se sitúa en el octavo y el decimocuarto lugar. A medida que las capacidades multimodales y la velocidad de razonamiento continúan mejorando, los modelos de decisión podrán ampliar su aplicación en escenarios como la interacción en tiempo real, la clasificación de imágenes y el procesamiento de video por fotogramas, pero todavía existen diferencias en las requisitos de velocidad, costo y precisión para diferentes tareas.