OpenAI는 10월 22일에 모든 고객에게 Decisions API를 공개했으며, 빠른 의사결정 환경을 위한 API 서비스를 출시하여 스타트업 TypeSafe의 Jev 모델이 주도하는 의사결정 모델 경쟁에 직접 참여하게 되었습니다.
OpenAI는 9월 29일 개발자 데이에서 이 제품을 발표했습니다. 핵심은 추론 지연과 사용 비용을 줄이기 위해 ChatGPT Luna 모델을 재구성하는 것이며, 독립적인 의사결정 모델을专门적으로 훈련하는 것은 아닙니다.
OpenAI API 제품 책임자 니쿤지 한다에 따르면, Decisions API는 처리 시간을 1~3초에서 100~180밀리초로 단축할 수 있습니다. 공개 버전에는 음성 및 시각 모달이 추가되었으며, 지역별로 추론 리소스를 배치하여 지연을 줄였습니다. Box, Datadog, Ramp, Speak 등 고객들의 초기 테스트에서 이 API는 처리 처리량을 향상시켰습니다. 특히 언어 학습 앱인 Speak에서는 작업 간격을 1.4초에서 0.13초로 줄였습니다. OpenAI는 이를 Dots 음성 도우미의 응답 속도 향상에도 사용하고 있습니다.
결정 모델은 주어진 옵션에 따라 빠르게 선택을 내리고 신뢰도 평가를 제공할 수 있어, 일부 전통적인 대언어 모델이 담당하는 논리적 판단 과정을 대체할 가능성이 있습니다. 현재 Jev, Liquid의 D1Ultra, Base Labs의 Elephant-1 등의 제품들이 경쟁에 참여하고 있습니다.
공개 기준 테스트에서 최신 Jev 모델은 두 가지 의사결정 모델 지수에서 각각 7위와 3위를 차지했으며, OpenAI 모델은 8위와 14위를 기록했습니다. 다중 모달 능력과 추론 속도가 지속적으로 향상됨에 따라 의사결정 모델은 실시간 상호작용, 이미지 분류, 비디오 프레임 단위 처리 등의 응용 분야를 확장할 수 있을 것으로 기대되지만, 각 작업에 대한 속도, 비용 및 정확성 요구사항은 여전히 차이가 있습니다.