OpenAI가 Decisions API 모델을 만들었습니다 널리 이용 가능한 사용자에게 처음으로 제공되면서, 최근 프론티어 연구소의 전직 연구원이 설립한 스타트업 TypeSafe를 만든 빠르고 저렴한 지능 시장에 진입하게 되었습니다. 76억 달러 규모의 기업.
TypeSafe의 Jev 모델 하나의 카테고리를 만들었습니다 초정밀 분류기 역할을 하는 딥러닝 모델은 주어진 선택지를 빠르게 판단하고 그 결정에 대한 신뢰도 등급을 제시할 수 있습니다. 소프트웨어 개발자들은 이러한 의사결정 즉 시스템 1(System One) 모델이 다양한 워크플로에서 LLM을 대체할 수 있으며, 더 빠르게 작동하고 비용은 획기적으로 낮다는 점을 빠르게 발견했습니다.
OpenAI의 API 제품 책임자인 Nikunj Handa는 TechCrunch에 동료들이 Jev를 보고 “와, 우리한테는 이것의 활용 사례가 백만 가지는 있다”고 말했다고 전했다. Handa의 팀은 자체 버전을 제공하기 위해 신속히 움직였다. 구체적으로 보정된 의사결정 모델을 구축하는 대신, 팀은 ChatGPT Luna를 가져와 추론 속도를 높이고 비용을 낮추도록 재구성했다.
"Decisions API의 가장 큰 성과는 속도였습니다. 1~3초 걸리던 작업을 100, 120, 180밀리초로 줄였죠,"라고 Handa가 말했습니다. "앞으로 이런 면에서 모델을 더욱 개선하기 위한 특별한 학습을 진행할 수도 있습니다. 하지만 지금은 그저 기존의 Luna가 그 일을 해내고 있을 뿐입니다."
9월 29일 회사의 개발자 데이에서 발표된 Decisions API는 목요일에 모든 고객에게 제공되었습니다. OpenAI는 공개 버전에 새로운 음성 및 시각 모달리티를 추가했으며, 추론 리소스를 지리적으로 타겟팅하여 전 세계 각 지역에서 더 낮은 지연 시간을 보장하기 위해 노력했습니다.
Box, Datadog, Ramp, Speak 같은 고객사를 대상으로 한 초기 시험에서 엔지니어들은 이 API를 사용해 OpenAI의 LLM을 더 높은 처리량으로 대체했습니다. AI 언어 튜터를 개발하는 Speak의 CTO Andrew Hsu는 Decisions API 덕분에 회사가 동작 간 지연 시간을 1.4초에서 .13초로 단축할 수 있었다고 말했습니다. OpenAI 또한 이 제품을 활용해 자사의 Dots 음성 비서의 반응 속도를 개선했습니다.
그래도 "본인에게 맞으면 된다"는 점 외에 좋은 의사결정 모델을 무엇이 만드는지는 정확히 명확하지 않습니다. 지능, 비용, 보정, 속도를 아우르는 최적화는 작업 부하에 따라 다른 것으로 보입니다. TypeSafe CEO Diogo Almeida는 벤치마크를 신뢰하지 않으며 사람들에게 자신의 업무에서 직접 모델을 시험해 보라고 권하지만, TypeSafe조차도 자체 순위를 발표했다 지난주 최신 Jev 모델과 함께 공개되었으며, 이 모델은 이미지 지원 및 smart-if 문 등 새로운 기능을 포함하고 있습니다.
다음과 같은 공개 벤치마크: AIM System One Index 그리고 그 Artificial Analysis Decision Index D1 Ultra는 지난주 Liquid가 출시한 새로운 의사결정 모델로, Base Lab의 Elephant-1과 함께 선호되는 경향을 보입니다. 최신 Jev 모델은 두 지수에서 각각 7위와 3위로 여전히 경쟁력을 유지하고 있으며, OpenAI의 Decision Model은 각각 8위와 14위에 머물렀습니다. 하지만 TypeSafe의 제품들은 당분간, 가장 광범위하게 조회되는 OpenRouter에서.
그러나 가장 재미있는 Jev 벤치마크는 다음과 같습니다. JevMan. 의사 결정 모델이 PacMan을 플레이하는 벤치마크로, 최신 Jev 모델이 해당 순위에서 1위를 차지했습니다. 이 벤치마크를 구축한 Opper AI의 최고 성장 책임자(CGO)인 Felix Wunderlich는 이 고전 게임이 “끊임없이 이어지는 빠르고 중대한 의사 결정의 연속이기 때문에 흥미로운 테스트”라고 말했습니다. “모델은 매 교차 지점마다 수백 밀리초 안에 어디로 갈지 결정해야 합니다.”
OpenAI의 어쩌면 더 뛰어난 모델이 우위를 가질 수 있는 부분은 멀티모달리티입니다. 이미지 분류에 관해 Handa는 TechCrunch에 “Luna는 매우 강력하며 더 나은 보정(calibration)을 보여주고 있습니다”라고 말했으며, OpenAI 고객들이 Decisions API가 이미지를 출력으로도 활용할 때 더 유연해지기를 원한다고 덧붙였습니다.
Handa는 또한 새로운 사용 사례를 가능하게 하는 속도의 추가 향상을 목격했습니다. “이걸 60밀리초 정도로 끌어올릴 수 있으면, 비디오의 모든 프레임마다 API 호출 같은 것을 상상할 수 있겠죠?”
이러한 서비스들이 더 빠르고 저렴해짐에 따라, 우리는 그것들이 제프(Jev)의 이름을 딴 경제학자의 기대에 부응할 것으로 예상할 수 있는데, 이 경제학자는 어떻게 ~했는지 설명했다 자원을 더 효율적으로 사용하면 그 자원이 더욱 보편화됩니다. 아니면 Handa가 보는 것처럼, 의사결정 모델이 드러내기 전까지는 눈앞에 있으면서도 감춰져 있던 확장되는 "미친 듯한 사용 사례들의 집합"이 있을 것입니다.