Artificial Analysis Decision Index v1.0

모든 아티클

Artificial Analysis Decision Index v1.0

Artificial Analysis Decision Index는 각 옵션에 대한 확률과 함께 단 한 번의 호출로 구조화된 결정에 답하는 새로운 범주의 모델인 결정 모델(decision model)을 벤치마킹합니다. 버전 1.0은 분류, 도구 호출, 지식, 환각, 추론에 걸친 네 가지 평가를 결합합니다.

Artificial Analysis Decision Index 소개

결정 모델(decision model)은 구조화된 답변 또는 분류를 관련 확률과 함께 출력하는 신흥 범주의 모델입니다. 복잡한 추론과 장기 작업을 위해 설계된 언어 모델과 달리, 결정 모델은 구조화된 결정을 더 빠르고 낮은 비용으로 수행하는 데 집중합니다.

Artificial Analysis Decision Index v1.0의 출시와 함께, 우리는 개발자와 기업이 결정 모델의 역량, 비용, 속도 트레이드오프를 다른 결정 모델뿐 아니라 언어 모델과도 비교하여 이해하도록 돕고자 합니다.

상태

“도와주세요! 제 지급이 3일째 실패하고 있고 내일 집세가 나갑니다. 이건 용납할 수 없습니다.”

질문

• 선택라우팅할 팀
• 예/아니요긴급함?
• 점수얼마나 화남?

결정 모델

모든 질문을 한 번의 호출로, 각 옵션에 대한 확률과 함께

라우팅할 팀

긴급함?

얼마나 화남?

언어 모델

구조화된 출력을 생성함

결정 모델은 고정된 옵션 집합에서 각 옵션의 확률과 함께 한 번의 호출로 선택합니다. 이로 인해 저렴하고 빠르며, 보정(calibration)을 측정할 수 있습니다.

Decision Index가 측정하는 것

출시 시점에서 Artificial Analysis Decision Index는 분류, 도구 호출, 지식, 환각, 추론을 다루는 네 가지 평가를 결합합니다:

지식 및 환각 벤치마크인 AA-Omniscience에서 각색한 500개의 비공개 질문입니다. 각 질문은 다섯 가지 선택지를 제공합니다: 네 개의 답변(그중 하나가 정답)과 "모르겠습니다"입니다.

지수의 25%: 정확도 및 비환각률 각각 12.5%

Humanity's Last Exam의 텍스트 전용 선다형 문제 513개로, 각 문제는 문자로 표시된 답변 중 하나를 선택하는 형태로 제시됩니다.

지수의 25%

NVIDIA의 도구 호출 평가입니다. 대화와 도구 세트가 주어지면, 모델은 직접 답변할지, 도구를 호출할지, 더 많은 정보를 요청할지, 답변할 수 없다고 말할지를 선택합니다.

지수의 25%

Ai2의 안전성 분류 테스트 세트입니다. 모델은 사용자의 요청이 유해한지, 어시스턴트의 답변이 거절인지, 그리고 그 답변이 유해한지를 판단합니다.

지수의 25%

또한 모든 평가를 LLM으로도 수행합니다. LLM은 선택한 옵션의 이름을 지정하는 구조화된 출력으로 답변하므로, 각 옵션에 대한 확률은 제공하지 않습니다.

결정 모델 결과

Jev 1.13은 58점으로 결정 인덱스(Decision Index) 선두를 차지하며, 둘 다 54점인 GLiDE와 Microsoft-Decision-1을 앞섭니다. Jev 1.13은 추론 벤치마크 HLE-MultiChoice에서 다른 결정 모델들을 능가하여, 다른 모델들이 15점 이하인 가운데 21점을 기록했습니다. 지식 및 환각 벤치마크 AA-Omniscience-Decision에서 Jev 1.13은 35점의 정확도를 기록해 대부분의 결정 모델과 Liquid AI의 d1이 기록한 최고 점수 41점에는 미치지 못하지만, d1이 겨우 2점에 그친 것과 달리 두 번째로 높은 35점의 비환각률을 기록했습니다. 도구 호출 벤치마크 When2Call에서 Jev 1.13은 81점으로 4위이며, Celeris-1 Decision과 Fastino Labs의 GLiDE가 둘 다 84점으로 선두입니다. 분류 벤치마크 WildGuardTest에서는 94점으로 Perplexity의 Decider v1.1 27B와 동률이며, 95점인 GLiDE에는 1점 뒤집니다.

Artificial Analysis Decision Index

결정 모델의 비용 및 시간 효율성

결정 모델들은 비용과 속도 면에서 큰 차이를 보입니다. 비용은 백만 작업당 $17에서 $199까지, 중앙값 시간은 작업당 0.06초에서 0.5초까지 분포합니다.

Artificial Analysis Decision Index 대 Cost per 1M Tasks

현재 토큰 가격 기준 작업당 평균 비용에 100만을 곱한 값이며, 지수의 경우 모든 평가를 한 번씩 수행하는 비용을 결합된 작업 수로 나눈 뒤 100만을 곱한 값입니다. 결정 모델은 입력 토큰에 대해서만, 언어 모델은 입력 및 출력 토큰에 대해 과금됩니다.

Decider v1.1 27B는 Cost per 1M Tasks가 $17로 가장 낮으며, Microsoft-Decision-1($31)과 Jev 1.13($42)도 역량 대 비용 파레토 경계에 있습니다. GLiDE는 Microsoft-Decision-1과 동일한 54점을 기록하지만 비용은 $119로 Jev 1.13의 약 3배입니다. Celeris-1 Decision은 작업당 시간이 0.06초로 가장 빠르며, 0.13초인 Jev 1.13보다 두 배 이상 빠릅니다.

Artificial Analysis Decision Index: 작업당 시간

작업당 중앙값 지연 시간(밀리초)이며, 지수의 경우 모든 평가의 작업들에 대한 중앙값입니다.

결정 모델은 과신한다

결정 모델은 각 옵션에 대한 확률을 제공하므로, 모델이 선택한 답변에 부여한 확률이 실제로 맞는 빈도와 일치하는지 확인할 수 있습니다. 전반적으로 거의 모든 확률 수준에서 모든 결정 모델의 정확도는 해당 확률보다 낮게 나타납니다. 이는 HLE-MultiChoice와 AA-Omniscience-Decision의 지식 및 추론 작업에서 상대적으로 낮은 보정(calibration)에 기인합니다. 이에 비해 대부분의 결정 모델은 When2Call(도구 호출)과 WildGuardTest(분류)에서는 상대적으로 잘 보정되어 있습니다.

Artificial Analysis Decision Index 보정

언어 모델에 대한 보정 결과가 곧 제공될 예정입니다.

의사결정 모델과 LLM 비교

의사결정 모델은 언어 모델에 비해 속도와 비용 면에서 상당한 이점을 제공하지만, 지식과 추론에서는 뒤처진다. Claude Haiku 5.5 (Low)는 Decision Index에서 61점으로 Jev 1.13보다 3점 앞서지만, 작업당 1.4초가 걸리는 반면 Jev 1.13은 0.13초(11배 느림)가 걸리고, 백만 작업당 비용은 184달러로 Jev 1.13의 42달러(4.4배)보다 많이 든다. GPT-6 Luna (Low)는 55점으로 Jev 1.13보다 낮으며, 작업당 1.5초, 백만 작업당 131달러가 든다.

지식 영역에서는 언어 모델이 앞선다: AA-Omniscience-Decision 정확도에서 Claude Haiku 5.5 (Low)는 52점, GPT-6 Luna (Low)는 66점을 기록한 반면, 의사결정 모델은 28점에서 41점 사이에 머문다. HLE-MultiChoice에서는 언어 모델이 각각 24점과 22점을 기록한 반면, Jev 1.13은 21점, 그 외 모든 의사결정 모델은 15점 이하이다.

분류 및 도구 호출에서 선도적인 의사결정 모델들은 비슷한 성능을 보입니다. WildGuardTest에서 GLiDE는 95점, Decider v1.1 27B와 Jev 1.13은 94점을 기록한 반면, Claude Haiku 5.5 (Low)는 93점, GPT-6 Luna (Low)는 89점입니다. When2Call에서는 Celeris-1 Decision과 GLiDE가 84점을 기록한 반면, GPT-6 Luna (Low)는 77점, Claude Haiku 5.5 (Low)는 73점입니다.

Artificial Analysis 의사결정 지수

Artificial Analysis 의사결정 지수 vs. 1M 태스크당 비용

현재 토큰 가격 기준 작업당 평균 비용에 1백만을 곱한 값이며, 인덱스의 경우 모든 평가를 한 번 통과하는 비용을 결합된 작업 수로 나눈 뒤 1백만을 곱한 값입니다. 의사결정 모델은 입력 토큰에 대해서만, 언어 모델은 입력 및 출력 토큰에 대해 청구됩니다.

언제 대답하지 말아야 하는지 아는 것

모든 AA-Omniscience-Decision 질문에는 "모릅니다"라는 선택지가 제공되며, 비환각률은 모델이 정답을 맞히지 못한 질문 중에서 이 선택지를 고른 비율을 말합니다. Microsoft-Decision-1이 40%로 의사결정 모델 중 선두를 차지했고, Jev 1.13이 35%, Mercury Decide가 32%로 뒤를 이었습니다. 그 외 다른 의사결정 모델은 17%에도 도달하지 못했습니다.

AA-Omniscience-Decision: 비환각률

더 알아보기

• 최신 모델의 실시간 점수는 다음에서 확인할 수 있습니다 Artificial Analysis Decision Index 페이지
• 그 방법론 페이지 각 평가를 어떻게 구성하고 채점하는지 설명합니다
• 네 가지 평가 각각에는 자체 리더보드가 있습니다: AA-Omniscience-Decision, HLE-MultiChoice, When2Call, 그리고 WildGuardTest
• 결정 모델을 인덱스에 추가하려면 decision-models@artificialanalysis.ai 로 연락해 주십시오

최신 소식 읽기

Muse Wonder와 Muse Wonder Full: 이전 Meta 모델 대비 실질적인 지능 도약

Meta가 Muse Wonder와 Muse Wonder Full을 출시했으며, 최대 추론 노력에서 Artificial Analysis Intelligence Index v4.3 점수 각각 52점과 56점을 기록했습니다. 이는 각각 48점인 Muse Spark 1.3 (max) 대비 실질적인 향상이며, 출시 격차는 불과 6주입니다.

2026년 10월 12일