우리는 AA-Omniscience v1.1를 출시했습니다. 이 버전에서는 공개 데이터 세트를 업데이트하고, 과포화된 질문을 제거하며 모호성 문제를 해결함으로써 우리의 지식 및 추론 벤치마크를 개선했습니다.
AA-Omniscience는 모델의 지식과 환상을 측정하는 우리의 독자적 기준점입니다. 이는 모델이 답을 모르는 경우를 허용하는지 여부도 포함됩니다. 우리의 주요 지표인 Net Score는 정확한 답변에 보상을 주고, 잘못된 답변에는 처벌을 내리며, 아무 답도 하지 않는 경우는 중립적으로 처리합니다.
AA-Omniscience는 인공 분석 지능 인덱스 v5 릴리스의 일환으로 v1.1로 업데이트되었습니다.
AA-Omniscience v1.1의 주요 변경 사항:
➤ 3,000개 질문 데이터셋 업데이트: 6,000개 질문에서 감소했으며, 이전에 공개되었고 과포화된 질문이 삭제되고 오류 및 모호함이 수정되었으며 새로운 질문이 추가되었습니다.
➤ 새로 조정된 300문제 공개 세트: AA-Omniscience v1.1에는 사적인 세트의 난이도에 맞게 조정된 새로운 공개 세트가 @huggingface에 제공됩니다. 출시 시, 공개 및 사적 점수는 AA-Omniscience Net Score에 대해 0.99 Pearson 상관관계와 0.99 Spearman 순위 상관관계를 보였으며, 중간값 차이는 0.0점이었습니다. 정확도와 허상 발생률도 각각 0.99의 상관관계를 보였으며, 중간값 차이는 -0.07과 -0.29 퍼센트 포인트였습니다.
➤ 약간 업데이트된 도메인 분포: 질문들은 버전 1과 동일한 6개의 도메인과 42개의 주제를 포함하며, 수정된 분포는 다음과 같습니다: 과학, 공학 및 수학(600), 소프트웨어 공학(600), 금융(450), 건강(450), 인문학 및 사회과학(450), 그리고 법률(450)
AA-Omniscience v1.1의 주요 결과:
➤ 순위는 대체로 그대로 유지됨: AA-Omniscience v1.1은 v1과 0.98의 스펙먼스 순위 상관관계를 보임. 최근 출시된 Gemini 4 Carbon(고)는 54의 네트 점수로 선두를 차지하며, 그 뒤를 Claude Opus 5.5(최대 48, 대체 옵션 포함)와 Claude Fable 5.1(최대 46, 대체 옵션 포함)이 잇따름. Muse Spark Open(xhigh)은 개방형 가중치 모델로 선두를 차지하며, Gemini 4 Carbon보다 28점 뒤에 위치함.
➤ 업데이트된 세트에서 평균 점수는 약 2점 낮습니다: 모델들의 Net Score는 v1과 비교하여 평균 1.9점 낮으며, 중앙값은 0.6점 감소입니다. 일부 모델은 훨씬 큰 감소를 보이며, 특히 MiniMax M3.1 Flash는 22점(16에서 -6), MiMo V2.6 Pro는 13점(8에서 -5) 감소했습니다.
➤ 약간 낮은 정확도: AA-Omniscience Accuracy는 모델이 정확하게 답한 질문의 비율을 측정합니다. 모델들은 v1과 비교하여 평균적으로 1.5퍼센트 포인트 적은 질문에 정확하게 답합니다. Claude Fable 5.1 (대체 옵션 포함)은 68%로 가장 높은 정확도를 보이며, 그 다음으로 Claude Opus 5.5 (대체 옵션 포함)는 66%입니다.
➤ 환각률 감소: AA-Hallucination은 모델이 답을 모르는 경우에 답하기로 선택하는 빈도를 측정합니다. 중앙값 환각률은 1.4퍼센트 포인트 낮아졌으며, Gemini 4 Argon (고급)은 4%로 가장 낮은 환각률을 기록했습니다.