Nous avons publié AA-Omniscience v1.1, mettant à jour notre benchmark de connaissances et de raisonnement avec un ensemble public mis à jour, l’élimination des questions saturées et la correction des ambiguïtés
AA-Omniscience est notre indicateur propriétaire qui mesure les connaissances et les hallucinations des modèles, y compris si les modèles admettent qu’ils ne connaissent pas une réponse. Notre métrique principale, Net Score, récompense les réponses correctes, punit les réponses incorrectes, et traite les abstentions de manière neutre.
AA-Omniscience a été mis à jour à v1.1 dans le cadre de la sortie de l’Indice d’Intelligence d’Analyse Artificielle v5.
Changements clés dans AA-Omniscience v1.1 :
➤ Jeu de données mis à jour avec 3 000 questions : moins de 6 000 questions, les questions antérieures publiques et saturées ont été supprimées, les erreurs et les ambiguïtés ont été corrigées, et de nouvelles questions ont été ajoutées
➤ Nouveaux sets publics de 300 questions, calibrés : AA-Omniscience v1.1 dispose d’un nouveau set public calibré pour correspondre à la difficulté du set privé. À la sortie, les scores public et privé présentent une corrélation de 0,99 selon Pearson et une corrélation de 0,99 selon Spearman pour le score Net AA-Omniscience, avec une différence médiane de 0,0 point. L’exactitude et le taux d’hallucination présentent également des corrélations de 0,99, avec des différences médianes de -0,07 et -0,29 points pourcents, respectivement.
➤ Distribution de domaine légèrement mise à jour : Les questions portent sur les mêmes 6 domaines et 42 sujets que la version 1, avec une distribution révisée : Science, Ingénierie et Mathématiques (600), Ingénierie Logicielle (600), Finance (450), Santé (450), Humanités et Sciences Sociales (450) et Droit (450)
Résultats clés pour AA-Omniscience v1.1 :
➤ Ordre de classe largement conservé : AA-Omniscience v1.1 a une corrélation de classement de Spearman de 0,98 avec v1. Le Gemini 4 Carbon (haute) récemment publié se place en tête avec un score net de 54, suivi par Claude Opus 5.5 (48, max avec fallback) et Claude Fable 5.1 (46, max avec fallback). Muse Spark Open (xhigh) est le modèle de poids ouvert leader, 28 points en retard par rapport au Gemini 4 Carbon
➤ Les scores sont en moyenne environ 2 points plus bas sur l’ensemble mis à jour : les modèles ont un score Net inférieur de 1,9 point en moyenne par rapport à la version v1, avec une diminution médiane de 0,6 point. Certains modèles subissent des baisses beaucoup plus importantes, en particulier le MiniMax M3.1 Flash, qui descend de 22 points (16 vers -6), et le MiMo V2.6 Pro, qui descend de 13 points (8 vers -5).
➤ Un peu plus faible précision : AA-Omniscience Accuracy mesure le pourcentage de questions que le modèle répond correctement. En moyenne, les modèles répondent à 1,5 point de pourcentage moins de questions correctement par rapport à v1. Claude Fable 5.1 (max avec fallback) a la plus haute précision à 68 %, suivi par Claude Opus 5.5 (max avec fallback) à 66 %
➤ Taux de hallucination diminue : AA-Hallucination mesure avec quelle fréquence les modèles choisissent de répondre lorsqu’ils ne connaissent pas la réponse. Le médian du taux de hallucination diminue de 1,4 point de pourcentage, et Gemini 4 Argon (haute) enregistre le taux de hallucination le plus bas à 4%