Les scores de l’Index du Codeur Agent v2.0 sont plus faibles que ceux de v1.5 pour presque toutes les configurations mesurées dans les deux versions. Sur les 21 configurations évaluées avec les deux versions de l’Index, la moyenne des scores de l’Index passe de 54,8 à 47,4, avec 20 des 21 configurations diminuant.
Le changement provient de FrontierCode v1.1, où les mêmes configurations représentent en moyenne 45,1 % contre 65,6 % sur DeepSWE v1.1, avec une contribution plus faible due à la notation SWE-Atlas-QnA-AA plus stricte. Terminal-Bench 4.0 reste inchangé. Les scores des deux versions de l’Index reflètent des dispositions d’évaluation différentes.