Artificial Analysis · X출처 게시일

코딩 에이전트 인덱스 v2.0 점수는 두 가지 모두에서 측정된 거의 모든 설정에서 v1.5보다 낮습니다. 평가된 21가지 설정을 통틀어…

코딩 에이전트 인덱스 v2.0의 점수는 두 버전 모두에서 측정된 거의 모든 설정에 대해 v1.5보다 낮습니다. 두 인덱스 버전에서 평가된 21개 설정 중, 평균 인덱스 점수는 54.8에서 47.4로 변동했으며, 21개 중 20개가 하락했습니다.

코딩 에이전트 인덱스 v2.0의 점수는 두 버전 모두에서 측정된 거의 모든 설정에 대해 v1.5보다 낮습니다. 두 인덱스 버전에서 평가된 21개 설정 중, 평균 인덱스 점수는 54.8에서 47.4로 변동했으며, 21개 중 20개가 하락했습니다.

이 변화는 FrontierCode v1.1에서 비롯되며, 동일한 설정에서 DeepSWE v1.1의 경우 평균 45.1%에 비해 65.6%로 나타납니다. 더 엄격한 SWE-Atlas-QnA-AA 등급 체계가 더 작은 기여를 합니다. Terminal-Bench 4.0은 변함없습니다. 두 Index 버전의 점수는 다른 평가 설정에 따라 달라집니다.

원문 출처

Artificial Analysis · X

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요