Artificial Analysis · X出典公開日

FrontierCode v1.1がIndexにおいてDeepSWE v1.1を置き換えます。Cognitionのベンチマークは、実際のオープンソース…における100のソフトウェアエンジニアリングタスクで構成されています…

FrontierCode v1.1がIndexのDeepSWE v1.1を置き換えました。Cognitionのベンチマークは、非公開のテストセットを用いた実際のオープンソースリポジトリ上の100のソフトウェアエンジニアリングタスクで構成され、メンテナーがその変更をマージするかどうかを基準に採点されます。

FrontierCode v1.1がIndexのDeepSWE v1.1を置き換えました。Cognitionのベンチマークは、非公開のテストセットを用いた実際のオープンソースリポジトリ上の100のソフトウェアエンジニアリングタスクで構成され、メンテナーがその変更をマージするかどうかを基準に採点されます。

Claude Opus 5.5 (max) を使ったClaude Codeは56.0%を記録し、DeepSeek V4.1 Flash (max) を使ったCodexの52.6%、GPT-6.1 Sol (max) を使ったCodexの49.4%、GPT-6 Astra (max) を使ったCodexの49.3%を上回りました。上位陣の下では、スコアは僅差でひしめき合っています。Index上の24構成のうち15構成が43%から49%の間に位置しています。

原文の出典

Artificial Analysis · X

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください