Coding Agent Index v2.0を探索し、ベンチマークによるスコア、タスクあたりのコスト、トークン使用量を確認できます:
https://artificialanalysis.ai/agents/coding-agents
方法論とバージョン履歴:
https://artificialanalysis.ai/methodology/coding-agents-benchmarking
人工分析におけるFrontierCode v1.1:
https://artificialanalysis.ai/evaluations/frontiercode
SWE-Atlas-QnA-AAデータセットとジャッジ設定はHugging Faceで:
https://huggingface.co/datasets/ArtificialAnalysis/SWE-Atlas-QnA-AA