CritPt v2がArtificial Analysisで公開されました:CritPtの作者たちが全70問の研究レベル物理チャレンジをレビューし、モデルは現在コード実行ツールを使ってこれらを解けるようになりました
研究コミュニティからのフィードバックを受けて、CritPtチームと物理学の専門家協力者たちがすべての問題をレビューし、不明瞭な記述、誤り、誤字を修正し、採点プログラムの安定性を向上させました。現在、CritPt v2はエージェント的に実行されています:モデルはオフラインサンドボックス内で計算ツールを使ってコードを書き、実行できます。
10月下旬にIntelligence Indexを更新する予定で、CritPtへの変更も含まれます。
主なポイント:
➤ 最近のOpenAIリリースがリーダーボードの上位を独占:GPT-6 Astra (max)とGPT-6.1 Sol (max)が83%と82%で最高スコアを記録し、続いてClaude Opus 5.5 (max with fallback)が78%、GPT-5.6 Sol (max)が75%
➤ CritPt v2は研究レベル物理におけるフロンティアの急速な進歩を示しています:2025年8月にリリースされたGPT-5 (high)はCritPt v2で29%を獲得し、GPT-6 Astra (max)より54ポイント下回っています
今回の改訂への取り組みと継続的な協力に感謝します: @MiniHui_zhu、@MinyangTian1、@haopeng_uiuc、そしてより広いCritPtチームの皆様