GPT-6-Astra、1問あたり2.40ドルで物理学研究問題50問中49問を解く

GPT-6-Astra、1問あたり2.40ドルで物理学研究問題50問中49問を解く

新しいベンチマークによると、最高峰のAIエージェントは理論物理学の計算を、各サブ分野の第一線の専門家と同等の正確さで解けることが示された。研究チームは、ブレークスルーがまだ続いていない理由の一つとして、「センス（taste）」の欠如を挙げている。

国際理論科学センター（ICTS）、ハーバード大学、KUルーベン、Google DeepMindなどの機関に属する35人の研究者が、 TheoPhysEvalを公開した。このベンチマークには、検証可能な解答を持つ未発表の理論物理学研究問題50問が含まれている。著者らによれば、関連するサブ分野の第一線の専門家なら、AIの助けなしに典型的な問題を1日以内で解けるという。近隣分野の専門家ならばるかに時間がかかるという。

チームは市販のAIエージェントをテストし、人間からのヒントは一切与えなかった。OpenAIのCodexコーディング環境で動作したGPT-6-Astraが首位となった。50問中49問、つまり98％で正解を見つけ、1問あたりの平均コストは3ドル未満、ベンチマーク全体では116ドル弱だった。

ベンチマークが試すのは、壮大な課題ではなく定型的な研究業務

この問題集は、意図的に大きな未解決問題を除外し、著者らが「ひたすら計算を回す（turn-the-crank）」問題と呼ぶもの、すなわち既知の手法を少し修正された問いに適用する問題に焦点を当てている。寄稿者はしばしば、自分の最近の論文の計算の数値をいくつか変更し、古い結果から新しい結果が推測できないようにした。研究者らによれば、この種の問題は、研究への一歩目として博士課程の学生にしばしば課されるという。

ブラックホール研究の例は、こうした問題が依然としていかに要求の高いものかを示している。この問題を解くには、古い論文を見つけ、その方程式を5次元時空から4次元時空に持ち替え、専用のプログラムで結果を計算する必要がある。コーディネーターで当該の古い論文の共著者でもあるSuvrat Rajuは、約1日を要した。著者らの推定では、現代のエージェントが登場する前は、物理学の知識とこれらの計算手法の経験の両方を備えた専門家は一握りしかおらず、その彼らでさえ数日を要したはずだという。

問題は、流体の流れや生物学的プロセスから素粒子物理学や宇宙論に至るまで、理論物理学の11のサブ分野にわたる。各エージェントはテストを2回実行した。1回目はウェブ検索を用いる現実的な条件下で、もう1回はインターネットアクセスなしの隔離状態で行った。

Claude Codeで動作したAnthropicのOpus 5.5が92％で2位だった。GoogleのGemini 3.8 Flashは68％を記録し、オープンウェイトモデルのDeepSeek-V4.1-FlashとGLM 5.3はそれぞれ54％と42％だった。弱いモデルは、専門家なら即座に気づくような間違いを犯すことがあった。ブラックホールの問題で、GeminiとGLMはウェブ検索を実行した際、古い論文から数式をそのままコピーした。それらの数式は5次元向けのものであり、必要な4次元向けではない。

インターネットアクセスの影響は、驚くほど小さかった。ウェブ検索なしでも、AstraとOpusはそれぞれ92％を記録した。多くの問題は研究論文の数式に依存しているが、モデルはそれを受け取っていないことが多かった。著者らは、これは主要な言語モデルが理論物理学の文献の大部分を実質的に記憶していることの証だと考えている。

ウェブ検索ありでは、Astraは全モデルがつまずいた1問を除いてすべてを解いた。その問題は、与えられた曲線を生成する方程式を求めるものだった。専門家の解答は、広い意味でのみ必要な微分方程式と見なされる特殊な数学的形に依存している。著者らはこの問題が「不公平」に見える可能性を認めつつも、研究者はしばしば不正確なデータから根底にある物理学を推論しなければならないため、現実的だと考えている。

AIの複数の誤答は、実は解答キーの欠陥だった

いくつかの問題について、専門家への追加確認を行ったところ、参照解答に見過ごされやすい小さな誤りがあることが判明した。それらが修正されると、Astraの解答は毎回正しかった。

このパターンは、一見矛盾している点も説明できる。エージェントは、 CritPtなどの他の物理学ベンチマークよりもTheoPhysEvalで良い成績を収めている。著者らは自身の問題の方が平均的に難しいと考えているにもかかわらずである。 最近の研究 では、一部の理論物理学ベンチマークは誤って採点されており、場合によってはモデルの能力をひどく過小評価していることが明らかになった。

結果を検証したい人は、問題とテスト設定をHugging Faceの データセット としてダウンロードできる。

強力な計算能力がなぜ物理学のブレークスルーにつながっていないのか

著者らは、現在の最も強力なモデルの一部は、専門分野を含む具体的な計算において、すでに最も優秀な人間の研究者を超えている可能性があると述べている。彼らはこれを大きなマイルストーンと呼んでいる。

その影響は数学でさらに顕著だと彼らは指摘する。数学ではAIエージェントがすでに重要な未解決問題を解いている。 OpenAIによれば、それには流体の流れを記述する方程式に関するナビエ・ストークス問題、すなわち有名なミレニアム懸賞問題の一つが含まれる。理論物理学ではまだ同等のブレークスルーは起きていない。

著者らは、検証可能な結果をもたらす具体的な計算は、研究プロセスの最後にのみ現れると説明する。その前には、誰かが理論を構築し、それに「正しい」問いを投げかけなければならない。問題が難しすぎると分かった場合、優れた研究者は、より単純で同じくらい興味深い関連問題に切り替える。現在のエージェントはそれが得意ではない。

物理学者の間には、完全に一致しているわけではないにせよ、何が問題を興味深いものにするかについての共通の感覚がある。エージェントにはまだこの「センス」がないようだ。新しい問題の設計を求められると、人間なら退屈だと感じる細部に迷い込んでしまう。

研究者らは、これらの観察は定量化できず、AIの将来の方向性を予測するものではないと強調する。彼らは、AIエージェントが近い将来独自にトップレベルの研究を行えるようになる可能性はあると考えているが、それには問題を解く能力以上のものが必要になるという。

AIはすでに物理学者の育成方法と、誰が競争できるかを変えつつある

著者らはすでに育成への影響を目にしている。最近まで、このベンチマーク問題の一部は、キャリア初期の研究者にとって最初の研究課題として適していたはずだ。しかし、目標が明示的に素材の理解にすぎないのでない限り、それはもはや適切ではなくなった。

彼らは構造的な問題も指摘する。理論物理学は歴史的に実験研究よりはるかに少ない資金で済んできたため、この分野の機会は比較的平等に保たれてきた。高性能なAIエージェントはそれを変えうる。このベンチマーク問題は依然として解くのが安価で、Astraの完全な実行には約116ドルかかった。しかし、より難しい問題については、著者らは必要なリソースが急増すると予想している。そうなれば、理論物理学であっても、研究グループの予算がその成果を左右するようになるかもしれない。著者らは、これはこの分野におけるアクセスと機会の平等に関する問いを投げかけるものだとしている。

数学では、例えば ライデン宣言をめぐって、すでにこうした議論が行われている。著者らは、AIがこの分野を一変させる前に、理論物理学でも同様の議論を行うべきだと主張する。物理学では少なくとも一つの思潮が、これまで研究者に「黙って計算せよ」と促してきた。センスとビジョンがより重要になり始めるなら、物理学者は代わりに「立ち止まって考える」必要があるかもしれない。

誇張なしのAIニュース – 人間による厳選

広告のない読書、週刊AIニュースレター、年6回の限定「AI Radar」フロンティアレポート、アーカイブへのフルアクセス、コメントセクションへのアクセスのために、THE DECODERを購読してください。

詳細は続きをお読みください。
誇張なしの報道を購読する。

• THE DECODERのすべての記事へのフルアクセス
• 広告なし
• コメントやコミュニティディスカッションに参加
• 週次のAIニュースまとめをメールで受信
• 年6回:「AI Radar」— 最も重要なAIトピックを深掘り
• 毎日のAIニュース、常に最新
• 10年分の完全アーカイブ
• AI分野で10年以上の経験を持つチームが取材