GPT-6-Astra以每个2.40美元的成本解决了50个物理学研究问题中的49个

GPT-6-Astra 以每个 2.40 美元的成本解决了 50 道物理研究问题中的 49 道

一项新的基准测试显示，最好的 AI 智能体可以像每个子领域的顶尖专家一样准确地解决理论物理计算。其背后的研究人员表示，缺乏一种“品味”是突破尚未到来的原因之一。

来自国际理论科学中心（ICTS）、哈佛大学、鲁汶大学和 Google DeepMind 等机构的 35 位研究人员发布了 TheoPhysEval。该基准测试包含 50 道答案可验证的未发表理论物理研究问题。据作者称，相关子领域的顶尖专家在没有 AI 帮助的情况下解决一个典型问题大约需要一天或更短时间。邻近领域的专家则需要更长的时间。

该团队测试了市售的 AI 智能体，且没有给予任何人工提示。在 OpenAI 的 Codex 编程环境中运行的 GPT-6-Astra 名列第一。它解决了 50 道问题中的 49 道，即 98%，每个问题的平均成本低于 3 美元，整个基准测试的成本略低于 116 美元。

该基准测试考察的是常规研究工作，而非重大挑战

这套题目刻意排除了重大未解问题，专注于作者所称的“按部就班”问题，即研究人员将已知方法应用于略微修改的问题。贡献者通常会调整他们自己近期某篇论文中计算的几个数值，这样新结果就无法从旧结果中猜出。据研究人员称，这类问题通常作为研究入门交给博士生。

黑洞研究中的一个例子显示了这些问题仍然多么苛刻。解决它意味着找到一篇较早的论文，将其方程从五维时空推广到四维时空，然后用自定义程序计算结果。协调者 Suvrat Raju 是那篇较早论文的共同作者，他大约需要一天时间。作者估计，在现代智能体出现之前，只有少数专家既具备物理知识又拥有这些计算方法的经验。即使是他们也需要几天时间。

这些问题涵盖理论物理的十一个子领域，从流体流动和生物过程到粒子物理和宇宙学。每个智能体运行测试两次，一次在带有网络搜索的现实条件下，一次在没有互联网访问的隔离环境中。

在 Claude Code 中运行的 Anthropic 的 Opus 5.5 以 92% 位居第二。Google 的 Gemini 3.8 Flash 得分为 68%，而开放权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别达到 54% 和 42%。较弱的模型有时会犯专家一眼就能发现的错误。在黑洞问题上，Gemini 和 GLM 在网络搜索运行中原样照搬了那篇较早论文中的公式。这些公式适用于五维，而不是所需的四维。

互联网访问的影响出人意料地小。在没有网络搜索的情况下，Astra 和 Opus 各得分 92%。许多问题依赖于研究论文中的公式，而模型通常没有收到这些论文。作者将此视为领先语言模型实际上已经记住了理论物理文献大部分内容的迹象。

在使用网络搜索的情况下，Astra 解决了除一道所有模型都未能解决的问题之外的所有问题。该问题要求给出一个生成给定曲线的方程。专家的解法依赖于特殊的数学形式，而这些形式只在广义上才算作所需的微分方程。作者承认这个问题可能看起来“不公平”，但他们认为它是现实可行的，因为研究人员经常不得不从不精确的数据中推断潜在的物理规律。

若干 AI 的失误原来是由于参考答案中的缺陷

对于几个问题，与专家的后续沟通 revealed 他们的参考解答中存在难以察觉的小错误。修正之后，Astra 的答案每次都是正确的。

这一模式也可以解释一个看似矛盾的现象。这些智能体在TheoPhysEval上的表现优于其他一些物理基准，例如 CritPt，即使作者们认为他们自己的问题平均而言更难。A 近期研究 发现一些理论物理基准的评分存在错误，在某些情况下严重低估了这些模型的能力。

任何想查看结果的人都可以将问题题目和测试环境下载为 数据集 在 Hugging Face 上。

为什么强大的计算尚未带来物理学突破

作者们写道，一些目前最强大的模型在具体计算方面可能已经超越了最优秀的人类研究者，即使是在专业领域也是如此。他们称这是一个重要的里程碑。

他们指出，这一影响在数学领域更加明显，AI智能体已经解决了重要的开放性问题。据 OpenAI，其中包括关于描述流体流动方程的纳维-斯托克斯问题，这是著名的千禧年大奖难题之一。理论物理学尚未出现可与之比拟的突破。

作者解释说,只有在研究过程的最后阶段才能得出具有可验证结果的具体计算。在此之前,必须有人建立理论并向它提出"正确"的问题。当一个问题被证明过于困难时,优秀的研究者会转而研究一个更简单且同样有趣的相关问题。当前的智能体并不擅长做到这一点。

物理学家们对于什么使一个问题有趣也有着一种共识——尽管并非完全一致。智能体似乎还没有这种“品味”。当被要求设计新问题时，它们会陷入人类会觉得无聊的细节之中。

研究人员强调，这些观察无法量化，也不是对人工智能未来走向的预测。他们认为，AI智能体在不久的将来有可能独立开展顶级研究，但这需要的能力不仅仅是解决问题。

AI 已经在改变物理学家的培养方式以及谁能够参与竞争

作者们已经看到了对训练的影响。直到最近，一些基准问题还可以作为早期职业研究人员的首个研究课题，效果不错。但现在这已不再合适，除非目标明确只是为了练习这些内容。

他们还指出了一个结构性问题：理论物理学历来所需资金远少于实验研究，这使该领域的机会相对平等。能力强大的人工智能代理可能改变这一点。这些基准问题的求解成本仍然低廉，Astra 的完整运行花费约 116 美元。但对于更难的问题，作者预计资源需求将急剧攀升。到那时，一个研究小组的预算可能对其所能取得的成果有更大话语权，即使在理论物理学领域也是如此。作者表示，这引发了关于该领域准入机会与公平性的问题。

数学领域已经在进行这些讨论，例如围绕 莱顿宣言。作者们认为，在 AI 颠覆该领域之前，理论物理学也应该拥有这些。物理学中至少有一派思想迄今为止一直敦促研究者"闭嘴，去计算"。如果品味和洞察力开始变得更加重要，物理学家们可能反而需要"停下来，去思考"。

无炒作的AI新闻——由人工精心策划

订阅 THE DECODER，即可享受无广告阅读、每周AI新闻通讯、每年六期独家"AI Radar"前沿报告、完整档案访问权限以及评论区的访问权限。

请继续阅读以了解全貌。
订阅以获取无炒作的报道。

• 完整访问 THE DECODER 上的所有文章
• 无广告
• 参与评论和社区讨论
• 每周通过邮件获取AI新闻回顾
• 每年6期："AI Radar"——深入探讨最重要的AI话题
• 每日AI新闻，始终保持最新
• 我们完整的十年存档
• 由拥有10年以上经验的AI团队报道