今天我们发布 Old Ideas, Novel Problems，这是一项关于大型语言模型评估科学研究想法新颖性的可靠程度的新研究。除论文之外，我们还发布了一个用于测试新颖性评判器的基准、数据和代码，以及研究人员可用来构建新评估集的自动化流水线。
在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。 DataVoyager 帮助研究人员探索和分析结构化数据， AutoDiscovery 生成并检验假设，而 Theorizer 将大量文献中的证据综合成候选科学理论。与 Asta一起，这些项目共同指向能够帮助研究人员从理解先前工作过渡到提出、检验和改进新想法的系统。
但生成研究想法只是自动化科学发现挑战的一部分。这些想法还需要做出真正新颖的贡献，这意味着这些系统需要一种方法来区分新颖的方向与主要是在重新包装现有工作的方向。
这种判断通常交由另一个 LLM 来完成——我们称之为 新颖性评判器。新颖性评判器评估一个研究想法相对于先前工作是否是新的，可以单独评估，也可以与另一个想法进行比较。目前没有构建此类评判器的标准方法；研究团队需要选择模型、提示词、评估格式、推理预算，有时还需要选择文献检索系统。这些选择可能实质性地影响评判结果。然而，这些评判器往往只在人类撰写的论文上进行验证，而不是在它们实际要评估的 AI 生成想法上进行验证。
我们的新基准结果表明，新颖性评估本身远非可靠。在六个 LLM 评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，评估设置中看似微小的改动就会对相同想法产生截然不同的判断。在一个实验中，仅改变提示词中的几个词，就会使模型在识别两个想法中哪一个更新颖时的准确率发生超过 50 个百分点的变化。检索和额外的推理并不能一致地改善判断，而两个专门构建的新颖性评估系统的表现还不如一个简单的提示式 Claude Opus 4.6 基线。
如果 AI 要在科学发现中扮演更大的角色，我们就需要更可靠的方法来判断它是否真的在提出新东西。我们的工作为研究这一问题提供了工具，同时也表明还有多少问题尚未解决。
为新颖性评判器构建基准
为了测试新颖性评判器区分更新颖和较不新颖研究想法的可靠程度，我们首先需要这样的例子：对于其背后科学贡献的原创性有强有力的证据。
因此我们围绕 ICLR 2026 同行评审构建了一个自动化流水线。我们没有把论文被接收作为新颖性的替代指标，而是从评审意见本身挖掘审稿人明确讨论贡献原创性的段落。这一区分至关重要；一篇论文即使并不特别新颖，只要在其他方面足够强，也可以被接收。同样，一篇被拒稿的论文可能具有原创性贡献，但存在其他弱点。
我们通过选取其 ICLR 研究领域中评分最高的 10%、审稿人积极认定其新颖性且没有任何审稿人提出异议的已接收论文，创建了包含 154 个人类撰写研究想法的 高新颖性池 从154个由人类撰写的研究创意中选取：这些创意来自其ICLR研究领域中评分最高的10%已被接收的论文，其审稿人正面确认了新颖性，且没有任何审稿人对新颖性提出异议。我们采用相反的标准来构建一个 较低新颖性池：来自评分最低 10% 的被拒论文的 145 个想法，其审稿人提出了原创性方面的担忧，且没有任何审稿人积极认定其新颖性。在对评审意见挖掘过程的单独核查中，标注者在 50 个案例中的 47 个里与提取出的新颖性信号极性一致；没有任何不一致会改变某位审稿人被计为赞扬还是质疑该论文新颖性的结果。
这两个池共同构成了我们的第一个评估场景， 仅限人类，该设置测试新颖性评判者能否区分那些有强有力的更高或更低新颖性证据的人类撰写的想法。但在实践中，新颖性评判者正越来越多地被用于评估AI生成的想法。因此我们创建了第二个设置， 人类+生成.
对于这一池子，我们将同样的154个经过验证的人类想法与154个由一个简单的LLM生成器产生的想法配对。我们假设生成的想法不如其人类撰写的对应想法新颖；这些是弱标签，而非对每个想法的已验证判断。生成器只收到一个研究领域和一条提出新颖想法的指令，没有文献检索、工具、迭代或反馈。这使我们能够在来自基础生成器的想法与来自前10% ICLR论文的贡献之间进行保守比较，后者的审稿人已明确认可其原创性。
作为附加检查，一位专家独立审查了30个 Human+Generated 配对（权重严重偏向我们最强评审判错的案例），并且我们将人类生成和AI生成的想法重写为统一结构，以测试评审是否只是对写作风格差异作出反应。该专家在全部30个配对中更倾向于人类想法，并认为所有生成想法都不具新颖性。
重要的是，我们的许多核心发现根本不依赖于标签。如果两种合理的评估设置对同一对想法给出相反的答案，这种分歧本身就揭示了不稳定性。
微小的变化可能产生截然不同的结论
利用我们收集的人类撰写和AI生成的研究想法，我们测试了六种LLM评审——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——通过逐点（即绝对新颖性评分）和逐对（即比较两个想法找出更新颖者）比较评估新颖性的能力。我们每次只改变一个因素：提示词、推理预算、评审能否看到相关论文、想法的格式、多少次判断合并为最终结论，以及——对于AI生成的想法——由哪个模型生成。
性能的最大变化来自我们如何提示模型评估新颖性。
例如，我们向GPT-5.4展示了相同的 Human+Generated 配对——每对包含一个经证实的人类撰写想法和一个AI生成的想法——使用两种提示词。一种提示词告诉模型评审发现每对中恰好有一个想法是新颖的，并要求它识别是哪一个；另一种只是询问哪个想法是新颖的。当我们切换到更简单的提示词时，准确率从93.5%降至40.9%——低于随机水平——并且模型在超过一半的相同配对上改变了结论。
相比之下，同样的提示词变化在 Human-Only 数据集上仅使准确率变化了约七个百分点，该数据集将人类撰写的想法与较强和较弱的新颖性证据配对。这表明新颖性评审在人类撰写的研究上可能显得相对稳定，但在AI生成的想法上表现却截然不同。
话虽如此，人类撰写的想法也未能幸免。我们在 Human-Only 数据集上也观察到大幅变化；同样的变化使Claude Opus 4.6的准确率移动了21个百分点。只是这些变化没有在AI生成想法上那么严重。
也没有普遍更好的提示词。例如，在逐个评判想法时，删除一条警告评审不要把琐碎或增量贡献当作新颖的指令，对某些评审提高了准确率，对另一些则降低了准确率。换句话说，对一种模型有效的提示词可能无法迁移到另一种模型。
我们还测试了新颖性评审的一种常见用途：比较两个AI生成器的想法。我们将Claude Opus 4.5的想法与Claude Sonnet 4.5配对，GPT-5.4与GPT-5.1配对。在测试的提示词变化中，六位评审平均约有四分之一到三分之一的结论发生改变。这种分歧可以在不假设哪个生成器产生更新颖想法的情况下进行测量，显示了评审提示词的选择如何影响构想系统之间的比较。
更多的搜索和推理并不一定带来更好的新颖性判断。我们给GPT-5.6 Sol设置了超高的推理预算和仅限于arXiv的实时迭代搜索，然后将其与每个看到五篇预检索摘要的标准检索评审进行比较。（本次比较中所有评审对每个想法仅在 Human+Generated上运行一次。）智能体评审的macro-F1得分为0.78——落后于得分为0.89的Claude Opus 4.6达11个百分点，大致处于更简单的Claude Opus 4.5和GPT-5.4设置的相同范围——而按当前API价格计算，每个决策的成本大约高出10×。（在此语境下，macro-F1衡量评审识别新颖和非新颖想法的能力；越高越好。）
专用评估器也没有更准确，尽管成本高得多。在 Human+Generated 集合上，一个使用低推理和三次调用多数投票的简单Claude Opus 4.6提示词达到了0.854 macro-F1，总评估成本为2.59美元。相比之下，Idea Novelty Checker——一个基于文献的检索和重排序流水线——得分为0.642，成本为30.66美元；而Sakana AI的AI Scientist（其新颖性评估器迭代搜索Semantic Scholar）得分为0.772，成本为82.05美元。（两个专用评估器都使用Claude Opus 4.6，每个决策一次调用。）
换言之，简单的提示基线比任何专用系统都更准确且成本大大降低。
综合来看，这些结果表明，新颖性评估在这些系统日益被要求评判的AI生成想法上尤其脆弱。
迈向更可靠的新颖研究评估
我们的结果表明，基于LLM的新颖性评估仍然是一个重大开放问题。在人类撰写研究上显得可靠的评审在AI生成的想法上可能表现不同；帮助一种模型的提示词可能损害另一种模型；更多的搜索或计算并不一定产生更一致的判断。
未来的工作应该在评审实际将评估的那类想法上测试它们，衡量跨提示词和模型的敏感性，改进先验文献的引入方式，并构建能够随着科学文献增长和AI系统进步而演进的基准。我们的基准和可复用的数据流水线只是一个起点——研究人员可以将它们应用于新的同行评审、其他科学社区以及未来一代的新颖性评审。
自动化创意生成不仅取决于生成看似合理的研究方向；我们还需要方法来判断这些想法何时真正具有新意。通过使当前新颖性评判者的弱点更容易被测量，我们希望这次发布能帮助研究人员构建更稳健的方式来评估AI生成的研究想法。