各大AI实验室已将自身声誉押注于模型基准测试——这一据称中立且准确的评估体系旨在衡量一款AI产品是否优于另一款。
然而，Hugging Face首席政策官Irene Solaiman在上周于 TechCrunch Disrupt 举行的一场讨论中表示，这些评估背后的方法很复杂，且仍在成熟之中。如果未来行业要依赖这些测试，就需要将测试整合成一门更一致的科学。
考虑到这一点，我们能信任目前正在发布的测试吗？
“‘信任’是一个分量很重的词，”Solaiman说。“关于我们能否信任结果，其中很重要的一点是：你能否复现评估的结果？你对模型本身是否拥有所需的访问级别——这正是开放权重大显身手的地方，”她补充道。
模型评估的可复现性长期以来一直是基准测试中较为棘手的 方面之一 ，并且仍是行业内激烈争论的话题。
除了单个测试的有效性之外，还有另一个问题：该测试与其他评估相比表现如何。
“这是一门不断演变的科学——我们不知道如何有意义地将它们相互比较，”Solaiman说。
“它们很快就变得低效，而且我们并没有达到所需的那么繁荣的生态系统，”她补充道。“现在人们对嵌入式评估者生态系统有一种渴求，但决定谁是有能力的评估者以及跨哪些任务评估的资格标准还需要更多的标准化。”
嵌入式评估者的 理念 ——即把据称“中立”的第三方观察者安插在AI组织内部——在过去几个月里逐渐流行起来，因为各AI实验室正在应对 一连串安全事件 ，这些事件引发了对其技术潜在危害的担忧。而Hugging Face 正是其中一起事件的著名受害者 。
各实验室推动的是第三方解决方案，而不是通过积极的政府监管来识别和缓解模型安全问题。然而，人们对这些评估者实际上会有多中立、多有效仍存疑虑。Anthropic 决定聘请Accenture 作为其首个评估者，引发了不少反对声浪，一些 批评者嘲讽 这家咨询公司是否有资格胜任这项任务。
如今，评估已从仅仅测试模型本身转变为测试模型周围的整个系统——包括测试框架（harness）和智能体（agent）。Solaiman分享道，测试框架——即用户用来访问模型的工具——尤其与模型的表现有很大关系，一个较弱的模型配上更好的框架很容易超越前沿模型。
“智能体评估真的很难，而且成本很高，”Solaiman说。“针对模型的评估更多一些。……针对框架的评估则没有那么多，而我们正在为整体智能体开发更好的评估——因为很多人正是从中获得价值的，”她补充道。
换句话说，评估领域目前处于一种各自为战的状态，如果基准测试要继续被视为对行业领袖有用的工具，那么可能就需要一种更统一的全行业方法，让所有人达成共识。