Artificial Analysis · X来源发布时间

更新后的 MLCR-AA 方法论具有以下规范

更新后的 MLCR-AA 方法论具有以下规范:

更新后的 MLCR-AA 方法论具有以下规范:

➤ 模型会收到一个系统提示,将任务设定为医疗记录审查,问题置于完整的约 25k 至约 64k token 医疗记录之后

➤ 除非问题本身指定了格式,模型会用一段话回答问题的每一部分,给出其结论以及记录中的支持证据。由于各模型的答案长度现已保持一致,我们不再应用简洁性测试

➤ 评分使用由 GPT-6.1 Sol、Claude Opus 5.5 和 Grok 4.7 组成的三模型评审小组,均处于中等推理强度。每位评审列出任何与医疗记录相矛盾的说法,以及参考答案中被回答遗漏的任何关键点,当多数评审均未列出时,该回答即通过。三位评审在 69% 的答案上达成相同判定,高于此前评审小组的 48%

➤ 每个问题运行三次,我们报告重复运行的平均分

更新后排行榜上的分数与早期的 MLCR-AA 结果不可直接比较。MLCR-AA 不是 Artificial Analysis Intelligence Index 的组成部分。

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准