我们的使命是确保人工通用智能造福全人类。作为这一使命的一部分，我们希望帮助科学家加速生物研究——从理解疾病到开发新疗法。要让 AI 智能体做出贡献，它们需要可靠地解读科学家在湿实验室中每天处理的实验证据，因为在湿实验室中，人们用生物样本进行实验。日常湿实验室工作涉及失败的实验、模糊的图像和相互矛盾的观察结果。现有基准围绕为科学论文挑选的图表和图像构建，可能无法捕捉这种模糊性及其所需的故障排查。这就是我们与专注于酶设计的生物技术公司 Ligo 合作开发 BioBasicsBench 的原因，这是一个用于衡量智能体处理常规湿实验室分析能力的新基准。
该基准的 100 项任务测试智能体能否解读原始实验数据、识别错误，并识别证据何时无法支持某个结论。做好这些任务很重要，因为误读图像或忽视用于核查实验结果的对照实验中的问题，可能使科学家得出错误结论，并把时间花在无法帮助回答其问题的实验上。
在 'xhigh' 设置下（允许每个任务进行更多推理），GPT‑6 Astra 平均获得了可用分数的 66.7%，而 GPT‑5.6 Sol 为 43.8%。结果显示在常规实验室分析方面取得了进展，但在解读图像、检查对照实验和应用实验背景方面仍有进一步改进的空间。
深入了解 BioBasicsBench
BioBasicsBench 使用原始实验证据，从凝胶图像和菌落平板到显微镜图像和仪器读数。
BioBasicsBench 包含涵盖日常湿实验室工作五个领域的 100 项任务：蛋白质方法、成像与流式细胞术、定量与检测、核酸方法以及分子克隆。任务范围从简单的请求（例如读取凝胶中 DNA 样本的分子量）到详细的检测分析，但都涉及湿实验室科学家应当能够可靠完成的常规工作。
科学家使用自己实验中的数据创建任务，并将每个问题与专家撰写的评分标准配对。每项任务都经过了未撰写该任务的 Ligo 科学家的内部审查、一位在湿实验室工作的博士级科学家的外部审查，以及最终的内部审查。
智能体返回一个包含所需结论、测量结果或建议的结构化答案，并在需要时附上支持性推理。答案根据单项评分标准获得分数，使基准能够区分正确结论与部分正确的分析。大多数任务同时测试多项技能，包括生物学知识、图像和其他数据的解读、错误检测以及实验方案理解。
“独立任务”对每项任务只计一次。技能列统计具有相应技能标签的任务。这些类别相互重叠：一项任务可能出现在多列中，因此不应将技能计数相加来得出任务总数。颜色标识领域；颜色越深表示该领域中测试某项技能的任务占比越大。
输入保留了科学家所处理证据的形式：凝胶和印迹图像、平板照片、显微镜图像堆栈、测序读数、酶标仪导出数据以及实验台操作视频。一项任务可以包含多种类型的数据。参考表，如梯带图和质粒图谱，支持对实验证据的解读。
智能体获得的内容
数据类型 | 任务 | 包含内容 |
|---|---|---|
凝胶与印迹 | 31 | 琼脂糖 DNA 凝胶、SDS-PAGE 凝胶、Western 印迹 |
实验方案、笔记与规格 | 27 | 实验方案和 SOP、实验记录本和运行记录、拍摄的手写笔记、产品目录、仪器规格、已发表的方法 |
表格与仪器导出数据 | 20 | CSV 和 Excel 导出文件、泳道布局和清单、原始流式细胞术（FCS）文件 |
实验台、仪器与试剂照片 | 18 | 实验台、凝胶装置、试剂和培养管、PCR 板、试管架、pH 试纸、浓缩器、冰箱、移液工作站台面 |
显微镜成像 | 14 | 原始明场和荧光图像、多通道图像集、z-stack、延时影片 |
仪器屏幕与图表 | 13 | 流式细胞仪、显微镜、NanoDrop、酶标仪和天平屏幕的照片；导出的标准曲线、色谱图和图表 |
测序文件 | 12 | 原始长读长 FASTQ、FASTA 序列、GenBank 图谱 |
实验流程视频 | 7 | 划线接种、接种、系列稀释、SDS-PAGE 电泳槽和孵育箱的 setup、天平称量 |
琼脂平板与菌落 | 7 | 转化平板、蓝白筛选、抗生素纸片平板 |
参考表 | 21 | Marker 图表、质粒图谱、pH 图表（辅助材料） |
包含各类数据的任务数量。类别之间存在重叠；参考表属于辅助材料。
科学家们使用自己实验的数据编写任务，将实验证据与问题及专家撰写的评分细则配对。每个任务都经过了由未参与编写的 Ligo 科学家进行的内部评审、由在湿实验室工作的博士级科学家进行的外部评审，以及最终的内部评审。评审者检查了提示词、实验证据、评分细则、作者说明以及一次经过评分的模型尝试。
答案根据任务的评分细则进行评分，该细则为各个评分标准分配分值。根据任务不同，这些标准评估结论、数值结果、支撑性推理，或对证据不足的识别。
结果
我们在 BioBasicsBench 上评估了七个模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估涵盖 37 种模型与推理力度设置，每种设置下对 100 个任务各进行五次尝试，总计 18,500 个结果。
我们报告 平均奖励：即平均任务得分，以可得分数的百分比表示。误差棒显示通过整体重采样任务（保持每个任务的五次尝试在一起）计算的 95% 置信区间。
平均奖励与每任务平均输出 token 数的关系，以对数刻度显示。每个点代表一个测试过的推理力度设置；线条按顺序连接这些设置。x 轴在每一刻度处加倍。橙色虚线表示 GPT‑5 模型，蓝色实线表示 GPT‑6 模型。浅色须线表示 95% 的整任务 bootstrap 置信区间。每个设置包含全部 100 个任务及每任务五次尝试。各模型的推理力度设置不同。
GPT‑6 Astra 相比 GPT‑5.6 Sol 有显著提升，即使在低推理力度下也是如此。这些提升表明， 更强的原生多模态能力可能是提高日常湿实验室 分析表现的关键。
xhigh 推理力度下的表现
模型 | 平均奖励 | 95% 置信区间 | 输出 token 数 / 任务 |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh 是所有七个模型中报告的最高推理力度设置。每行包含全部 100 个任务及每任务五次尝试。可用的最大力度结果已包含在上方的图表中。
GPT‑6 Astra 相对于 GPT‑5.6 Sol 的提升
认识数据能证明什么、不能证明什么
科学中一个常见的陷阱是对数据过度解读，尤其是在检验假设时容易产生的偏差。Astra 展现出更强的能力，能够识别数据所显示内容的边界，而不做出缺乏依据的结论。
在本例中，GPT‑5.6 Sol 根据一种用于检测死细胞的染料的信号，将细胞归类为死细胞。但检测器也可能接收到来自第二种染料的光，因此仅凭亮度无法支持这一结论。Astra 识别出了这种模糊性，并要求使用更好的对照来区分这些信号。
同一批细胞，三个检测通道
明场 · 透射光
通道 2 · SYTOX 标记 · 470–540 nm
通道 3 · FUN-1 绿色 · 525–580 nm
同一细胞区域在三个通道中的显示;检测窗口在 525–540 nm 处重叠。共享窗口会造成干扰,其大小尚未被测量。每个通道以单独的线性强度标尺显示,且该标尺在两个区域之间保持固定;因此无法在通道之间定量比较亮度。
更好的多模态处理
科学研究具有高度多模态性,需要持续的视觉解读与决策。Astra 在处理多模态数据方面表现出显著提升,这些数据以照片和视频,以及来自测序、板式读数仪检测、显微镜和流式细胞术的原始输出的形式提供。
在最基本的层面上,这一改进体现在 GPT‑6 Astra 能够从实验过程中拍摄的图像中捕捉到更细微的细节,从而得出更准确的结论,如本例所示。该任务要求智能体从一项 DNA 克隆实验中得出结论,而对照在其中至关重要。GPT‑5.6 Sol 在阴性对照板上没有看到任何菌落,并基于这一观察得出结论。GPT‑6 Astra 则注意到该板被贴上了错误的抗生素标签,并正确地将其判定为不可靠的对照。
原始照片
边缘上的标签
原始基准照片,边缘标签被圈出并放大。“LB Kan50” 标识的是卡那霉素,与实验中使用的氨苄青霉素是不同的抗生素。
牢记实验背景
科学家在分析数据时必须能够记住隐性生物学知识和实验背景,才能正确解读数据所显示的内容。Astra 展示了在保持这一背景并在整个分析过程中加以运用的能力上的提升。
有一项任务展示了一系列显微图像中细胞进入和离开对焦的过程。GPT‑5.6 Sol 试图为细胞看似消失的现象寻找生物学解释,而 GPT‑6 Astra 则正确识别出这是一个 z-stack:一系列在不同深度拍摄的照片。
深度扫描中可见性的变化
0 s
3 s
6 s
9 s
12 s
15 s
原始录像中的六帧。虚线框标出了显微镜沿深度扫描时的同一位置。时间指所提供视频中的播放位置。
模型仍有不足之处
更高的基准测试分数并不意味着模型已经能在实验室中做出可靠的判断。这些 Astra 示例表明,假设、预期答案和所提供的标签如何能够压倒证据,以及一个正确的中间观察如何未能引导最终决策。
让假设压倒对照
Astra 让一个熟悉的假设压倒了实验对照所支持的解读。 它能够区分两组菌落条带,但假设更大的 PCR 产物代表成功的克隆。基于这一条件,它提出了泳道 4、6、7 和 8;而参考答案的对照比较则选择了泳道 5、9 和 10.
参考答案选择的菌落是 5、9 和 10;Astra 提出的是 4、6、7 和 8.
1：标记 · 2：克隆混合物 · 3：原始质粒 · 4–10：菌落样品
解读对照
泳道 3 仅包含原始质粒 PCR。其条带提供了旧质粒的参考位置。
在参考解读中，泳道 2 包含两种模式：不完全的组装会使旧模板/骨架与新产物并存。
所得菌落可能携带旧质粒或新质粒。请将其条带与这些参考模式进行比较。
参考选择： 5、9 和 10
Astra 的选择： 4、6、7 和 8。Astra 提名这一组，理由是较大的 PCR 产物代表预期的构建体。
视觉分组是正确的，但附加在这些组上的实验身份相对于参考答案被颠倒了。因此 Astra 从菌落 PCR 结果中选错了菌落，这将导致下游纯化出错误的质粒。
忽略与其偏好解释相矛盾的数据
Astra 忽略与其偏好解释相矛盾的观察结果。 它得出结论说，液泡（细胞内部的区室）通常比周围的细胞更暗，即使在同一图像中有些显得更亮。两种外观都很重要：改变显微镜的焦点可以反转对比度，因此较暗的例子并不能确立一条普遍规律。
较暗的外观
较亮的外观
Astra 关于液泡较暗的概括忽略了同一视野中可见的较亮液泡。
该答案遗漏了什么
一些细胞呈现相反的对比度。两种外观都会出现，是因为不同的焦距可以反转对比度。
Astra 检查了多个区域，甚至评论说对比度随焦点而变化。但它随后更看重其认为对焦更好的细胞，并只在最终答案中保留这些细胞的液泡较暗描述。被检查过的矛盾较亮区域未在结论中得到考虑。
在常规实验室测量中数错菌落
Astra 的计数标记并不能可靠地对应单个菌落：它无法分辨邻近的菌落，遗漏了可见的菌落，还在空的琼脂上做了标记。 相对于基准参考，在这块平板上的净结果是多计了约 12%。
A. 间距很近的菌落
原始图像
Astra 的计数标记
B. 未被标记的可见菌落
原始图像
Astra 的计数标记
C. 空琼脂被计为一个菌落
原始图像
Astra 的计数标记
A：相邻菌落之间有一个计数标记。B：两个可见菌落未被标记。C：空琼脂被计为一个菌落。红圈标示 Astra 的计数位置。黑色箭头为编辑示意。
不准确的菌落计数会直接影响对 DNA 导入细胞效率的估计。在平板涂布体积和稀释倍数固定的情况下，多计会按相同比例抬高该估计值。
迈向可靠的实验室辅助
加速生物学研究需要把日常工作做好。BioBasicsBench 将这些日常工作作为改进目标：解读原始实验数据、检查对照，并识别结论何时缺乏依据。在这些任务上的进展可以帮助科学家减少排查问题的时间，把更多时间用于决定接下来开展哪些实验。追踪这些能力还将帮助我们理解它们对生物安全和生物安保的影响。