AI 에이전트가 일상적인 습식 실험실 과학을 얼마나 잘 다루는지 측정하기

우리의 사명은 인공일반지능이 전 인류에게 이익이 되도록 하는 것입니다. 그 사명의 일환으로, 우리는 과학자들이 질병 이해부터 새로운 치료법 개발까지 생물학 연구를 가속화하도록 돕고자 합니다. AI 에이전트가 기여하려면, 과학자들이 생물학적 샘플로 실험을 수행하는 습식 실험실에서 매일 다루는 실험 증거를 신뢰할 수 있게 해석할 수 있어야 합니다. 일상적인 습식 실험실 작업에는 실패한 실험, 모호한 이미지, 상충하는 관찰 결과가 포함됩니다. 기존 벤치마크는 논문용으로 선별된 차트와 이미지를 중심으로 구축되어 이러한 모호성과 이에 필요한 문제 해결을 놓칠 수 있습니다. 그래서 우리는 효소 설계에 집중하는 바이오테크 기업인 Ligo와 함께 개발한 새로운 벤치마크 BioBasicsBench를 소개하며, 에이전트가 루틴한 습식 실험실 분석을 얼마나 잘 처리하는지 측정합니다.

이 벤치마크의 100개 과제는 에이전트가 원시 실험 데이터를 해석하고, 오류를 식별하며, 증거가 결론을 뒷받침할 수 없는 경우를 인식할 수 있는지를 시험합니다. 이 과제들을 올바르게 수행하는 것이 중요한 이유는, 이미지를 잘못 읽거나 실험 결과를 검증하는 데 사용되는 대조군의 문제를 간과하면 과학자들이 잘못된 결론을 내리고 자신의 질문에 답하는 데 도움이 되지 않는 실험에 시간을 낭비할 수 있기 때문입니다.

과제당 더 많은 추론을 허용하는 'xhigh' 설정에서 GPT‑6 Astra는 가용 점수의 평균 66.7%를 획득한 반면, GPT‑5.6 Sol은 43.8%를 기록했습니다. 이 결과는 루틴한 실험실 분석에서의 진전을 보여주며, 이미지 해석, 대조군 확인, 실험 맥락 적용에서 추가 개선의 여지가 있음을 시사합니다.

BioBasicsBench 내부 들여다보기

BioBasicsBench는 겔 이미지와 콜로니 플레이트부터 현미경 영상 및 기기 판독값에 이르는 원시 실험 증거를 사용합니다.

BioBasicsBench는 일상적인 습식 실험실 작업의 다섯 가지 영역에 걸친 100개 과제를 포함합니다: 단백질 방법, 이미징 및 세포계측, 정량 및 어세이, 핵산 방법, 분자 클로닝. 과제는 겔에서 DNA 샘플의 분자량을 읽는 것과 같은 간단한 요청부터 상세한 어세이 분석까지 다양하지만, 모두 습식 실험실 과학자가 신뢰할 수 있게 수행할 수 있어야 하는 루틴한 작업을 포함합니다.

과학자들이 자신의 실험 데이터를 사용하여 과제를 만들었으며, 각 질문에 전문가가 작성한 채점 기준을 함께 두었습니다. 각 과제는 작성하지 않은 Ligo 과학자의 내부 검토, 습식 실험실에서 근무하는 박사 수준 과학자의 외부 검토, 그리고 최종 내부 검토를 거쳤습니다.

에이전트는 요청된 결론, 측정값 또는 권고사항과, 필요한 경우 이를 뒷받침하는 추론을 포함한 구조화된 답변을 제출합니다. 답변은 개별 루브릭 기준에 따라 점수를 받으며, 이를 통해 벤치마크는 올바른 결론과 부분적으로 올바른 분석을 구별할 수 있습니다. 대부분의 과제는 생물학적 지식, 이미지 및 기타 데이터의 해석, 오류 탐지, 프로토콜 이해를 포함한 여러 기술을 함께 시험합니다.

입력 데이터는 과학자들이 다루는 증거의 형태를 그대로 유지합니다: 겔 및 블롯 이미지, 플레이트 사진, 현미경 스택, 시퀀싱 리드, 플레이트 리더 내보내기 파일, 벤치 작업 영상. 하나의 과제는 여러 종류의 데이터를 포함할 수 있습니다. 래더 차트와 플라스미드 맵과 같은 참조 자료는 실험 증거의 해석을 지원합니다.

에이전트에게 제공되는 것

각 종류의 데이터를 포함하는 과제 수. 범주는 서로 겹치며, 참고 자료 시트는 보조 자료입니다.

과학자들은 자신의 실험 데이터를 사용하여 과제를 작성했으며, 실험 증거를 질문과 전문가가 작성한 채점 기준과 함께 묶었습니다. 각 과제는 이를 작성하지 않은 Ligo 과학자에 의한 내부 검토, 습식 실험실에서 근무하는 박사급 과학자에 의한 외부 검토, 그리고 최종 내부 검토를 거쳤습니다. 검토자들은 프롬프트, 실험 증거, 채점 기준, 작성자 메모, 그리고 채점된 모델 시도를 확인했습니다.

답안은 개별 기준에 점수를 부여하는 과제의 채점 기준에 따라 채점됩니다. 과제에 따라 이러한 기준들은 결론, 수치 결과, 이를 뒷받침하는 논리 또는 증거가 불충분하다는 인식을 평가합니다.

결과

우리는 BioBasicsBench에서 7개 모델을 평가했습니다: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, GPT‑6 Astra. 이 평가는 37개의 모델 및 추론 노력 설정을 다루며, 설정당 100개 과제 각각에 대해 5회의 시도를 수행하여 총 18,500개의 결과를 산출했습니다.

우리는 다음을 보고합니다 평균 보상(mean reward): 사용 가능한 점수 대비 백분율로 표현된 평균 과제 점수. 오차 막대는 각 과제의 5회 시도를 함께 유지하면서 과제 전체를 재표본화하여 계산한 95% 신뢰 구간을 나타냅니다.

GPT‑6 Astra는 낮은 추론 노력에서조차 GPT‑5.6 Sol 대비 상당히 향상된 성능을 보입니다. 이러한 향상은 더 강력한 기본 멀티모달 능력이 일상적인 습식 실험실 분석에서의 성능을 개선하는 열쇠일 수 있음을 시사합니다.

xhigh 추론 노력에서의 성능

Xhigh는 7개 모델 모두에 대해 보고된 가장 높은 추론 노력 설정입니다. 각 행은 100개 과제 전체와 과제당 5회 시도를 포함합니다. 이용 가능한 경우 최대 노력(max-effort) 결과는 위 차트에 포함되어 있습니다.

GPT‑5.6 Sol 대비 GPT‑6 Astra의 향상

데이터가 보여줄 수 있는 것과 없는 것을 인식하기

과학에서 흔한 함정은 데이터를 과도하게 해석하는 것이며, 특히 가설을 검증할 때 발생하는 편향의 특성을 고려하면 더욱 그렇다. Astra는 데이터가 보여주는 한계를 판별하고 근거 없는 결론을 도출하지 않는 더 뛰어난 능력을 보여주었다.

이 예에서 GPT‑5.6 Sol은 죽은 세포를 감지하는 데 사용된 염색에서 나오는 신호를 근거로 세포를 사멸 세포로 분류했다. 그러나 검출기는 두 번째 염색에서 나오는 빛도 포착할 수 있었기 때문에 밝기만으로는 그 결론을 정당화할 수 없었다. Astra는 이러한 모호성을 인식하고 신호를 분리하기 위한 더 나은 대조 실험을 요구했다.

동일한 세포, 세 가지 검출 채널

브라이트필드 · 투과광

채널 2 · SYTOX 라벨 · 470–540 nm

채널 3 · FUN-1 green · 525–580 nm

더 나은 멀티모달 처리

과학 연구는 매우 멀티모달적이어서, 지속적인 시각적 해석과 의사 결정이 필요합니다. Astra는 사진과 비디오 형태로 제공된 멀티모달 데이터뿐만 아니라 시퀀싱, 플레이트 리더 분석, 현미경 관찰 및 유세포 분석(Flow Cytometry)의 원시 출력 데이터를 처리하는 능력에서 상당한 향상을 보여주었습니다.

가장 기본적인 수준에서, 이러한 개선은 이 예시에서 보여지듯 GPT‑6 Astra가 실험 중 촬영된 이미지에서 더 미세한 세부 사항을 파악하고 따라서 더 정확한 결론을 도출하는 능력을 통해 확인할 수 있었습니다. 이 과제는 에이전트들이 대조군이 필수적인 DNA 클로닝 실험에서 결론을 도출하도록 요구했습니다. GPT‑5.6 Sol은 음성 대조군 배지에서 콜로니를 발견하지 못했고 그 관찰을 바탕으로 결론을 내렸습니다. GPT‑6 Astra는 해당 배지에 잘못된 항생제 라벨이 붙어 있음을 알아차리고 이를 신뢰할 수 있는 대조군으로서 올바르게 기각했습니다.

실험적 맥락을 염두에 두기

과학자들은 데이터를 분석하는 동안 암묵적인 생물학적 지식과 실험 맥락을 머릿속에 유지할 수 있어야 데이터가 보여주는 바를 올바르게 해석할 수 있습니다. Astra는 이러한 맥락을 유지하고 분석 전 과정에 걸쳐 이를 적용하는 능력이 향상되었음을 보여주었습니다.

한 과제에서는 현미경 이미지들 속에서 세포가 초점에 들어왔다 나갔다 하는 모습이 제시되었습니다. GPT‑5.6 Sol은 세포가 사라진 것처럼 보이는 현상에 대한 생물학적 설명을 찾던 반면, GPT‑6 Astra는 서로 다른 깊이에서 촬영한 이미지 연속인 z-스택임을 정확히 인식했습니다.

깊이 스캔 전반에 걸친 가시성 변화

모델이 여전히 부족한 부분

높은 벤치마크 점수가 아직 실험실에서 신뢰할 수 있는 판단을 내릴 수 있음을 의미하지는 않는다. 이러한 Astra 사례들은 가정, 기대되는 답변, 제공된 레이블이 증거를 무색하게 만들 수 있으며, 정확한 중간 관찰이 최종 결정을 이끌지 못할 수 있음을 보여준다.

가정이 조작 장치를 무시하게 두는 것

Astra는 실험적 통제가 뒷받침하는 해석보다 익숙한 가정을 우선시합니다. 두 집단의 콜로니 밴드를 구별할 수 있지만, 더 큰 PCR 산물이 성공적인 클로닝을 나타낼 것이라고 가정합니다. 그 조건 하에서 다음 레인들을 제안합니다 4, 6, 7, 8; 참조의 제어 비교 대신 차선을 선택한다 5, 9 및 10.

대조군 읽기

1. 레인 3에는 원래 플라스미드 PCR만 들어 있습니다. 이 밴드는 이전 플라스미드의 기준 위치를 제공합니다.

2. 기준 해석에서 레인 2에는 두 패턴이 모두 들어 있습니다. 불완전한 조립의 경우 새로운 산물과 함께 이전 주형/백본이 남아 있습니다.

3. 결과 콜로니는 이전 플라스미드 또는 새 플라스미드 중 하나를 가질 수 있습니다. 이들의 밴드를 이 기준 패턴과 비교하십시오.

기준 선택: 5, 9 및 10

Astra의 선택: 4, 6, 7, 8. Astra는 이 그룹을 지목하며 더 큰 PCR 산물이 의도된 construct를 나타낸다고 주장합니다.

시각적 그룹화는 올바르지만 해당 그룹에 부여된 실험적 정체성이 기준(reference) 대비 뒤바뀌어 있습니다. 따라서 Astra는 colony PCR 결과에서 잘못된 콜로니를 선택하게 되며, 이는 하류의 정제 과정에서 잘못된 플라스미드를 정제하게 되는 결과를 낳습니다.

선호하는 해석에 모순되는 데이터를 무시하기

Astra는 자신이 선호하는 해석에 모순되는 관찰 결과를 무시합니다. 이는 세포 내 구획인 액포(vacuole)가 일반적으로 주변 세포보다 어둡다는 결론을 내리지만, 같은 이미지에서 일부는 더 밝게 보입니다. 두 가지 모습 모두 중요합니다: 현미경의 초점을 바꾸면 명암이 반전될 수 있으므로, 더 어두운 사례들만으로 일반적인 규칙을 확립할 수 없습니다.

그 답변이 놓친 것

일부 세포는 반대의 명암을 보입니다. 두 가지 모습이 모두 나타나는 것은 서로 다른 초점 깊이가 명암을 반전시킬 수 있기 때문입니다.

Astra는 여러 영역을 검토하고 명암이 초점에 따라 변한다는 점까지 언급합니다. 그런 다음 더 잘 초점이 맞았다고 판단한 세포들에 더 큰 비중을 두고, 최종 답변에는 그 세포들의 '어두운 액포' 묘사만 남깁니다. 모순되는 더 밝은 영역들은 검토되었지만 결론에서는 고려되지 않았습니다.

일상적인 실험실 측정에서 콜로니 수를 잘못 세기

Astra의 계수 표시는 개별 콜로니와 신뢰할 수 있게 대응하지 않습니다: 가까이 붙어 있는 콜로니를 구분하지 못하고, 보이는 콜로니를 놓치며, 빈 한천에 표시를 합니다. 이 플레이트에서의 순결과는 기준 reference 대비 약 12%의 과대 계수(overcount)입니다.

A. 촘촘히 붙어 있는 콜로니

B. 표시되지 않은 채 남아 있는 보이는 콜로니

C. 콜로니로 계수된 빈 한천

콜로니 수를 부정확하게 세는 것은 DNA가 세포에 도입된 효율에 대한 추정치에 직접적인 영향을 미칩니다. 플레이팅 부피와 희석 배율이 고정되어 있는 경우, 과대 계수는 그 추정치를 동일한 비율만큼 부풀립니다.

신뢰할 수 있는 실험실 조력을 향해 나아가기

생물학 연구의 가속화에는 일상적인 작업을 올바르게 수행하는 것이 필요합니다. BioBasicsBench는 그러한 작업—실험 원데이터 해석, 대조군(control) 검증, 결론이 뒷받침되지 않는 상황 인식—을 개선의 대상으로 삼습니다. 이러한 과제에서의 진전은 과학자들이 문제 해결에 소요하는 시간을 줄이고 다음에 어떤 실험을 수행할지 결정하는 데 더 많은 시간을 쓰도록 도울 수 있습니다. 이러한 능력들을 추적하는 것은 생물안전(biosafety)과 생물보안(biosecurity)에 대한 그 함의를 이해하는 데에도 도움이 될 것입니다.