AIエージェントが日常のウェットラボ科学にどのように対応するかを測定する

私たちのミッションは、汎用人工知能(AGI)が全人類に利益をもたらすことを確実にすることです。そのミッションの一環として、病気の理解から新しい治療法の開発まで、科学者が生物学研究を加速できるよう支援したいと考えています。AIエージェントが貢献するためには、科学者が生物サンプルを用いて実験を行うウェットラボで日常的に扱う実験的証拠を、確実に解釈できる必要があります。日常のウェットラボ業務には、失敗した実験、曖昧な画像、矛盾する観察結果が含まれます。科学論文のために選ばれたチャートや画像を中心に構築された既存のベンチマークでは、この曖昧さとそれに必要なトラブルシューティングが見落とされる可能性があります。だからこそ私たちは、酵素設計に特化したバイオテック企業Ligoと共同で開発した新しいベンチマーク「BioBasicsBench」を導入し、エージェントが日常のウェットラボ分析にどれだけうまく対応できるかを測定するのです。

このベンチマークの100のタスクは、エージェントが生の実験データを解釈し、エラーを特定し、証拠が結論を裏付けられない場合を認識できるかどうかを試験します。これらのタスクを正しくこなすことが重要なのは、画像の読み間違いや、実験結果を検証するためのコントロールの問題の見落としが、科学者に誤った結論を導かせ、問いに答えるのに役立たない実験に時間を費やさせる可能性があるからです。

タスクごとにより多くの推論を可能にする「xhigh」設定では、GPT‑6 Astraは利用可能なクレジットの平均66.7%を獲得し、GPT‑5.6 Solの43.8%を上回りました。この結果は、日常のラボ分析における進歩を示すと同時に、画像の解釈、コントロールの確認、実験コンテキストの適用においてさらなる改善の余地があることを示しています。

BioBasicsBenchの内部

BioBasicsBenchは、ゲル画像やコロニープレートから顕微鏡画像や機器の読み取り値まで、生の実験的証拠を使用します。

BioBasicsBenchには、日常のウェットラボ業務の5つの分野にわたる100のタスクがあります:タンパク質手法、イメージングとサイトメトリー、定量とアッセイ、核酸手法、分子クローニング。タスクは、ゲル中のDNAサンプルの分子量を読むといった単純な要求から、詳細なアッセイ分析まで及びますが、すべてウェットラボの科学者が確実に遂行できるはずの日常業務です。

科学者たちが自身の実験データを用いてタスクを作成し、各質問に専門家が執筆した採点基準を対応させました。各タスクは、作成していないLigoの科学者による内部レビュー、ウェットラボで働く博士号レベルの科学者による外部レビュー、そして最終内部レビューを受けました。

エージェントは、要求された結論、測定値または推奨事項、および必要に応じてそれを裏付ける推論を含む構造化された回答を返します。回答は個々のルーブリック基準に対してクレジットを与えられ、ベンチマークは正しい結論と部分的に正しい分析を区別できます。ほとんどのタスクは、生物学の知識、画像やその他のデータの解釈、エラー検出、プロトコルの理解を含む複数のスキルを組み合わせて試験します。

入力は、科学者が扱う証拠の形式をそのまま保持しています:ゲル・ブロット画像、プレート写真、顕微鏡スタック、シーケンスリード、プレートリーダーのエクスポート、実験台での作業の動画。1つのタスクに複数種類のデータが含まれることがあります。ラダーチャートやプラスミドマップなどのリファレンスシートが、実験的証拠の解釈を支援します。

エージェントに与えられるもの

各種データを含むタスクの数。カテゴリーは重複しています。リファレンスシートは補助資料です。

科学者たちは自身の実験からのデータを用いてタスクを作成し、実験的な証拠に質問と専門家が作成した採点ルーブリックを組み合わせました。各タスクは、作成者ではないLigoの科学者による内部レビュー、ウェットラボで働く博士号レベルの科学者による外部レビュー、そして最終的な内部レビューを経ました。レビュー担当者はプロンプト、実験的証拠、ルーブリック、作成者のメモ、および採点済みのモデルの解答例を確認しました。

解答は、個々の評価基準に配点を割り当てるタスクのルーブリックに基づいて採点されます。タスクに応じて、これらの評価基準は結論、数値結果、根拠となる推論、または証拠が不十分であることの認識を評価します。

結果

BioBasicsBench上で7つのモデル、GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astraを評価しました。評価は37のモデルおよび推論労力の設定を対象とし、各設定につき100のタスクそれぞれで5回の試行を行い、合計18,500件の結果を対象としています。

報告する指標は 平均リワードです。これはタスクスコアの平均であり、利用可能な配点に対する割合(%)で表されます。エラーバーは、各タスクの5回の試行をまとめたままタスク全体を再サンプリングして計算された95%信頼区間を示しています。

GPT‑6 Astraは、低い推論労力においてでさえ、GPT‑5.6 Solを大幅に上回っています。これらの向上は、 日常的なウェットラボ解析におけるパフォーマンスの改善には、より強力なネイティブのマルチモーダル機能が鍵となる可能性がある ことを示唆しています。

xhigh推論労力でのパフォーマンス

Xhighは7つのモデルすべてについて報告されている最高の推論労力設定です。各行には100のタスクすべてとタスクごとの5回の試行が含まれます。利用可能な場合、最大労力の結果は上のチャートに含まれています。

GPT‑5.6 Solから見たGPT‑6 Astraの向上

データが何を示せて、何を示せないかを見極めること

科学におけるよくある落とし穴は、データを過剰に解釈することです。特に仮説を検証する際に生じるバイアスの性質を考えると顕著です。Astraは、データが示す限界を見極め、根拠のない結論を導き出さないという、より優れた能力を示しました。

この例では、GPT‑5.6 Solが、死んだ細胞を検出するために使用される色素からのシグナルに基づいて細胞を死細胞と分類しました。しかし、検出器は2つ目の色素からの光も拾う可能性があるため、明るさだけではその結論を正当化できませんでした。Astraはこの曖昧さを認識し、シグナルを分離するためのより適切なコントロールを求めました。

同じ細胞、3つの検出チャネル

ブライトフィールド・透過光

チャンネル2 · SYTOX標識 · 470–540 nm

チャンネル 3 · FUN-1 グリーン · 525–580 nm

より優れたマルチモーダル処理

科学研究は非常にマルチモーダルであり、絶え間ない視覚的な解釈と意思決定が求められます。Astraは、写真や動画の形式で与えられるマルチモーダルデータ、さらにシーケンシング、プレートリーダーアッセイ、顕微鏡検査、フローサイトメトリーからの生の出力データの処理において、大幅な向上を示しました。

最も基本的なレベルでは、この改善は、実験中に撮影された画像からより細かいディテールを拾い上げ、その結果としてより正確な結論を導き出せるというGPT‑6 Astraの能力から、この例に示されている通り確認できました。このタスクでは、エージェントにDNAクローニング実験から結論を導き出すことが求められました。この実験ではコントロールが不可欠です。GPT‑5.6 Solはネガティブコントロールプレートにコロニーが見られないことを確認し、その観察に基づいて結論を出しました。一方GPT‑6 Astraは、そのプレートに誤った抗生物質のラベルが貼られていることに気づき、信頼できるコントロールとして正しく却下しました。

実験の背景を念頭に置く

科学者たちはデータを分析する際、それが何を示しているのかを正しく解釈するために、暗黙的な生物学的知識と実験の文脈を頭に入れておく必要がある。Astraは、この文脈を維持し、分析全体を通じてそれを適用する能力が向上していることを実証した。

あるタスクでは、顕微鏡画像の連続の中で細胞がピントに入ったり外れたりする様子が示された。GPT‑5.6 Solは細胞が消えて見えることの生物学的な説明を探した一方で、GPT‑6 Astraはzスタック――異なる深さで撮影された一連の画像――であると正しく認識した。

深度スキャン間の可視性の変更

モデルがまだ及ばない点

ベンチマークスコアが高くても、モデルが実験室で信頼できる判断を下せるわけではまだありません。これらのAstraの例は、前提条件、期待される回答、提供されたラベルが証拠に勝ってしまう様子、そして途中の正しい観察が最終的な判断の指針となり得ない様子を示しています。

想定を操縦装置より優先させてしまったこと

Astraは、実験的な統制によって裏付けられる解釈に優先して、ありふれた思い込みを通させてしまう。 2つのグループのコロニーバンドを区別することはできますが、より大きなPCR産物がクローニングの成功を示すと仮定しています。その条件のもとで、以下のレーンを提案しています 4、6、7、および8; 基準の対照比較では代わりにレーンを選択する 5、9、10.

コントロールの読み方

1. レーン3には元のプラスミドのPCR産物のみが含まれています。そのバンドが旧プラスミドの基準位置となります。

2. 基準の解釈では、レーン2には両方のパターンが含まれています。不完全な組換えでは、新しい産物とともに旧テンプレート/バックボーンが残ります。

3. 得られたコロニーには、旧プラスミドまたは新プラスミドのいずれかが含まれている可能性があります。バンドをこれらの基準パターンと比較してください。

基準の選択: 5、9、10

Astraの選択: 4、6、7、8。Astraは、より大きいPCR産物が意図されたコンストラクトを表しているという見解のもとに、このグループを指名する。

視覚的なグループ分けは正しいが、それらのグループに対応づけられた実験上の同一性が、基準と比べて入れ替わっている。そのため、AstraはコロニーPCRの結果から誤ったコロニーを選択することになり、下流で誤ったプラスミドを精製することにつながる。

自らの好ましい解釈に矛盾するデータの無視

Astraは、自らの好ましい解釈に矛盾する観察結果を無視する。 同画像の中には明るく見えるものがあるにもかかわらず、液胞(細胞内の区画)は一般に周囲の細胞よりも暗いと結論づける。どちらの見え方も重要である。顕微鏡の焦点を変えるとコントラストは反転しうるため、暗い例だけが一般的な法則を裏付けることにはならない。

この回答が見落としていること

一部の細胞は逆のコントラストを持つ。どちらの見え方も生じるのは、焦点深度の違いによってコントラストが反転しうるためである。

Astraは複数の領域を調べ、コントラストが焦点によって変化することにすら言及している。その後、より焦点が合っていると判断した細胞に重みを置き、最終的な回答にはそれらの暗い液胞という記述のみを残す。矛盾する明るい領域は調べられているものの、結論では考慮されていない。

日常的な実験測定におけるコロニー数の誤算

Astraの計数マークは個々のコロニーと確実には対応していない。近接するコロニーを区別できず、見えるコロニーを見落とし、空の寒天にマークを付けている。 このプレートでの最終的な結果は、基準参照に対して約12%の過大計数となっている。

A. 間隔の狭いコロニー

B. マークされずに残された可視コロニー

C. コロニーとして計数された空の寒天

コロニー数の不正確さは、DNAが細胞に導入された効率の推定に直接影響する。プレートに撒いた容量と希釈率が固定されている場合、過大計数はその推定を同じ割合で水増しすることになる。

信頼できる実験室アシスタントに向けて

生物学研究の加速には、日々の作業を正しく行うことが必要である。BioBasicsBenchは、その作業を改善の対象として設定している。すなわち、生の実験データの解釈、コントロールの確認、そして結論が支持されていない場合の認識である。これらのタスクでの進展は、科学者がトラブルシューティングに費やす時間を減らし、次にどの実験を進めるべきかの判断に多くの時間を使えるようにする助けとなる。これらの能力を追跡することは、バイオセーフティとバイオセキュリティへの影響を理解する上でも役立つ。