Messung, wie KI-Agenten alltägliche Nasslabor-Wissenschaft bewältigen

Unsere Mission ist es, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt. Im Rahmen dieser Mission wollen wir Wissenschaftlern helfen, die biologische Forschung zu beschleunigen – vom Verständnis von Krankheiten bis zur Entwicklung neuer Behandlungen. Damit KI-Agenten einen Beitrag leisten können, müssen sie die experimentellen Erkenntnisse zuverlässig interpretieren, mit denen Wissenschaftler täglich in Nasslabors arbeiten, wo sie Experimente mit biologischen Proben durchführen. Alltägliche Nasslabor-Arbeit beinhaltet gescheiterte Experimente, mehrdeutige Bilder und widersprüchliche Beobachtungen. Bestehende Benchmarks basieren auf Diagrammen und Bildern, die für wissenschaftliche Publikationen ausgewählt wurden, und können diese Mehrdeutigkeit und die damit erforderliche Fehlerbehebung verfehlen. Deshalb führen wir BioBasicsBench ein, einen neuen Benchmark, der gemeinsam mit Ligo entwickelt wurde, einem Biotechnologieunternehmen mit Fokus auf Enzymdesign, um zu messen, wie gut Agenten routinemäßige Nasslabor-Analysen bewältigen.

Die 100 Aufgaben des Benchmarks prüfen, ob Agenten rohe experimentelle Daten interpretieren, Fehler identifizieren und erkennen können, wann die Evidenz keine Schlussfolgerung stützen kann. Dass diese Aufgaben richtig gelöst werden, ist wichtig, weil das Fehlinterpretieren eines Bildes oder das Übersehen eines Problems mit den Kontrollen, mit denen die Ergebnisse eines Experiments überprüft werden, dazu führen kann, dass Wissenschaftler die falsche Schlussfolgerung ziehen und Zeit für Experimente aufwenden, die nicht dazu beitragen, ihre Frage zu beantworten.

Auf der Einstellung „xhigh“, die mehr Reasoning pro Aufgabe erlaubt, erzielte GPT‑6 Astra im Durchschnitt 66.7 % der verfügbaren Punkte, gegenüber 43.8 % für GPT‑5.6 Sol. Die Ergebnisse zeigen Fortschritte bei der routinemäßigen Laboranalyse, mit Raum für weitere Verbesserungen bei der Interpretation von Bildern, der Prüfung von Kontrollen und der Anwendung des experimentellen Kontexts.

Ein Blick in BioBasicsBench

BioBasicsBench verwendet rohe experimentelle Evidenz, von Gel-Bildern und Kolonieplatten bis hin zu Mikroskopie und Instrumenten-Ausgaben.

BioBasicsBench umfasst 100 Aufgaben in fünf Bereichen routinemäßiger Nasslabor-Arbeit: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonen. Die Aufgaben reichen von einfachen Anfragen, wie dem Ablesen des Molekulargewichts einer DNA-Probe in einem Gel, bis hin zur detaillierten Assay-Analyse, betreffen aber alle routinemäßige Arbeiten, die Nasslabor-Wissenschaftler zuverlässig durchführen können sollten.

Die Aufgaben wurden von Wissenschaftlern mit Daten aus ihren eigenen Experimenten erstellt, wobei jede Frage mit von Experten verfassten Bewertungskriterien versehen wurde. Jede Aufgabe durchlief eine interne Überprüfung durch einen Ligo-Wissenschaftler, der sie nicht verfasst hatte, eine externe Überprüfung durch einen promovierten Wissenschaftler, der in einem Nasslabor arbeitet, und eine abschließende interne Überprüfung.

Agenten geben eine strukturierte Antwort mit der angeforderten Schlussfolgerung, Messung oder Empfehlung zurück und, wo erforderlich, mit unterstützender Begründung. Antworten werden anhand einzelner Rubrik-Kriterien bewertet, wodurch der Benchmark eine korrekte Schlussfolgerung von einer teilweise korrekten Analyse unterscheiden kann. Die meisten Aufgaben prüfen mehrere Fähigkeiten gemeinsam, darunter biologisches Wissen, die Interpretation von Bildern und anderen Daten, Fehlererkennung und Protokollverständnis.

Die Eingaben bewahren die Formen der Evidenz, mit denen Wissenschaftler arbeiten: Gel- und Blot-Bilder, Plattenfotografien, Mikroskopie-Stapel, Sequenzierungs-Reads, Plattenleser-Exporte und Videos von Laborarbeiten. Eine Aufgabe kann mehrere Arten von Daten enthalten. Referenzblätter, wie beispielsweise Ladder-Diagramme und Plasmidkarten, unterstützen die Interpretation der experimentellen Evidenz.

Was der Agent erhält

Anzahl der Aufgaben, die jede Art von Daten enthalten. Die Kategorien überschneiden sich; Referenzblätter sind Unterstützungsmaterial.

Die Wissenschaftlerinnen und Wissenschaftler erstellten die Aufgaben anhand von Daten aus ihren eigenen Experimenten und kombinierten die experimentellen Befunde mit einer Frage und einem von Experten verfassten Bewertungskriterium. Jede Aufgabe durchlief eine interne Überprüfung durch eine Ligo-Wissenschaftlerin oder einen Ligo-Wissenschaftler, die oder der sie nicht verfasst hatte, eine externe Überprüfung durch eine auf Doktorandenebene tätige Wissenschaftlerin oder einen solchen Wissenschaftler, die oder der in einem Wet Lab arbeitet, sowie eine abschließende interne Überprüfung. Die Prüferinnen und Prüfer kontrollierten die Aufgabenstellung, die experimentellen Befunde, die Bewertungskriterien, die Anmerkungen der Autorinnen und Autoren sowie einen bewerteten Modellversuch.

Die Antworten werden anhand der Bewertungskriterien der Aufgabe bewertet, welche Punkte für einzelne Kriterien vergeben. Je nach Aufgabe beurteilen diese Kriterien das Fazit, die numerischen Ergebnisse, die unterstützende Begründung oder die Erkenntnis, dass die Beweislage unzureichend ist.

Ergebnisse

Wir haben sieben Modelle auf BioBasicsBench evaluiert: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna und GPT‑6 Astra. Die Evaluation umfasst 37 Modell- und Reasoning-Effort-Einstellungen, mit jeweils fünf Versuchen pro Einstellung auf jeder der 100 Aufgaben, insgesamt also 18,500 Ergebnisse.

Wir berichten über die mittlere Belohnung: die durchschnittliche Aufgabenpunktzahl, ausgedrückt als Prozentsatz der verfügbaren Punkte. Die Fehlerbalken zeigen 95%-Konfidenzintervalle, berechnet durch Resampling ganzer Aufgaben, wobei die fünf Versuche pro Aufgabe zusammengehalten wurden.

GPT‑6 Astra verbessert sich erheblich gegenüber GPT‑5.6 Sol, selbst bei geringem Reasoning-Effort. Diese Gewinne deuten darauf hin, dass stärkere native multimodale Fähigkeiten der Schlüssel zur Verbesserung der Leistung bei alltäglicher Wet-Lab- Analyse sein könnten.

Leistung bei xhigh Reasoning-Effort

Xhigh ist die höchste Reasoning-Effort-Einstellung, die für alle sieben Modelle berichtet wird. Jede Zeile umfasst alle 100 Aufgaben und fünf Versuche pro Aufgabe. Max-Effort-Ergebnisse, wo verfügbar, sind in der obigen Grafik enthalten.

Verbesserungen von GPT‑6 Astra gegenüber GPT‑5.6 Sol

Erkennen, was die Daten zeigen können und was nicht

Eine häufige Falle in der Wissenschaft ist die Überinterpretation der Daten, insbesondere angesichts der Art der Verzerrung (Bias), die beim Testen einer Hypothese auftritt. Astra zeigte eine bessere Fähigkeit, die Grenze dessen zu erkennen, was die Daten zeigen, und keine unbegründeten Schlüsse zu ziehen.

In diesem Beispiel stufte GPT‑5.6 Sol Zellen als tot ein, basierend auf dem Signal eines Farbstoffs, der zum Nachweis toter Zellen verwendet wird. Der Detektor konnte jedoch auch Licht von einem zweiten Farbstoff aufnehmen, sodass die Helligkeit allein diesen Schluss nicht rechtfertigen konnte. Astra erkannte diese Mehrdeutigkeit und forderte bessere Kontrollen, um die Signale zu trennen.

Dieselben Zellen, drei Detektionskanäle

Brightfield · Durchlicht

Kanal 2 · SYTOX-markiert · 470–540 nm

Kanal 3 · FUN-1 grün · 525–580 nm

Bessere Verarbeitung multimodaler Daten

Wissenschaftliche Forschung ist hochgradig multimodal und erfordert ständige visuelle Interpretation und Entscheidungsfindung. Astra zeigte eine deutliche Verbesserung bei der Verarbeitung multimodaler Daten, die in Form von Fotos und Videos sowie Rohausgaben aus Sequenzierung, Plate-Reader-Assays, Mikroskopie und Durchflusszytometrie vorlagen.

Auf der grundlegendsten Ebene war diese Verbesserung daran erkennbar, dass GPT‑6 Astra feinere Details aus während der Experimente aufgenommenen Bildern erfassen und dadurch genauere Schlussfolgerungen ziehen konnte, wie in diesem Beispiel gezeigt. In dieser Aufgabe sollten Agenten Schlussfolgerungen aus einem DNA-Klonierungsexperiment ziehen, bei dem Kontrollen unerlässlich sind. GPT‑5.6 Sol sah keine Kolonien auf der Negativkontrollplatte und stützte seine Schlussfolgerungen auf diese Beobachtung. GPT‑6 Astra bemerkte, dass die Platte mit dem falschen Antibiotikum beschriftet war, und lehnte sie zu Recht als zuverlässige Kontrolle ab.

Experimentellen Kontext im Blick behalten

Wissenschaftler müssen beim Analysieren von Daten implizites biologisches Wissen und den experimentellen Kontext im Blick behalten, um korrekt zu interpretieren, was die Daten zeigen. Astra demonstrierte eine verbesserte Fähigkeit, diesen Kontext beizubehalten und während der gesamten Analyse anzuwenden.

Eine Aufgabe zeigte Zellen, die in einer Reihe von Mikroskopbildern in den Fokus kommen und aus ihm verschwinden. Während GPT‑5.6 Sol nach einer biologischen Erklärung für das scheinbare Verschwinden der Zellen suchte, erkannte GPT‑6 Astra korrekt einen Z-Stack: eine Reihe von Bildern, die in verschiedenen Tiefen aufgenommen wurden.

Veränderliche Sichtbarkeit über eine Tiefenscan

Wo Modelle noch versagen

Höhere Benchmark-Ergebnisse bedeuten noch nicht, dass Modelle im Labor zuverlässige Urteile fällen können. Diese Astra-Beispiele zeigen, wie Annahmen, erwartete Antworten und bereitgestellte Beschriftungen die Beweise überschreiben können und wie eine korrekte Zwischenbeobachtung die endgültige Entscheidung verfehlen kann.

Eine Annahme die Kontrollen überschreiben lassen

Astra lässt eine vertraute Annahme die Interpretation überwiegen, die von den experimentellen Kontrollen gestützt wird. Es kann die beiden Gruppen von Koloniebanden unterscheiden, nimmt aber an, dass ein größeres PCR-Produkt erfolgreiche Klonierung identifizieren würde. Unter dieser Bedingung schlägt es die Spuren 4, 6, 7 und 8vor; der Kontrollvergleich der Referenz wählt stattdessen die Spuren 5, 9 und 10.

Auslesen der Kontrollen

1. Spur 3 enthält nur die PCR des Originalplasmids. Ihre Bande liefert die Referenzposition des alten Plasmids.

2. In der Referenzinterpretation enthält Spur 2 beide Muster: eine unvollständige Assemblierung lässt alte Template/Backbone-Sequenzen neben dem neuen Produkt zurück.

3. Die entstandenen Kolonien können entweder das alte oder das neue Plasmid tragen. Vergleichen Sie ihre Banden mit diesen Referenzmustern.

Referenzauswahl: 5, 9 und 10

Astras Auswahl: 4, 6, 7 und 8. Astra nominiert diese Gruppe mit der Begründung, dass das größere PCR-Produkt das beabsichtigte Konstrukt darstellt.

Die visuelle Gruppierung ist korrekt, aber die den Gruppen zugeordneten experimentellen Identitäten sind im Vergleich zur Referenz vertauscht. Astra wählt daher die falschen Kolonien aus den Kolonie-PCR-Ergebnissen aus, was zur nachgelagerten Aufreinigung des falschen Plasmids führen würde.

Daten, die der bevorzugten Interpretation widersprechen, außer Acht lassen

Astra lässt Beobachtungen außer Acht, die ihrer bevorzugten Interpretation widersprechen. Sie kommt zu dem Schluss, dass Vakuolen – Kompartimente innerhalb von Zellen – im Allgemeinen dunkler sind als die umgebende Zelle, obwohl einige im selben Bild heller erscheinen. Beide Erscheinungen sind wichtig: Eine Änderung des Fokus des Mikroskops kann den Kontrast umkehren, daher begründen die dunkleren Beispiele keine allgemeine Regel.

Was diese Antwort vermisst

Einige Zellen zeigen einen entgegengesetzten Kontrast. Beide Erscheinungen treten auf, weil unterschiedliche Fokustiefen den Kontrast umkehren können.

Astra untersucht mehrere Regionen und kommentiert sogar, dass der Kontrast mit dem Fokus variiert. Anschließend gewichtet sie die Zellen, die sie als besser fokussiert bezeichnet, stärker und übernimmt in die endgültige Antwort nur deren Beschreibung der dunkleren Vakuolen. Die widersprüchlichen helleren Regionen wurden zwar betrachtet, fließen aber nicht in die Schlussfolgerung ein.

Fehlzählung von Kolonien bei einer Routine-Labor messung

Astras Zählmarkierungen entsprechen nicht zuverlässig einzelnen Kolonien: Sie kann nahe beieinanderliegende Nachbarn nicht auflösen, übersieht sichtbare Kolonien und markiert leeren Agar. Das Nettoergebnis auf dieser Platte ist eine Überzählung von approximately 12% relativ zur Benchmark-Referenz.

A. Eng beieinanderliegende Kolonien

B. Sichtbare, nicht markierte Kolonien

C. Leerer Agar als Kolonie gezählt

Eine ungenaue Koloniezählung wirkt sich unmittelbar auf Schätzungen aus, wie effizient DNA in Zellen eingebracht wurde. Bei festgelegtem plattiertem Volumen und fester Verdünnung erhöht eine Überzählung diese Schätzung um denselben Anteil.

Auf dem Weg zu verlässiger Laborunterstützung

Die Beschleunigung biologischer Forschung erfordert, die alltägliche Arbeit richtig zu machen. BioBasicsBench macht diese Arbeit zum Ziel für Verbesserungen: die Interpretation roher experimenteller Daten, die Prüfung von Kontrollen und die Erkennung, wann eine Schlussfolgerung nicht gestützt wird. Fortschritte bei diesen Aufgaben könnten Wissenschaftlern helfen, weniger Zeit mit Fehlersuche zu verbringen und mehr Zeit damit, zu entscheiden, welche Experimente sie als Nächstes verfolgen. Die Verfolgung dieser Fähigkeiten wird uns auch helfen, ihre Auswirkungen auf Biosicherheit und Biosecurity zu verstehen.