Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Como parte de esa misión, queremos ayudar a los científicos a acelerar la investigación biológica, desde la comprensión de enfermedades hasta el desarrollo de nuevos tratamientos. Para que los agentes de IA puedan contribuir, necesitan interpretar de manera fiable la evidencia experimental con la que los científicos trabajan a diario en laboratorios húmedos, donde realizan experimentos con muestras biológicas. El trabajo cotidiano de laboratorio húmedo implica experimentos fallidos, imágenes ambiguas y observaciones contradictorias. Los benchmarks existentes se construyen en torno a gráficos e imágenes seleccionados para artículos científicos y pueden pasar por alto esta ambigüedad y la resolución de problemas que requiere. Por eso presentamos BioBasicsBench, un nuevo benchmark desarrollado con Ligo, una empresa de biotecnología enfocada en el diseño de enzimas, para medir qué tan bien manejan los agentes el análisis rutinario de laboratorio húmedo.
Las 100 tareas del benchmark prueban si los agentes pueden interpretar datos experimentales en bruto, identificar errores y reconocer cuándo la evidencia no puede respaldar una conclusión. Acertar en estas tareas importa porque malinterpretar una imagen o pasar por alto un problema con los controles utilizados para verificar los resultados de un experimento puede llevar a los científicos a sacar conclusiones erróneas y dedicar tiempo a experimentos que no ayudarán a responder su pregunta.
En la configuración «xhigh», que permite más razonamiento por tarea, GPT‑6 Astra obtuvo un promedio de 66.7% del crédito disponible, en comparación con 43.8% para GPT‑5.6 Sol. Los resultados muestran avances en el análisis rutinario de laboratorio, con margen para mejoras adicionales en la interpretación de imágenes, la verificación de controles y la aplicación del contexto experimental.
Dentro de BioBasicsBench
BioBasicsBench utiliza evidencia experimental en bruto, desde imágenes de geles y placas de colonias hasta microscopía y lecturas de instrumentos.
BioBasicsBench tiene 100 tareas en cinco áreas del trabajo rutinario de laboratorio húmedo: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. Las tareas van desde solicitudes simples, como leer el peso molecular de una muestra de ADN en un gel, hasta análisis de ensayos detallados, pero todas implican trabajo rutinario que los científicos de laboratorio húmedo deberían poder completar de manera fiable.
Los científicos crearon las tareas utilizando datos de sus propios experimentos, emparejando cada pregunta con criterios de calificación escritos por expertos. Cada tarea pasó por una revisión interna de un científico de Ligo que no la había escrito, una revisión externa de un científico de nivel de doctorado que trabaja en un laboratorio húmedo y una revisión interna final.
Los agentes devuelven una respuesta estructurada con la conclusión, medición o recomendación solicitada y, cuando se requiere, el razonamiento de apoyo. Las respuestas reciben crédito según criterios individuales de la rúbrica, lo que permite al benchmark distinguir una conclusión correcta de un análisis parcialmente correcto. La mayoría de las tareas prueban varias habilidades a la vez, incluyendo conocimiento biológico, interpretación de imágenes y otros datos, detección de errores y comprensión de protocolos.
«Tareas únicas» cuenta cada tarea una sola vez. Las columnas de habilidades cuentan las tareas con cada etiqueta de habilidad. Estas categorías se superponen: una tarea puede aparecer en varias columnas, por lo que los conteos de habilidades no deben sumarse para obtener un total de tareas. El color identifica el dominio; un sombreado más intenso indica una mayor proporción de las tareas de ese dominio que evalúan una habilidad.
Las entradas preservan las formas de evidencia con las que trabajan los científicos: imágenes de geles y blots, fotografías de placas, pilas de microscopía, lecturas de secuenciación, exportaciones de lector de placas y videos de trabajo de banco. Una tarea puede incluir varios tipos de datos. Hojas de referencia, como gráficos de escalera y mapas de plásmidos, apoyan la interpretación de la evidencia experimental.
Qué se le entrega al agente
Tipo de datos | Tareas | Qué incluye |
|---|---|---|
Geles & blots | 31 | Geles de ADN en agarosa, geles SDS-PAGE, Western blots |
Protocolos, notas & especificaciones | 27 | Protocolos y SOPs, cuadernos de laboratorio y registros de corrida, notas manuscritas fotografiadas, catálogos, especificaciones de instrumentos, métodos publicados |
Tablas & exportaciones de instrumentos | 20 | Exportaciones en CSV y Excel, diseños de carriles e inventarios, archivos en bruto de citometría de flujo (FCS) |
Fotos de banco, aparatos & reactivos | 18 | Bancos, cámaras de geles, tubos de reactivos y cultivos, una placa de PCR, soportes de tubos, tiras de pH, un concentrador, un congelador, una cubierta de manejador de líquidos |
Microscopía | 14 | Imágenes en bruto de campo claro y fluorescencia, conjuntos multicanal, pilas z, películas de lapso de tiempo |
Pantallas & gráficos de instrumentos | 13 | Fotos de pantallas de citómetro de flujo, microscopio, NanoDrop, lector de placas y balanza; curvas estándar, cromatogramas y gráficos exportados |
Archivos de secuenciación | 12 | FASTQs en bruto de lecturas largas, secuencias FASTA, mapas de GenBank |
Videos de protocolos | 7 | Rayado, inoculación, dilución seriada, montaje del tanque SDS-PAGE y del incubador, pesada en una balanza |
Placas de agar y colonias | 7 | Placas de transformación, pantallas azul/blanco, placas con discos de antibióticos |
Hojas de referencia | 21 | Tablas de escaleras, mapas de plásmidos, tablas de pH (material de apoyo) |
Número de tareas que incluyen cada tipo de datos. Las categorías se solapan; las hojas de referencia son material de apoyo.
Los científicos redactaron las tareas utilizando datos de sus propios experimentos, emparejando la evidencia experimental con una pregunta y una rúbrica de calificación escrita por un experto. Cada tarea pasó por una revisión interna de un científico de Ligo que no la había escrito, una revisión externa de un científico con nivel de doctorado que trabaja en un laboratorio húmedo y una revisión interna final. Los revisores comprobaron el prompt, la evidencia experimental, la rúbrica, las notas del autor y un intento de modelo calificado.
Las respuestas se puntúan según la rúbrica de la tarea, que asigna crédito a criterios individuales. Según la tarea, estos criterios evalúan la conclusión, los resultados numéricos, el razonamiento de apoyo o el reconocimiento de que la evidencia es insuficiente.
Resultados
Evaluamos siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación cubre 37 configuraciones de modelo y esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, para un total de 18,500 resultados.
Informamos recompensa media: la puntuación media de la tarea, expresada como porcentaje del crédito disponible. Las barras de error muestran intervalos de confianza del 95% calculados remuestreando tareas completas, manteniendo juntos los cinco intentos de cada tarea.
Recompensa media frente a tokens de salida promedio por tarea, mostrada en escala logarítmica. Cada punto representa una configuración de esfuerzo de razonamiento probada; las líneas conectan dichas configuraciones en orden. El eje x se duplica en cada marca. Las líneas naranjas discontinuas muestran los modelos GPT‑5, y las líneas azules continuas muestran los modelos GPT‑6. Las líneas finas muestran intervalos de confianza bootstrap del 95% por tarea completa. Cada configuración incluye las 100 tareas y cinco intentos por tarea. Las configuraciones de esfuerzo difieren entre modelos.
GPT‑6 Astra mejora sustancialmente respecto a GPT‑5.6 Sol, incluso con bajo esfuerzo de razonamiento. Estas ganancias sugieren que unas capacidades multimodales nativas más potentes podrían ser clave para mejorar el rendimiento en análisis de laboratorio húmedo cotidianos .
Rendimiento con esfuerzo de razonamiento xhigh
Modelo | Recompensa media | IC del 95% | Tokens de salida / tarea |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh es la configuración de esfuerzo de razonamiento más alta reportada para los siete modelos. Cada fila incluye las 100 tareas y cinco intentos por tarea. Los resultados de esfuerzo máximo, cuando están disponibles, se incluyen en el gráfico anterior.
Mejoras de GPT‑6 Astra respecto a GPT‑5.6 Sol
Reconocer lo que los datos pueden y no pueden mostrar
Una trampa común en la ciencia es la sobreinterpretación de los datos, especialmente dada la naturaleza del sesgo que ocurre al probar una hipótesis. Astra demostró una mejor capacidad para discernir el límite de lo que muestran los datos y no sacar conclusiones injustificadas.
En este ejemplo, GPT‑5.6 Sol clasificó células como muertas basándose en la señal de un colorante usado para detectar células muertas. Pero el detector también podía captar luz de un segundo colorante, por lo que el brillo por sí solo no podía justificar esa conclusión. Astra reconoció esta ambigüedad y pidió mejores controles para separar las señales.
Las mismas células, tres canales de detección
Campo brillante · luz transmitida
Canal 2 · marcado con SYTOX · 470–540 nm
Canal 3 · FUN-1 verde · 525–580 nm
Las mismas regiones celulares en tres canales; las ventanas de detección se solapan entre 525–540 nm. La ventana compartida permite interferencias; su magnitud no ha sido medida. Cada canal se muestra con una escala lineal de intensidad independiente, fijada en ambas regiones; el brillo no puede compararse cuantitativamente entre canales.
Mejor manejo multimodal
La investigación científica es altamente multimodal y requiere una interpretación visual constante y la toma de decisiones. Astra mostró una mejora significativa en el manejo de datos multimodales, proporcionados en forma de fotos y vídeos, así como salidas crudas de secuenciación, ensayos en lector de placas, microscopía y citometría de flujo.
En el nivel más básico, esta mejora se notó en la capacidad de GPT‑6 Astra para captar detalles más finos de las imágenes tomadas durante los experimentos y, por tanto, extraer conclusiones más precisas, como se muestra en este ejemplo. Esta tarea pedía a los agentes extraer conclusiones de un experimento de clonación de ADN, donde los controles son esenciales. GPT‑5.6 Sol no vio colonias en la placa de control negativo y basó sus conclusiones en esa observación. GPT‑6 Astra notó que la placa estaba etiquetada con el antibiótico equivocado y la rechazó correctamente como un control fiable.
Fotografía original
La etiqueta en el borde
La fotografía original del benchmark, con la etiqueta del borde rodeada y ampliada. «LB Kan50» identifica kanamicina, un antibiótico diferente de la ampicilina utilizada en el experimento.
Mantener el contexto experimental en mente
Los científicos deben poder tener en mente conocimientos biológicos tácitos y el contexto experimental mientras analizan datos para interpretar correctamente lo que muestran. Astra demostró una capacidad mejorada para mantener este contexto y aplicarlo a lo largo de su análisis.
Una tarea mostraba células enfocándose y desenfocándose en una serie de imágenes de microscopio. Mientras GPT‑5.6 Sol buscaba una explicación biológica para la aparente desaparición de las células, GPT‑6 Astra reconoció correctamente un z-stack: una serie de imágenes tomadas a diferentes profundidades.
Visibilidad cambiante en un barrido de profundidad
0 s
3 s
6 s
9 s
12 s
15 s
Seis fotogramas de la grabación original. Los cuadros discontinuos marcan la misma ubicación que los barridos del microscopio a través de la profundidad. Los tiempos se refieren a la posición de reproducción en el vídeo suministrado.
Dónde los modelos siguen fallando
Puntuaciones más altas en benchmarks aún no significan que los modelos puedan hacer juicios fiables en el laboratorio. Estos ejemplos de Astra muestran cómo las suposiciones, las respuestas esperadas y las etiquetas suministradas pueden prevalecer sobre la evidencia, y cómo una observación intermedia correcta puede no guiar la decisión final.
Dejar que una suposición prevalezca sobre los controles
Astra permite que una suposición familiar prevalezca sobre la interpretación respaldada por los controles experimentales. Puede distinguir los dos grupos de bandas de colonias, pero asume que un producto de PCR más grande identificaría una clonación exitosa. Bajo esa condición propone los carriles 4, 6, 7 y 8; la comparación de controles de la referencia selecciona en cambio los carriles 5, 9 y 10.
La referencia selecciona las colonias 5, 9 y 10; Astra propone 4, 6, 7 y 8.
1: marcador · 2: mezcla de clonación · 3: plásmido original · 4–10: muestras de colonias
Lectura de los controles
El carril 3 contiene solo la PCR del plásmido original. Su banda proporciona la posición de referencia del plásmido antiguo.
En la interpretación de referencia, el carril 2 contiene ambos patrones: un ensamblado incompleto deja plantilla/esqueleto antiguo junto al producto nuevo.
Las colonias resultantes pueden llevar el plásmido antiguo o el nuevo. Compare sus bandas con estos patrones de referencia.
Selección de referencia: 5, 9 y 10
Selección de Astra: 4, 6, 7 y 8. Astra nominates this group suggesting the larger PCR product represents the intended construct.
La agrupación visual es correcta, pero las identidades experimentales asignadas a esos grupos están invertidas con respecto a la referencia. Por lo tanto, Astra selecciona las colonias equivocadas a partir de los resultados de la PCR de colonias, lo que daría lugar a la purificación posterior del plásmido incorrecto.
Ignoring data that contradict its preferred interpretation
Astra descarta las observaciones que contradicen su interpretación preferida. Concluye que las vacuolas, compartimentos dentro de las células, son generalmente más oscuras que la célula circundante, aunque algunas aparecen más claras en la misma imagen. Ambas apariencias son importantes: cambiar el enfoque del microscopio puede invertir el contraste, por lo que los ejemplos más oscuros no establecen una regla general.
Darker appearance
Lighter appearance
La generalización de Astra sobre vacuolas más oscuras omite las vacuolas más claras visibles en el mismo campo.
What that answer misses
Algunas células tienen un contraste opuesto. Ambas apariencias se producen porque diferentes profundidades de enfoque pueden invertir el contraste.
Astra examina varias regiones e incluso comenta que el contraste varía con el enfoque. Luego otorga mayor peso a las células que considera mejor enfocadas y conserva solo su descripción de vacuolas más oscuras en la respuesta final. Las regiones más claras, que contradicen esa idea, fueron examinadas pero no se tienen en cuenta en la conclusión.
Miscounting colonies in a routine laboratory measurement
Las marcas de conteo de Astra no corresponden de manera fiable a colonias individuales: no logra resolver vecinos cercanos, omite colonias visibles y marca agar vacío. El resultado neto en esta placa es un sobreconteo de aproximadamente 12% con respecto a la referencia de referencia.
A. Closely spaced colonies
Original image
Astra’s counting marks
B. Visible colonies left unmarked
Original image
Astra’s counting marks
C. Empty agar counted as a colony
Original image
Astra’s counting marks
A: una marca de conteo entre colonias vecinas. B: dos colonias visibles sin marcar. C: agar vacío contado como una colonia. Los círculos rojos indican las posiciones de conteo de Astra. Las flechas negras son guías editoriales.
Un recuento inexacto de colonias afecta directamente las estimaciones de la eficiencia con la que se introdujo ADN en las células. Con el volumen sembrado y la dilución mantenidos fijos, un sobreconteo infla esa estimación en la misma proporción.
Building toward reliable lab assistance
Acelerar la investigación biológica requiere hacer bien el trabajo cotidiano. BioBasicsBench convierte ese trabajo en un objetivo de mejora: interpretar datos experimentales en bruto, verificar los controles y reconocer cuándo una conclusión no está respaldada. Los avances en estas tareas podrían ayudar a los científicos a pasar menos tiempo resolviendo problemas y más tiempo decidiendo qué experimentos pursuing a continuación. El seguimiento de estas capacidades también nos ayudará a comprender sus implicaciones para la bioseguridad y la biocustodia.