قياس كيفية تعامل وكلاء الذكاء الاصطناعي مع العلوم المعملية الرطبة اليومية

مهمتنا هي ضمان أن يستفيد الذكاء الاصطناعي العام كل البشرية. وكجزء من تلك المهمة، نريد مساعدة العلماء على تسريع البحث البيولوجي — من فهم الأمراض إلى تطوير علاجات جديدة. ولكي يساهم وكلاء الذكاء الاصطناعي، يجب أن يكونوا قادرين على تفسير الأدلة التجريبية التي يعمل معها العلماء يوميًا في المختبرات الرطبة، حيث يجرون تجارب على عينات بيولوجية بشكل موثوق. إن العمل المعلمي الرطب اليومي يتضمن تجارب فاشلة وصورًا غامضة وملاحظات متضاربة. المعايير الحالية مبنية على رسوم بيانية وصور مختارة للأوراق العلمية، وقد تغيب عن هذا الغموض وحل المشكلات الذي يتطلبه. ولهذا السبب نقدم BioBasicsBench، وهو معيار جديد طُوّر بالتعاون مع Ligo، وهي شركة تكنولوجيا حيوية متخصصة في تصميم الإنزيمات، لقياس مدى قدرة الوكلاء على التعامل مع التحليل المعلمي الروتيني.

تختبر المهمات الـ 100 في المعيار ما إذا كان بإمكان الوكلاء تفسير البيانات التجريبية الخام، وتحديد الأخطاء، والتعرف على الحالات التي لا تستطيع فيها الأدلة دعم استنتاج ما. إن الإنجاز الصحيح لهذه المهام مهم لأن سوء قراءة صورة أو إغفال مشكلة في الضوابط المستخدمة للتحقق من نتائج تجربة يمكن أن يدفع العلماء إلى استنتاج خاطئ وإضاعة الوقت في تجارب لن تساعد في الإجابة عن سؤالهم.

عند الإعداد 'xhigh'، الذي يسمح بمزيد من الاستدلال لكل مهمة، حقق GPT‑6 Astra متوسط 66.7% من الرصيد المتاح، مقارنة بـ 43.8% لـ GPT‑5.6 Sol. تُظهر النتائج تقدمًا في التحليل المعلمي الروتيني، مع مجال لمزيد من التحسينات في تفسير الصور، والتحقق من الضوابط، وتطبيق السياق التجريبي.

داخل BioBasicsBench

يستخدم BioBasicsBench أدلة تجريبية خام، من صور الهلاميات وأطباق المستعمرات إلى المجهر ومخرجات الأجهزة.

يحتوي BioBasicsBench على 100 مهمة عبر خمسة مجالات من العمل المعلمي الرطب الروتيني: طرق البروتينات، والتصوير وقياس الخلايا، والقياس والمقايسات، وطرق الأحماض النووية، والاستنساخ الجزيئي. تتراوح المهام من طلبات بسيطة، مثل قراءة الوزن الجزيئي لعينة DNA في هلام، إلى تحليل مفصل للمقايسات، لكنها جميعًا تنطوي على عمل روتيني ينبغي أن يكون العلماء العاملون في المختبرات الرطبة قادرين على إنجازه بشكل موثوق.

أنشأ العلماء المهام باستخدام بيانات من تجاربهم الخاصة، مع إقران كل سؤال بمعايير تقييم كتبها خبراء. خضعت كل مهمة لمراجعة داخلية من عالم في Ligo لم يكتبها، ومراجعة خارجية من عالم بمستوى دكتوراه يعمل في مختبر رطب، ومراجعة داخلية نهائية.

يعيد الوكلاء إجابة منظمة تتضمن الاستنتاج أو القياس أو التوصية المطلوبة، وحيثما يلزم، الاستدلال الداعم. وتُمنح الإجابات نقاطًا مقابل معايير سقوط rubric فردية، مما يتيح للمعيار التمييز بين استنتاج صحيح وتحليل صحيح جزئيًا. معظم المهام تختبر عدة مهارات معًا، بما في ذلك المعرفة البيولوجية، وتفسير الصور والبيانات الأخرى، واكتشاف الأخطاء، وفهم البروتوكولات.

تحفظ المدخلات الأشكال التي يعمل بها العلماء على الأدلة: صور الهلاميات والبقع، وصور الأطباق، ومكدسات المجهر الضوئي، وقراءات التسلسل، ومخرجات قارئ الأطباق، وفيديوهات العمل على المنضدة. يمكن للمهمة أن تتضمن عدة أنواع من البيانات. وتدعم أوراق المرجع، مثل مخططات السلم وخرائط البلازميد، تفسير الأدلة التجريبية.

ما يُعطى للوكيل

عدد المهام التي تتضمن كل نوع من البيانات. الفئات متداخلة؛ أوراق المرجع هي مواد داعمة.

كتب العلماء المهام باستخدام بيانات من تجاربهم الخاصة، مع اقتران الأدلة التجريبية بسؤال ومعيار تقييم مكتوب من خبير. مرّت كل مهمة بمراجعة داخلية من عالم في Ligo لم يكتبها، ومراجعة خارجية من عالم بمستوى دكتوراه يعمل في مختبر رطب، ومراجعة داخلية نهائية. تحقق المراجعون من المطالبة والأدلة التجريبية ومعيار التقييم وملاحظات المؤلف ومحاولة نموذجية مقيّمة.

تُقيَّم الإجابات وفقًا لمعيار التقييم الخاص بالمهمة، الذي يوزع الدرجة على معايير فردية. حسب المهمة، تقيم هذه المعايير الاستنتاج أو النتائج الرقمية أو التفسير الداعم أو الإدراك بأن الأدلة غير كافية.

النتائج

قيّمنا سبعة نماذج على BioBasicsBench: GPT‑5.2 وGPT‑5.4 وGPT‑5.5 وGPT‑5.6 Sol وGPT‑6.1 Sol وGPT‑6 Luna وGPT‑6 Astra. يغطي التقييم 37 إعدادًا للنموذج وجهد الاستدلال، مع خمس محاولات لكل مهمة من المهام الـ 100 في كل إعداد، بإجمالي 18,500 نتيجة.

نُبلغ عن متوسط المكافأة: متوسط درجة المهمة، معبَّرًا عنه كنسبة مئوية من الدرجة المتاحة. تعرض أشرطة الخطأ فواصل ثقة 95% محسوبة بإعادة أخذ عينات من المهام كاملة، مع إبقاء المحاولات الخمس لكل مهمة معًا.

يحقق GPT‑6 Astra تحسنًا كبيرًا مقارنة بـ GPT‑5.6 Sol، حتى عند جهد استدلال منخفض. تشير هذه المكاسب إلى أن القدرات متعددة الوسائط الأصلية الأقوى قد تكون مفتاحًا لتحسين الأداء في التحليلات اليومية للمختبرات الرطبة .

الأداء عند جهد استدلال xhigh

يُعد Xhigh أعلى إعداد لجهد الاستدلال مُبلغًا عنه لجميع النماذج السبعة. تشمل كل صف جميع المهام الـ 100 وخمس محاولات لكل مهمة. ونتائج الجهد الأقصى، حيثما كانت متاحة، مضمنة في الرسم البياني أعلاه.

تحسينات GPT‑6 Astra مقارنة بـ GPT‑5.6 Sol

الإدراك لما تستطيع البيانات إثباته وما لا تستطيع

من الفخاخ الشائعة في العلم الإفراط في تفسير البيانات، خاصة نظرًا لطبيعة التحيز الذي يحدث عند اختبار فرضية. أظهرت أسترا قدرة أفضل على تمييز حدود ما تُظهره البيانات وعدم استخلاص استنتاجات غير مبررة.

في هذا المثال، صنّف GPT‑5.6 Sol الخلايا كميتة بناءً على الإشارة الصادرة عن صبغة تُستخدم لكشف الخلايا الميتة. لكن كان بإمكان الكاشف أيضًا التقاط الضوء الصادر عن صبغة ثانية، لذا لا يمكن للسطوع وحده أن يبرر هذا الاستنتاج. أدركت أسترا هذا الغموض وطالبت بضوابط أفضل لفصل الإشارات.

الخلايا نفسها، ثلاث قنوات كشف

حقل مشرق · ضوء نافذ

القناة 2 · موسوم بـ SYTOX · 470–540 nm

القناة 3 · FUN-1 الأخضر · 525–580 nm

معالجة أفضل للبيانات متعددة الأنماط

البحث العلمي متعدد الأنماط بدرجة كبيرة، ويتطلب تفسيرًا بصريًا مستمرًا واتخاذ قرارات. أظهر Astra تحسنًا كبيرًا في التعامل مع البيانات متعددة الأنماط التي كانت تُقدَّم في صورة صور وفيديوهات، بالإضافة إلى المخرجات الأولية من التسلسل ومقايسات صفيحات القارئ والمجهر الم立 والتخلخلو الخلوي.

في المستوى الأساسي، كان هذا التحسن ملحوظًا من خلال قدرة GPT‑6 Astra على التقاط تفاصيل أدق من الصور الملتقطة أثناء التجارب، ومن ثم استخلاص استنتاجات أكثر دقة كما هو موضح في هذا المثال. طُلب من الوكلاء في هذه المهمة استخلاص الاستنتاجات من تجربة استنساخ للحمض النووي، حيث تكون الضوابط ضرورية. رأى GPT‑5.6 Sol عدم وجود مستعمرات على صفيحة الضابط السلبي وبنى استنتاجاته على تلك الملاحظة. لاحظ GPT‑6 Astra أن الصفيحة كانت موسومة بمضاد حيوي خاطئ، ورفضها بشكل صحيح كضابط موثوق.

الحفاظ على سياق التجربة في الاعتبار

يجب أن يكون العلماء قادرين على الاحتفاظ بالمعرفة البيولوجية الضمنية وسياق التجربة في أذهانهم أثناء تحليل البيانات من أجل تفسير ما تظهره بشكل صحيح. أظهر Astra قدرة محسّنة على الحفاظ على هذا السياق وتطبيقه على امتداد تحليله.

عرضت إحدى المهام خلايا تدخل في نطاق التركيز وتخرج منه في سلسلة من صور المجهر. بينما بحث GPT‑5.6 Sol عن تفسير بيولوجي لاختفاء الخلايا الظاهري، تعرف GPT‑6 Astra بشكل صحيح على z-stack: سلسلة من الصور الملتقطة على أعماق مختلفة.

تغيّر الوضوح عبر مسح العمق

أين لا تزال النماذج تتعثر

الدرجات الأعلى في المعايير لا تعني بعد أن تستطيع النماذج إصدار أحكام موثوقة في المختبر. تُظهر هذه الأمثلة من Astra كيف يمكن للافتراضات والإجابات المتوقعة والملصقات المقدمة أن تتغلب على الأدلة، وكيف يمكن لملاحظة وسيطة صحيحة أن تفشل في توجيه القرار النهائي.

السماح للافتراض بالتغلب على الضوابط

يسمح Astra لافتراض مألوف بالتغلب على التفسير الذي تدعمه ضوابط التجربة. يستطيع التمييز بين مجموعتي حزومات المستعمرات، لكنه يفترض أن ناتج PCR أكبر سيميز الاستنساخ الناجح. بناءً على هذا الشرط يقترح المسارات 4 و6 و7 و8؛ في حين تختار مقارنة الضوابط في المرجع المسارات 5 و9 و10.

قراءة الشواهد

1. يحتوي المسار 3 على تفاعل البلازميد الأصلي فقط. يوفر شريطته الموضع المرجعي للبلازميد القديم.

2. في التفسير المرجعي، يحتوي المسار 2 على النمطين معًا: التجمع غير المكتمل يترك القالب/العمود الفقري القديم إلى جانب الناتج الجديد.

3. يمكن أن تحمل المستعمرات الناتجة بلازميدًا قديمًا أو جديدًا. قارن شرائطها مع هذه الأنماط المرجعية.

اختيار المرجع: 5 و 9 و 10

اختيار Astra: 4 و6 و7 و8. ترشّح Astra هذه المجموعة باقتراح أن ناتج PCR الأكبر يمثّل البنية المقصودة.

التجميع البصري صحيح، لكن الهويات التجريبية المرتبطة بتلك المجموعات معكوسة مقارنةً بالمرجع. لذلك تختار Astra المستعمرات الخاطئة من نتائج colony PCR، الأمر الذي سيؤدي إلى تنقية البلازميد غير الصحيح في المراحل اللاحقة.

تجاهل البيانات التي تتعارض مع التفسير المفضّل لديها

تتجاهل Astra الملاحظات التي تتعارض مع التفسير المفضّل لديها. تستنتج أن الفجوات، وهي أجزاء داخل الخلايا، تكون عمومًا أغمق من الخلية المحيطة، رغم أن بعضها يبدو أفتح في الصورة نفسها. كلا المظهرين مهمان: تغيير بُعد تركيز المجهر يمكن أن يعكس التباين، لذا فإن الأمثلة الأغمق لا تُثبت قاعدة عامة.

ما تفوّته هذه الإجابة

بعض الخلايا لها تباين معاكس. يظهر كلا المظهرين لأن أعماق التركيز المختلفة يمكن أن تعكس التباين.

تفحص Astra عدة مناطق بل وتعلّق حتى على أن التباين يتغيّر مع التركيز. ثم تمنح وزنًا أكبر للخلايا التي تعدّها أفضل تركيزًا وتحتفظ في الإجابة النهائية بوصفها للفجوات الأغمق فقط. أما المناطق الأفتح المتناقضة فقد تم فحصها لكنها لا تُؤخذ في الحسبان في الاستنتاج.

خطأ في عدّ المستعمرات في قياس مخبري روتيني

علامات العد لدى Astra لا تقابل المستعمرات المفردة بشكل موثوق: فهي تفشل في تمييز الجيران المتقاربين، وتفوّت مستعمرات ظاهرة، وتضع علامات على أجار فارغ. النتيجة الصافية على هذه الصفيحة هي عدّ زائد بنسبة تقارب 12% مقارنةً بالمرجع المعياري.

A. مستعمرات متقاربة جدًا

B. مستعمرات ظاهرة لم توسم

C. أجار فارغ عُدّ مستعمرة

يؤثر العدّ غير الدقيق للمستعمرات مباشرةً على تقديرات كفاءة إدخال الحمض النووي DNA إلى الخلايا. مع ثبات الحجم المزروع ونسبة التخفيف، يرفع العدّ الزائد هذا التقدير بنفس النسبة.

البناء نحو مساعدة مخبرية موثوقة

تسريع البحث البيولوجي يتطلب إتقان العمل اليومي. يجعل BioBasicsBench هذا العمل هدفًا للتحسين: تفسير البيانات التجريبية الخام، والتحقق من ضوابط المقارنة، والتعرف على متى لا تكون إحدى النتائج مدعومة. التقدم في هذه المهام قد يساعد العلماء على قضاء وقت أقل في معالجة الأعطال ووقت أكبر في تحديد التجارب التي ينبغي متابعتها لاحقًا. كما أن تتبّع هذه القدرات سيساعدنا على فهم ما تنطوي عليه من تبعات للسلامة والأمن البيولوجيين.