قياس كيفية تعامل وكلاء الذكاء الاصطناعي مع علم المختبر الرطب اليومي

مهمتنا هي ضمان أن يفيد الذكاء الاصطناعي العام كل البشر. و作为 part of that mission، نريد مساعدة العلماء على تسريع الأبحاث البيولوجية—من فهم الأمراض إلى تطوير علاجات جديدة. ولكي يساهم وكلاء الذكاء الاصطناعي، فهم بحاجة إلى تفسير الأدلة التجريبية التي يعمل بها العلماء يوميًا في المختبرات الرطبة، حيث يجرون تجارب على عينات بيولوجية بشكل موثوق. يتضمن العمل اليومي في المختبر الرطب تجارب فاشلة وصورًا غامضة وملاحظات متضاربة. المعايير الحالية مبنية حول رسوم بيانية وصور مُنتقاة للأوراق العلمية وقد تفوّت هذا الغموض وحلّ المشكلات الذي يتطلبه. لهذا السبب نقدم BioBasicsBench، معيار جديد طُوّر مع شركة Ligo، وهي شركة تكنولوجيا حيوية متخصصة في تصميم الإنزيمات، لقياس مدى قدرة الوكلاء على التعامل مع تحليلات المختبر الرطب الروتينية.

تختبر مهام المعيار الـ 100 ما إذا كان الوكلاء قادرين على تفسير البيانات التجريبية الخام، وتحديد الأخطاء، والتعرف على متى لا يمكن للأدلة أن تدعم استنتاجًا ما. يُعد الحصول على هذه المهام بشكل صحيح أمرًا مهمًا لأن سوء قراءة صورة أو إغفال مشكلة في الضوابط المستخدمة للتحقق من نتائج التجربة قد يدفع العلماء إلى استنتاج خاطئ وإضاعة الوقت في تجارب لن تساعد في الإجابة عن سؤالهم.

عند الإعداد 'xhigh'، الذي يسمح بمزيد من الاستدلال لكل مهمة، حقق GPT‑6 Astra متوسط 66.7% من الرصيد المتاح، مقارنة بـ 43.8% لـ GPT‑5.6 Sol. تُظهر النتائج تقدمًا في تحليلات المختبر الروتينية، مع مجال لمزيد من التحسينات في تفسير الصور، وفحص الضوابط، وتطبيق السياق التجريبي.

داخل BioBasicsBench

يستخدم BioBasicsBench أدلة تجريبية خام، من صور الجيلات وأطباق المستعمرات إلى المجاهر ومخرجات الأجهزة.

يتضمن BioBasicsBench 100 مهمة تغطي خمسة مجالات من العمل الروتيني في المختبر الرطب: طرق البروتينات، والتصوير وقياس الخلايا، والتحديد الكمي والفحوصات، وطرق الأحماض النووية، والاستنساخ الجزيئي. تتراوح المهام بين طلبات بسيطة، مثل قراءة الوزن الجزيئي لعينة DNA في جيل، وتحليل فحوصات مفصّل، لكنها جميعًا تنطوي على عمل روتيني ينبغي أن يكون علماء المختبر الرطب قادرين على إنجازه بشكل موثوق.

أنشأ العلماء المهام باستخدام بيانات من تجاربهم الخاصة، مع ربط كل سؤال بمعايير تقييم كتبها خبراء. خضعت كل مهمة لمراجعة داخلية من عالم في Ligo لم يكتبها، ومراجعة خارجية من عالم بمستوى دكتوراه يعمل في مختبر رطب، ومراجعة داخلية نهائية.

يعيد الوكلاء إجابة مُهيكلة تتضمن الاستنتاج أو القياس أو التوصية المطلوبة، وعند اللزوم، الاستدلال الداعم. تُمنح الإجابات درجات مقابل معايير سلم التقييم الفردية، مما يتيح للمعيار التمييز بين استنتاج صحيح وتحليل صحيح جزئيًا. تختبر معظم المهام عدة مهارات معًا، بما في ذلك المعرفة البيولوجية، وتفسير الصور والبيانات الأخرى، واكتشاف الأخطاء، وفهم البروتوكولات.

تحافظ المدخلات على أشكال الأدلة التي يعمل بها العلماء: صور الجيلات والبقع، وصور الأطباق، وأطواف المجهر، وقراءات التسلسل، ومخرجات قارئ الأطباق، ومقاطع فيديو من العمل على الطاولة. يمكن للمهمة أن تتضمن عدة أنواع من البيانات. تدعم أوراق المرجع، مثل مخططات السلّم الجزيئي وخرائط البلازميد، تفسير الأدلة التجريبية.

ما يُعطى للوكيل

عدد المهام التي تتضمن كل نوع من البيانات. الفئات متداخلة؛ وأوراق المرجع هي مواد داعمة.

كتب العلماء المهام باستخدام بيانات من تجاربهم الخاصة، وربطوا الأدلة التجريبية بسؤال ومعيار تقييم مكتوب من خبير. مرّت كل مهمة بمراجعة داخلية من عالم في Ligo لم يكتبها، ومراجعة خارجية من عالم على مستوى الدكتوراه يعمل في مختبر رطب، ثم مراجعة داخلية نهائية. تحقق المراجعون من التوجيه والأدلة التجريبية ومعيار التقييم وملاحظات المؤلف ومحاولة نموذجية مصنفة.

يتم تقييم الإجابات وفقًا لمعيار تقييم المهمة، الذي يخصص النقاط لمعايير فردية. بحسب المهمة، تقيم هذه المعايير الاستنتاج أو النتائج العددية أو الاستدلال الداعم أو الإدراك بأن الأدلة غير كافية.

النتائج

قيّمنا سبعة نماذج على BioBasicsBench: GPT‑5.2 وGPT‑5.4 وGPT‑5.5 وGPT‑5.6 Sol وGPT‑6.1 Sol وGPT‑6 Luna وGPT‑6 Astra. يغطي التقييم 37 إعدادًا من إعدادات النموذج وجهد الاستدلال، مع خمس محاولات على كل من المهام الـ100 لكل إعداد، بإجمالي 18,500 نتيجة.

نعرض متوسط المكافأة: متوسط درجة المهمة، معبرًا عنه كنسبة مئوية من النقاط المتاحة. تُظهر أشرطة الخطأ فترات ثقة 95% محسوبة بإعادة أخذ عينات من المهام كاملةً، مع إبقاء المحاولات الخمس لكل مهمة مجتمعة.

يُحسّن GPT‑6 Astra بشكل كبير أداء GPT‑5.6 Sol، حتى عند جهد استدلال منخفض. تشير هذه المكاسب إلى أن قد تكون القدرات متعددة الوسائط الأصلية الأقوى مفتاحًا لتحسين الأداء في التحليلات الروتينية للمختبر الرطب.

الأداء عند جهد استدلال xhigh

يُعد xhigh أعلى إعداد لجهد الاستدلال مُبلّغًا عنه لجميع النماذج السبعة. يتضمن كل صف جميع المهام الـ100 وخمس محاولات لكل مهمة. نتائج الجهد الأقصى، حيثما تتوفر، مضمّنة في الرسم البياني أعلاه.

تحسينات GPT‑6 Astra مقارنة بـ GPT‑5.6 Sol

إدراك ما يمكن للبيانات أن تُظهره وما لا يمكنها إظهاره

من الفخاخ الشائعة في العلم المبالغة في تفسير البيانات، خاصة بالنظر إلى طبيعة التحيز الذي يحدث عند اختبار فرضية. أظهرت أسترا قدرة أفضل على تمييز حدود ما تُظهره البيانات وعدم استخلاص استنتاجات غير مبررة.

في هذا المثال، صنّف GPT‑5.6 Sol الخلايا كميتة بناءً على إشارة صبغة تُستخدم للكشف عن الخلايا الميتة. لكن يمكن للمكتشف أيضًا التقاط الضوء من صبغة ثانية، لذا كان سطوع الإشارة وحده لا يكفي لتبرير هذا الاستنتاج. أدركت أسترا هذا الغموض وطالبت بعناصر تحكم أفضل لفصل الإشارات.

الخلايا نفسها، ثلاث قنوات كشف

مجال ساطع · ضوء نافذ

القناة 2 · موسومة بـ SYTOX · 470–540 nm

القناة 3 · أخضر FUN-1 · 525–580 nm

معالجة أفضل للوسائط المتعددة

البحث العلمي متعدد الوسائط بدرجة عالية، ويتطلب تفسيرًا بصريًا واتخاذ قرارات بشكل مستمر. أظهر Astra تحسنًا كبيرًا في معالجة البيانات متعددة الوسائط التي كانت تُقدَّم في شكل صور وفيديوهات، بالإضافة إلى مخرجات خام من التسلسل وتجارب لوحات القارئ والمجهر المبْكر وقياس التدفق الخلوي.

على المستوى الأساسي، كان هذا التحسن ملحوظًا من خلال قدرة GPT‑6 Astra على التقاط تفاصيل أدق من الصور الملتقطة أثناء التجارب، ومن ثمّ استخلاص استنتاجات أكثر دقة كما هو موضح في هذا المثال. طلبت هذه المهمة من الوكلاء استخلاص استنتاجات من تجربة استنساخ للحمض النووي، حيث تُعد الضوابط الأساسية ضرورية. لم يرَ GPT‑5.6 Sol أي مستعمرات على صفيحة الضابط السالب وبنى استنتاجاته على تلك الملاحظة. لاحظ GPT‑6 Astra أن الصفيحة كانت موسومة بمضاد حيوي خاطئ ورفضها بشكل صحيح كضابط موثوق.

الحفاظ على سياق التجربة في الاعتبار

يجب أن يكون العلماء قادرين على الاحتفاظ بالمعرفة البيولوجية الضمنية وسياق التجربة في أذهانهم أثناء تحليل البيانات من أجل تفسير ما تُظهره بشكل صحيح. أثبت Astra قدرة محسّنة على الحفاظ على هذا السياق وتطبيقه على طول تحليله.

أظهرت إحدى المهام خلايا تدخل في نطاق التركيز وتخرج منه في سلسلة من صور المجهر. بينما بحث GPT‑5.6 Sol عن تفسير بيولوجي للاختفاء الظاهري للخلايا، تعرّف GPT‑6 Astra بشكل صحيح على z-stack: سلسلة من الصور الملتقطة على أعماق مختلفة.

تغيّر الظهور عبر مسح عمقي

أين لا تزال النماذج متقصرة

الدرجات الأعلى في المقاييس المرجعية لا تعني بعد أن تستطيع النماذج إصدار أحكام موثوقة في المختبر. تُظهر هذه الأمثلة من Astra كيف يمكن للافتراضات والإجابات المتوقعة والتسميات المقدَّمة أن تتغلب على الأدلة، وكيف يمكن لملاحظة وسيطة صحيحة أن تفشل في توجيه القرار النهائي.

السماح لافتراض بالتغلب على الضوابط

يتيح Astra لافتراض مألوف أن يتغلب على التفسير الذي تدعمه ضوابط التجربة. يمكنه التمييز بين المجموعتين من أشرطة المستعمرات، لكنه يفترض أن ناتج PCR أكبر سيحدد نجاح الاستنساخ. بناءً على ذلك الشرط يقترح المسارات 4 و6 و7 و8؛ في حين تختار مقارنة الضوابط في المرجع المسارات 5 و9 و10.

قراءة عينات الضبط

1. يحتوي المسار 3 على تفاعل PCR للبلازميد الأصلي فقط، ويوفر نطاقُه موضعَ المرجع للبلازميد القديم.

2. في التفسير المرجعي، يحتوي المسار 2 على كلا النمطين: التجميع غير المكتمل يترك القالب/العمود الفقري القديم بجانب الناتج الجديد.

3. يمكن أن تحمل المستعمرات الناتجة بلازميدًا قديمًا أو جديدًا. قارن نطاقاتها بهذه الأنماط المرجعية.

اختيار المرجع: 5 و9 و10

اختيار أسترا: 4 و6 و7 و8. تسمي أسترا هذه المجموعة مقترحةً أن ناتج PCR الأكبر يمثل البنية المقصودة.

التجميع البصري صحيح، لكن الهويات التجريبية المرتبطة بتلك المجموعات معكوسة مقارنةً بالمرجع. لذلك تختار أسترا المستعمرات الخاطئة من نتائج colony PCR، مما سيؤدي إلى تنقية البلازميد الخاطئ في المراحل اللاحقة.

تجاهل البيانات التي تتعارض مع التفسير المفضل لها

أسترا تتجاهل الملاحظات التي تتعارض مع تفسيرها المفضل. تستنتج أن الفجوات، وهي مقصورات داخل الخلايا، تكون عمومًا أغمق من الخلية المحيطة، على الرغم من أن بعضها يبدو أفتح في الصورة نفسها. كلا المظهرين مهم: تغيير بؤرة المجهر يمكن أن يعكس التباين، لذا فإن الأمثلة الأغمق لا تثبت قاعدة عامة.

ما تفوّته تلك الإجابة

بعض الخلايا لها تباين معاكس. يحدث كلا المظهرين لأن أعماق بؤرية مختلفة يمكن أن تعكس التباين.

تفحص أسترا عدة مناطق وتعلق حتى على أن التباين يتغير مع البؤرة. ثم تمنح وزنًا أكبر للخلايا التي تعدّها أفضل تركيزًا وتحتفظ فقط بوصفها للفجوات الأغمق في الإجابة النهائية. المناطق الأفتح المتناقضة قد فُحصت لكنها لا تؤخذ في الاعتبار في الاستنتاج.

خطأ في عد المستعمرات في قياس مخبري روتيني

علامات العد الخاصة بأسترا لا تقابل المستعمرات الفردية بشكل موثوق: فهي تفشل في تمييز الجيران المتقاربين، وتفوتها مستعمرات مرئية، وتضع علامات على أجار فارغ. النتيجة الصافية على هذه الصفحة هي عدّ زائد بنسبة تقارب 12% مقارنةً بالمرجع المعياري.

أ. مستعمرات متقاربة التباعد

ب. مستعمرات مرئية لم توضع عليها علامات

ج. أجار فارغ عُدّ كمستعمرة

عدّ المستعمرات غير الدقيق يؤثر مباشرة على تقديرات كفاءة إدخال الحمض النووي DNA إلى الخلايا. مع ثبات الحجم المزروع ونسبة التخفيف، يؤدي العدّ الزائد إلى تضخيم ذلك التقدير بالنسبة نفسها.

بناء المساعدة المخبرية الموثوقة

تسريع البحث البيولوجي يتطلب إتقان العمل اليومي. يجعل BioBasicsBench ذلك العمل هدفًا للتحسين: تفسير البيانات التجريبية الخام، والتحقق من الضوابط، وإدراك متى لا يدعم التفسيرُ استنتاجًا. التقدم في هذه المهام قد يساعد العلماء على قضاء وقت أقل في استكشاف الأخطاء وإصلاحها ووقت أكبر في تحديد التجارب التي ينبغي متابعتها بعد ذلك. وتتبع هذه القدرات سيساعدنا أيضًا على فهم آثارها على السلامة والأمن البيولوجيين.