راهنت مختبرات الذكاء الاصطناعي على سمعتها في مقارنة نماذج المعايير — وهو نظام التقييمات المفترض أنه محايد ودقيق والمصمم لقياس ما إذا كان أحد منتجات الذكاء الاصطناعي أفضل من آخر.
لكنّ الأساليب الكامنة وراء هذه التقييمات معقّدة وما زالت في طور النضج، كما قالت إيرين سليمان، المسؤولة الأولى للسياسات في Hugging Face، خلال نقاش في TechCrunch Disrupt الأسبوع الماضي. ويتعين أن تتحول الاختبارات إلى علم أكثر اتساقاً إذا أرادت الصناعة الاعتماد عليها في المستقبل.
وعليه، هل يمكننا الوثوق بالاختبارات الحالية التي يتم إصدارها؟
قالت سليمان: "الثقة مصطلح بالغ الأهمية". وأضافت: "فيما يتعلق بإمكانية الوثوق بالنتائج، فإنّ جزءاً كبيراً من ذلك هو: هل يمكنك إعادة إنتاج نتائج تقييمٍ ما؟ وهل تملك مستوى الوصول الذي تحتاجه إلى النموذج نفسه — وهنا يأتي دور الأوزان المفتوحة بشكل كبير".
ظلت إعادة الإنتاج في تقييمات النماذج منذ زمن بعيد أحد الجوانب العالقة في المقارنة المعيارية — ولا تزال موضوعاً لنقاش كبير في الصناعة.
وإلى جانب صحة أي اختبار فردي، ثمة سؤال إضافي حول كيفية مقارنة ذلك الاختبار بتقييمات أخرى.
قالت سليمان: "إنها علم متطور — لم نعرف بعد كيف نقارنها ببعضها بشكل ذي معنى".
وأضافت: "إنها تصبح غير فعّالة نسبياً بسرعة، وليس لدينا منظومة مزدهرة بالقدر الذي نحتاجه". "هناك هذا الرغبة الآن في منظومة مقيّمين مضمّنين، لكنّ المؤهلات التي تحدد من هو المقيّم الفعّال عبر أي المهام تحتاج إلى توحيد معايير أوسع بكثير".
فكرة المقيّمين المضمّنين — وهي وضع مراقبين من طرف ثالث "محايدين" مفترض داخل مؤسسات الذكاء الاصطناعي — انتشرت خلال الأشهر القليلة الماضية، فيما تتعامل مختبرات الذكاء الاصطناعي مع سلسلة من حوادث السلامة أثارت مخاوف بشأن الأضرار المحتملة لتقنياتها. وقد كانت Hugging Face على نحو شهير هدفاً لواحدة من تلك الحوادث.
وبدلاً من التنظيم الحكومي الفعّال لتحديد مخاوف سلامة النماذج والتخفيف منها، دفعت المختبرات نحو حل الطرف الثالث. ومع ذلك، ما تزال الشكوك قائمة حول مدى حياد تلك المقيّمات أو فاعليتها فعلاً. وقد أثار قرار Anthropic بتوظيف Accenture كمقيّم أول قدراً كبيراً من الانتقادات، حيث سخر بعض النقاد من فكرة أن شركة الاستشارات مؤهلة للمهمة المطروحة.
تتحول التقييمات الآن من مجرد اختبار للنموذج نفسه إلى اختبار للنظام بأكمله المحيط بالنموذج — بما في ذلك الهيكل (harness) والوكيل. إنّ الهيكل — أي الأداة التي يستخدمها المستخدم للوصول إلى النموذج — تحديداً، له علاقة كبيرة بأداء النموذج، وقد يشرف نموذج أضعف ذات هيكل أفضل بسهولة على نموذج رائد، كما أوضحت سليمان.
قالت سليمان: "تقييمات الوكلاء صعبة جداً ومكلفة جداً". "لدينا فقط مزيد من التقييمات للنماذج. ... ولا نمتلك قدراً كافياً من التقييمات للأتشرة (harnesses)، ونحن نطوّر تقييمات أفضل للوكيل الشامل — لأن هذا ما يستخرج منه كثيرون القيمة"، أضافت.
بعبارة أخرى: مجال التقييمات هو في الوقت الحالي نوع من الفوضى العامة، وإذا كان من المفترض أن تظل المقارنة المعيارية تُرى كأداة مفيدة لقادة الصناعة، فقد يكون من الضروري اتباع نهج أكثر توحيداً وعلى مستوى الصناعة كلها — يتفق فيه الجميع على وجهة واحدة.