يقيس اختبار جديد يسمى TasteVal مدى كفاءة أنظمة الذكاء الاصطناعي في تصميم التجارب بنفسها وتفسير النتائج. تظهر النتائج منحنى تحسين حاد بشكل غير عادي.
وفقًا لجاك كلارك، أحد مؤسسي شركة أنثروبيك، قد تضاعفت هذه القدرة تقريبًا مضاعفة كل ثلاثة أشهر منذ ديسمبر 2025. يسمي مختبر الأبحاث P-Zero Research ذلك "ذوق البحث"، أي القدرة على اختيار التجارب المناسبة واستخلاص الاستنتاجات الصحيحة منها. النموذج الأفضل الذي تم اختباره تفوق مجموعة من 24 خبيرًا بشرية في نفس الجودة، وبتكلفة أقل بكثير.
أسس كلاك شركة أنتропيك، ويكتب نشرة Import AI. استنادًا إلى الأرقام، يعتقد الآن أن التحسين الذاتي المتكرر (RSI)، حيث تطور نظامو الذكاء الاصطناعي خصوصيهم، قد يصبح ممكنًا بحلول عام 2027. كان يتوقع ذلك من قبل في عام 2028.
لا يثبت هذا المقياس أن نظامي الذكاء الاصطناعي قد تحسنت بالفعل، لأنه يلتقط فقط جزءًا ضيقًا من العمل العلمي. لكنه يُظهر الاتجاه الذي يتجه إليه النقاش، بعيدًا عن أداء النماذج الخام وصوب سؤال عن مدى العمل البحثي المستقل الذي يمكن لنماذج اللغة القيام به فعليًا.
TasteVal يقيس فقط جزءًا من الصورة
تعرّف شركة P-Zero Research أن ذوق البحث يكمن في ثلاث قدرات: تحديد الأسئلة البحثية التي تستحق الدراسة، تصميم التجارب للإجابة عليها، وتفسير النتائج بشكل صحيح. تقوم TasteVal باختبار الاثنين الأخيرين فقط. يُعتبر اختيار الاتجاه البحثي الأكثر إثارة للأمل جوهر الحدس العلمي، لكن في TasteVal يتم اتخاذ هذا القرار بالفعل بالنسبة للنموذج.
كل من المهام الثمانية تحدد هدفًا بحثيًا ثابتًا من تطوير نماذج الذكاء الاصطناعي، مع نقاط قابلة للقياس. تشمل المهام مجالات مثل اختيار بيانات التدريب، والتدريب المسبق وتعديل نماذج اللغة بدقة، التدريب على تفضيلات البشر، والدفاع ضد الطلبات المعادية.
يحدد النموذج التجربة التي يجب تنفيذها بعد ذلك، ويستخدم نتائجها لتوجيه الخطوة التالية. لمنع تأثير مهارات البرمجة على النتائج، يقوم عامل برمجة ثابت بتنفيذ جميع التجارب على جهاز GPU Nvidia H100 الواحد. ينتهي كل تنفيذ بعد 40 ساعة من حساب الجرافيك أو 120 ساعة من الوقت الفعلي.
تم اختيار الأساس البشري من خلال 24 خبيرًا عملوا مؤخرًا في مواقع مثل OpenAI، Google DeepMind، Nvidia، وMicrosoft Research. حلوا نفس المهام، مع وجود على الأقل شخصين لكل مهمة. وكان أفضل جهد بشري لكل مهمة هو المعيار المستخدم.
دراسة ذوق المذاق من خلال كفاءة الحاسوب
لجعل البحث قابلاً للقياس، يقوم برنامج P-Zero Research بتحويله إلى كفاءة حسابية. والسبب هو أن عمليات الحساب في أبحاث الذكاء الاصطناعي نادرة، لذا فإن اختيار التجارب المناسبة وقراءة نتائجها بشكل صحيح يعني عددًا أقل من التكرارات والإنجازات أكثر على نفس الميزانية.
تستند التجربة على “نموذج الذكاء الاصطناعي المستقبلي”، الذي يتوقع أن يصبح الحساب البحثي عائقًا كبيرًا عندما يصبح البرمجة آلية. لذلك، يقيس TasteVal كمية الحساب التي يحتاجه النموذج لتطابق تقييمات الخبراء. النموذج الذي يحقق ذلك بنصف الحساب المطلوب يحمل ضعف الذوق البحثي وفقًا هذا التعريف. تسمي P-Zero Research هذا النسبة “مضاعف الحساب”.
النموذج الأعلى، Opus 5.5 من Anthropic، وصل إلى مضاعف حسابي قدره 2.3، وحقق نتائج على مستوى الخبراء باستخدام أقل من نصف الجهد المطلوب. بينما يتراوح النطاق الإحصائي بين 1.15 و4.37. في الطرف الأدنى، كان النموذج لا يتفوق إلا قليلاً. تكلفة تنفيذ التجربة الواحدة تقريبًا ثلث عشر من تكلفة محاولة الخبير في المتوسط.
على مدار عدة أجيال من النماذج، تضاعف مضاعف الحساب تقريبًا كل ثلاثة أشهر منذ ديسمبر 2025. كما أن عدم اليقين كبير أيضًا، حيث يتراوح الوقت المذكور لتضاعفه بين 1.7 و5.0 شهر.
في السنوات السابقة، كانت دراسة النماذج تتطور ببطء شديد. لكن المنحنى أصبح أكثر انحدارًا حول نقطة الانتقال بين عامي 2025 و2026. لا يمكن تحديد ما إذا كان هذا اتجاهًا دائمًا من خلال مقياس واحد فقط، واعترف الباحثون أن نتائجهم قد تبالغ في تقدير “سرعة تحسن ذوق البحث”. يمكن اختبار المهام بسرعة وبتكلفة منخفضة، وهو النوع من المهام الذي يجدها مختبرات الذكاء الاصطناعي أسهل في تحسينها. ولم يشمل الفريق المقارن أي باحثين من الطراز العالي.
قام كلارك بتمديد خطه الزمني إلى الأمام
لطالما وصف كلاك الإبداع كعامل رئيسي في سرعة تحسين أنظمة الذكاء الاصطناعي. في وقت سابق من هذا العام، كتب أن النماذج لم تُظهر هذه القدرة على أي مستوى مبتكر. والآن يشير إلى التقدم في الاختراقات الرياضية والمعايير مثل TasteVal كدلات على أن الوضع يتغير.
في مقال طويل في مايو، قدم كلارك أرقامًا أكثر حذرًا. ووضح أن احتمالات نجاح نظام يعمل بشكل مستقل على تدريب خليفة أقوى فيه تصل إلى حوالي 60 بالمائة بحلول نهاية عام 2028، و30 بالمائة بحلول عام 2027. هذه التوقعات تأتي من شخص أسس الشركة التي يُعتبر نموذجها الأفضل على المعايير، مما يضفي طبقة إضافية من التحيز على التنبؤ.
رأى النقاد عائقًا في هذا القدرة بالضبط
تأثير "TasteVal" مهم لأنه يقيس القدرة الدقيقة التي أشار إليها المتشككون كعائق أمام اختراق كبير في الذكاء الاصطناعي. قادم الذكاء الاصطناعي هربي برادلي عارض مقال كلارك الصيفي، مشيرًا إلى أنه بينما يمكن للنماذج أن تتخذ على محمل الجد مهام الباحثين الأصغر سن، إلا أن المهارات المتطلبة مثل الذوق البحثي، الإبداع، وتخطيط البحث المستمر المتماسك لم تظهر في أي مكان.
عندما يتعلق الأمر بتخطيط وتقييم التجارب، فإن TasteVal يعارض ذلك التقييم، على الرغم من أنها لا تقول شيئًا حول اختيار جدول أعمال بحث طويل الأمد.
يظهر مدى الفجوة العملية بين الطرفين في الدراسة التي أجراها فريق من جامعة فودان حول تطوير الذكاء الاصطناعي باستخدام وكالات الذكاء الاصطناعي. قام الباحثون بتحليل تطوير نماذجهم الخاصة ووجدوا أن وكالات الذكاء الاصطناعي ساهمت بنسبة تصل إلى 55 بالمائة من مقترحات المنهجية، بينما اتخذ البشر أكثر من 85 بالمائة من القرارات النهائية. وأشار المؤلفون إلى أن من غير الواضح كيف يمكن للذكاء الاصطناعي توليد اتجاهات بحثية متنوعة وتقييم قيمتها قبل ظهور النتائج، وهذا بالضبط هو نوع القرارات التي تقوم بها TasteVal.
تتغير المناقشة
وصل المعيار المطلوب في منتصف نقاش بدأته معاهد الذكاء الاصطناعي الرئيسية بنفسها. في يونيو، كتبت شركة Anthropic أن التحسين الذاتي المتكرر لم يتحقق بعد، لكن “قد يحدث قبل أن تكون معظم المؤسسات مستعدة له”، ويطالب المدير التنفيذي لشركة Anthropic، داريو أمودي، بمعالجة لإبطاء تطوير الذكاء الاصطناعي بشكل مُتحكم، بينما تعترف شركة OpenAI بأن الذكاء الاصطناعي المستقل بالكامل لم يحدث بعد، وتقول إنه يجب متابعة ذلك فقط إذا تم ضمان الإشراف البشري.
تغيّر تطبيق TasteVal ما يُعتبر تقدمًا. لفترة طويلة، كان التركيز على مدى قدرة النماذج على حل المهام المحددة مثل المسائل الرياضية أو تحديات البرمجة، ولكن الآن يزداد الاهتمام بما إذا كانت النماذج قادرة على اتخاذ القرارات التي تدفع البحث قدمًا.
إذا استمر الاتجاه الذي قاسه P-Zero Research في الاختبارات الأخرى، فإن الآثار ستكون متباينة. سيتسارع تطوير الذكاء الاصطناعي وسيصبح أقل تكلفة، لكن في الوقت نفسه، سيصبح جزء متزايد من الأبحاث أكثر صعوبة على البشر التحقق منه، لأن النماذج ستخطط وتقيّم تجاربها الخاصة.