لدى وكالات الذكاء الاصطناعي ذوق سيء في القرارات طويلة المدى، ويثبت معيار جديد ذلك

لدى وكالات الذكاء الاصطناعي ذوق سيء في القرارات طويلة المدى، ويثبت معيار جديد ذلك

بنى الباحثون من مايكروسوفت وجامعة مدينة هونغ كونغ طريقة لاختبار مدى جودة قرارات العملاء الآليين أثناء المهام الطويلة. أفضل النموذج لم يتجاوز 60 بالمئة.

تتولى وكالات الذكاء الاصطناعي الآن مهام متعددة الخطوات. قد تقوم بكتابة ورقة بحثية أو بناء مشروع برمجي. في الطريق، تقرر باستمرار أي فرضية يجب اختبارها، أي كود يجب بناؤه، أو تجربة يجب تنفيذها بعد ذلك. نادرًا ما تظهر آثار هذه الاختيارات مباشرة. القرار السيء عادةً يبدو سليمًا في البداية، ويتضح التكلفة الحقيقية لاحقًا عندما ينفد معظم الميزانية.

يطلق مؤلفو الورقة العلمية على القدرة على اتخاذ هذه الخيارات بشكل جيد “الذوق” للعميل. أما المعايير الحالية فتقيس فقط ما إذا استطاع العميل إنهاء المهمة، وليس جودة خطواته خلال العملية. تم تصميم معيار Taste-Bench لملء هذا الفجوة.

لا يمكن تقييم القرارات طويلة المدى في اللحظة

لا يمكن الحكم على اختيار طويل الأمد فورًا. قد يولد التنفيذ النظيف والتنفيذ الخشن نفس النتائج في البداية، وقد يمر بنفس الاختبارات. النهج النظيف لا يؤدي إلى الفائدة إلا عندما تتم التغييرات لاحقًا بسهولة أكبر. التقييم البشري سيكون مكلفًا، يحتاج إلى خبرة عميقة في المجال، ولا يمكنه التوسع.

لذلك يعتمد الباحثون على الانطباعات اللاحقة. المسار الذي يتبعه العميل بعد ذلك، والسجل المسجل لخطوته وملاحظاته، يُظهر ما إذا كانت الخيار السابق فعالًا أم لا. في الممارسة العملية، تحاول أنظمة العميل تنفيذ نفس المهمة عدة مرات. وفي النهاية، تنقسم هذه المحاولات إلى اتجاهات مختلفة.

لأن النتيجة النهائية لكل محاولة تكشف عن الطريق الأفضل، فإن العمليات نفسها توفر مقارنة مُعلَّمة. يسمي المؤلفون نقطة الانقسام هذه "انقسام القرار". لتقييم الذوق، يتجمدون عند نقطة الانقسام، ويخفون كل العمل اللاحق، ويصنعون نموذجًا يختار بين الطريقين.

تكشف الأخطاء السابقة عن أماكن الخطأ التي يرتكبها العملاء

يحتوي Taste-Bench على 502 سؤالًا، كل منها يحتوي على المهمة الأصلية، والمسار حتى النقطة التي يحدث فيها الانقسام، بالإضافة إلى اتجاهين محتملين. النوع الأول يأتي من محاولتين مستقلتين لنفس المهمة تختلفان عن بعضهما البعض، حيث لا يرى العميل المسار الخاطئ أبدًا.

النوع الثاني يأتي من العميل الذي يقوم بتصحيح نفسه خلال جولة واحدة ويسلك طريقًا بديلًا. في هذه الحالة، تشكل الاتجاه الذي تم تجاهله في البداية والاتجاه الناجح لاحقًا المرشحين الثنائي. هذه النوعية من الاختبار تفحص ما إذا كان النموذج يمكنه اكتشاف الخطأ قبل العميل الفعال.

البيانات الخام جاءت من آلاف التجارب التي تم تقييمها على مهام البحث في مجال البرمجة والذكاء الاصطناعي، وتشمل برنامج SWE-bench Pro وإصدار METR's public transcript MALT. نموذج التوليد قام بتصفية النسخ المناسبة، بإزالة الأسئلة البسيطة ذات الإجابات الواضحة، والتخلص من الحالات التي لا يمكن حلها. وقد أكد الاستعراض البشري تقريبًا جميع التعليقات المولدة تلقائيًا.

حتى العارضات الأكثر شهرة بالكاد تفوز بقسطة عملة

اختبر الفريق 14 نموذجًا حاليًا من عائلات Claude وGPT وGrok وDeepSeek وGLM وMiniMax وMistral. تم طرح كل سؤال مرتين، مرة بالترتيب العادي ومرة مع تبديل الخيارات. لا يُحتسب السؤال إلا إذا أجاب النموذج عليه بشكل صحيح في كلا المرتين. النتائج المفتوحة تحصل عليها 25 بالمئة من الوقت.

أفضل النموذج الذي تم اختباره، GPT-5.6 Sol، حقق متوسط 59.7%، وخلفه عن كثب GPT-5.5 بنسبة 59.5%. جميع النماذج الأخرى حققت نتائج أدنى من ذلك. لم يصل أي منها إلى تحقيق النتيجة المطلوبة، رغم أن كل سؤال يتضمن اختيارًا ثنائيًا فقط. كانت الطرق الجانبية أكثر صعوبة بشكل مستمر مقارنة بالطرق المتوازية.

تنهار النماذج عندما تظهر الأدلة لاحقًا

للجميع فروع، فحص الفريق مدى ما يجب أن ينظر إليه المراقب قبل أن يصبح المسار الأفضل واضحًا. عندما يكون الدليل الرئيسي مرئيًا بالفعل في الخطوات السابقة، تصل الدقة المتوسطة لجميع النماذج إلى 62.3 بالمئة. وعندما يظهر ذلك الدليل بعد عمل مكثف لاحقًا، تنخفض الدقة إلى 21 بالمئة، تقريبًا مثل التخمين العشوائي. الإجابة على هذه الأسئلة تعني التنبؤ بالعمل المستقبلي.

لم يساعد التفكير الأطول. كرر الباحثون الاختبار مع ثلاثة إعدادات للتفكير لعاملتين. لم يغيّر التحول من الإعداد الأدنى إلى الأعلى الدقة تقريبًا. استخدمت العمليات الأكثر تفكيرًا في المستوى الصعب، وفكرت لفترة أطول في الأسئلة التي كانت تفشل فيها بشكل متكرر. يعتبر الفريق هذا علامة على أن الدليل المطلوب لا يوجد بعد في تلك النسخ.

كلما تأخرت الأدلة الحاسمة في المسار، كانت أداء النماذج أسوأ، ولا يتغير ذلك بغض النظر عن ميزانية التفكير. | الصورة: Pan وآخرون. يقول المؤلفون إن الاختبار المرجعي يعكس مهارة مختلفة عن الاختبارات الكلاسيكية للنهاية إلى النهاية مثل SWE-bench Verified. النماذج التي تحصل على نتائج مماثلة تظهر فجوات واضحة في Taste-Bench.

يمكن تدريب حاسة التذوق في النهاية

أظهر الباحثون أيضًا أن الذوق يمكن تعليمه. قاموا بتحويل تقييم نموذج المعلم، الذي يعرف الطريق الصحيح، إلى نموذج الطالب الذي يرى فقط السؤال. استخدموا Qwen3.6-27B كأساس. في المهام التي لم تُروَ، ارتفع دقة الطالب من 30 إلى 47.9 بالمئة.

لقد أثمر ذلك التحسين عمليًا. أضاف الفريق حكم الطالب كنصيحة في سياق المهمة في كل نقطة تفرق، وسمح لعامل منفصل بحل المشكلة. على 41 مهمة من مهمات SWE-bench Pro التي تم الاحتفاظ بها، ارتفع معدل النجاح من 14.6 إلى 33.7 بالمئة. لو كانت النصيحة صحيحة تمامًا، لكان المعدل 39 بالمئة، لذا استطاع الطالب الاستفادة من معظم الفوائد الممكنة.

خلص الفريق إلى أن قرارات عملاء التخطيط طويل الأمد يمكن قياسها وتحسينها. متطلبات الاختبار والكود متاحان علنًا، وهما تطلب الاختبار والكود.

تعمل الوكالات الذكية الآن بمفردها لفترات طويلة. في اختبار MirrorCode، تم تشغيل أحد النماذج لمدة 19 يومًا في مهمة واحدة دون مساعدة بشرية. عادةً، تفحص الاختبارات القياسية فقط ما إذا كانت النتائج صحيحة في النهاية. وقد أظهر METR بالفعل أن SWE-bench Verified يبالغ بشكل كبير في تقدير أداء الوكالات البرمجية. رفض المحترفون العديد من الحلول بسبب أخطاء أساسية، حتى عندما كانت الاختبارات الآلية ناجحة. النموذج الأفضل في Taste-Bench، GPT-5.6 Sol، أيضًا سجل أعلى معدل للغش في اختبارات البرمجيات على الإطلاق في تقييمات METR.

أخبار الذكاء الاصطناعي بدون الضجيج – من اختيار البشر

اشترك في THE DECODER للقراءة بدون إعلانات، ونشرة أخبار الذكاء الاصطناعي الأسبوعية، وتقرير "AI Radar" الحصري الست مرات في السنة، ووصول كامل إلى الأرشيف، والوصول إلى قسم التعليقات.

اقرأ المزيد للحصول على الصورة الكاملة.
اشترك لتلقي تغطية بدون إثارة.

• الوصول الكامل لكل المقالات على THE DECODER
• بدون إعلانات
• انضم إلى التعليقات والمناقشات المجتمعية
• تلخيص أخبار الذكاء الاصطناعي الأسبوعي عبر البريد
• 6 مرات في السنة: “الرادار الذكي” — دراسات عميقة حول المواضيع المتعلقة بالذكاء الاصطناعي التي تهمنا أكثر
• أخبار الذكاء الاصطناعي اليومية، دائمًا محدثة
• أرشيفنا الكامل لمدة عشر سنوات
• مُغطى من قبل فريق يعمل في مجال الذكاء الاصطناعي لأكثر من 10 سنوات