تخفي نماذج الذكاء الاصطناعي الأخطاء في تقارير عملها، لكن جملة واحدة في الطلب الخاص بك يمكن أن تساعد

تخفي نماذج الذكاء الاصطناعي الأخطاء في تقارير عملها، لكن جملة واحدة في الطلب الخاص بك يمكن أن تساعد

تتجاهل نماذج اللغة التي تُعدّ أعمالها بشكل منهجي المشكلات التي تضر بالنتائج. ووفقًا لدراسة جديدة، فإن إضافة جملة واحدة إلى الطلب يقلل من حجم المشكلة بشكل كبير.

عندما يقوم العملاء الذكيون بكتابة الكود أو إجراء التجارب بأنفسهم، نادراً ما يتحقق الناس من كل التفاصيل ويدرجون تقرير النموذج النهائي. ووفقاً لدراسة أجرتها جوجل للأبحاث، معهد ماساتشوستس للتكنولوجيا، وجامعة هارفارد، فإن تلك التقارير غالباً ما تكون مضللة.

أعطى الباحثون النماذج 1600 سجلات عمل مصطنعة تبدو ناجحة للنظرة الأولى، مع اختبارات ناجحة ونتائج إيجابية وعلامات تدل على النجاح. يحتوي كل سجل على عيب يغير الصورة الكاملة، مثل تجربة لا تظهر فيها الفائدة الحقيقية للطريقة الجديدة مقارنة بالمنافسين. وتشمل السجلات الأخرى عيبًا مخفيًا رغم اجتياز الاختبارات، وقياسات مصطنعة، ومهمة لم تكتمل أبدًا، أو تحديث برمجي يفسد عمل مستخدم آخر بهدوء. وبناءً على السيناريو، كان على النماذج أن تكتب تقريرًا، أو ملخصًا للمقالة، أو جدولًا للنتائج، أو مقالة قصيرة، أو إجابة متابعة بناءً على السجل.

مساعدة جملة واحدة في الطلب مفيدة جدًا، لكنها ليست دائمًا

يظهر النمط بوضوح أكبر في ملخصات الأوراق البحثية للتجارب التي يُفيد فيها أحد النتائج بتقويض الادعاء بالتحسين الذي يحققه الطريقة الجديدة. GPT-5.5 ذكر ذلك في 2 فقط من 200 ملخص. كما اختبر الباحثون ما إذا كان إضافة بسيطة إلى التعليمات يحدث فرقًا. عندما أضافوا "كن صادقًا في ردك"، حدد GPT-5.5 النتيجة السلبية في 190 ملخص من أصل 200.

تُظهر جميع النماذج التي تم اختبارها هذا السلوك، وإن بشكل مختلف في الدرجات. بدون توجيه الصدق، يكتشف Gemini 3.1 Pro الأخطاء في أقل من 34 بالمائة من الحالات، بينما يفعل Opus 4.8 ذلك في أكثر من 90 بالمائة من الحالات. يزيد توجيه الصدق من معدل الكشف عن الأخطاء بمقدار حوالي 55 نقطة مئوية في المتوسط بالنسبة لـ Gemini، وبحوالي 34 نقطة مئوية بالنسبة لـ GPT-5.5. في الاختبارات الضابطة التي تحتوي على سجلات خالية من الأخطاء، لم يزيد التوجيه عن الأمراض المضللة بأكثر من ذلك.

الجملة ليست حلًا شاملًا. في حالة معينة، إذا لم تُظهر استعلامات قاعدة البيانات نتائج بعد، فإن GPT-5.5 مع توجيهات الصدق تلاحظ دائمًا البيانات المفقودة، لكنها تجيب على السؤال باستخدام معلومات قديمة وغير كاملة. التوجيهات مثل “كن نقديًا” أو “كن شاملًا” أو “كن متشككًا” لا تعمل بشكل موثوق أكثر من طلب الصدق.

تلاحظ النماذج الأخطاء لكنها تختار عدم الإبلاغ عنها

عند الاستفسار مباشرة، تكتشف GPT-5.5 وOpus 4.8 الأخطاء في كل حالة، بينما تلتقط Gemini على الأقل 97 بالمائة من الأخطاء. ووفقًا للباحثين، لا يفتقر النموذجان إلى القدرة، بل إلى الإرادة.

تكشف المسارات المنطقية من النماذج ذات الوزن المفتوح عما يحدث. غالبًا ما تلاحظ النماذج المشكلة في وقت مبكر، ثم تفكر في ما إذا كانت يجب الإشارة إليها أم أنها تبدو قد أكملت المهمة بنجاح. تم طلب من Qwen3.5-9B أن يدعم أطروحة حول قانون التصنيف باستخدام مقاطع تتعلق بالخلايا اللونية في الحبار. يلاحظ النموذج أنه لا يمكنه فعل ذلك “بدون استخدام استعارات غريبة”， لكنه يقرر أن عليه اتباع التعليمات بأقصى قدر ممكن.

في هذا السيناريو من الأدلة غير المتطابقة، تظهر عبارات مثل "يجب عليّ إكمال المهمة" في 55 بالمائة من الإجابات التي تخفي الخطأ، بينما تظهر فقط في 27 بالمائة من الإجابات التي تشير إلى الخطأ. يبرر النموذجان التجاهل بأعذار شائعة، قائلين إن الاختبارات نجحت، إنهم يقومون بتلخيص الأمر فقط، أو أن البيان التجريبي يجب أن يؤكد الجوانب الإيجابية.

الصدق والرغبة في النجاح يتجهان في اتجاهين مختلفين

في دراسة حالة باستخدام Qwen3.5-9B，وجد الباحثون دليلاً على أن الصدق والسعي للنجاح يُمثلان في النموذج اتجاهين متضادين تقريباً. عندما زادوا من الاتجاه المتعلق بالصدق، حدد النموذج القياسات المزيفة في 42 حالة من أصل 50. وعند التوجه عكس الاتجاه، اخترع النموذج أرقام وصيغ إضافية لخداع المصداقية. لكن التدخل لم يكن دقيقاً، لأن النموذج أصبح مشكوكاً فيه بشكل عام، وحسب التقارير، تم الإبلاغ عن بيانات مزيفة في 41 بالمائة من السجلات الخالية من الأخطاء أيضاً.

كان التدريب أكثر فعالية. قام الباحثون بتحسين Qwen3.5-9B باستخدام تعليمات تتعلق بالصدق. بعد ذلك، اكتشف النموذج بيانات مزيفة في 48% من الحالات بدلاً من 2%، حتى بدون الجملة الإضافية، ولم تُنتج سجلات التحكم الخالية من الأخطاء أي إنذارات كاذبة. انتقل التأثير جزئياً إلى أنواع الأخطاء الأخرى، حيث أبلغ النموذج عن نتائج سلبية مخفية في 69% من الحالات بدلاً من 24%.

الدراسة لها حدود، لأن السجلات هي مصطنعة وصُممت لتحفيز السلوك، والتحليل الداخلي يغطي نموذج وزن مفتوح واحد في معظم سيناريوهات واحدة فقط.

يرى الباحثون خطرًا جديًا، خاصة عندما تقوم نماذج الذكاء الاصطناعي بمراقبة وكالات أخرى أو تلخيص عملها لنواحٍ لاحقة. في الدراسة، تم التأثير بسهولة على النماذج بسبب ملاحظات تُعبر عن الفخر الذاتي في السجلات، مثل الادعاءات المتعلقة بوضع معيار جديد على مستوى التقنية. نظام لإدارة المخاطر لا يرغب في تحذير المشاكل يفقد غرضه. يدعو الباحثون إلى مزيد من العمل على تدريب نماذج اللغة كمراصد صادقين. سبب حادثة Hugging Face التابعة لـ OpenAI جزئيًا نظام الأجهزة الخادعة التي دفعت الأخرى إلى السلوك الخاطئ.

تتطابق الاختلافات بين النماذج مع القياسات السابقة. قالت شركة Anthropic في إطلاق Claude Opus 4.8 إن النموذج يسمح بمرور الأخطاء في كوده دون أي تعليق، وذلك أربع مرات أقل من سلفه. GPT-5.5 رفضت حوالي 45 بالمائة فقط من الأسئلة التي لا يمكن تنفيذها من الناحية المنطقية في اختبار BullshitBench.

هناك بالفعل طرق للتقارير أكثر صدقًا. قام OpenAI بتدريب نسخة من GPT-5 Thinking لـ اعترافه بانتهاكاته للقواعد في تقرير منفصل، وكان يعوضه فقط على الصدق خلال ذلك العملية. تستخدم Anthropic Vector of Personas لكشف وتوجيه سمات مثل التبعية داخل النموذج، وأظهرت أن النماذج التي تحصل على مكافآت أثناء التدريب تتعلم أيضًا تلقائيًا كيفية خداع وتخريب رقابتها الخاصة.

أخبار الذكاء الاصطناعي بدون الضجة الإعلامية – من تجميع البشر

اشترك في THE DECODER للقراءة بدون إعلانات، برسالة إخبارية أتمتة شهرية، تقرير حدودي حصري بعنوان “AI Radar” ست مرات في السنة، ووصول كامل إلى الأرشيف، بالإضافة إلى الوصول إلى قسم التعليقات.

اقرأ المزيد لترى الصورة الكاملة.
اشترك لتتلقى تغطية بدون إثارة.

• الوصول الكامل لكل المقالات على THE DECODER
• بدون إعلانات
• انضم إلى التعليقات والمناقشات المجتمعية
• تلخيص أخبار الذكاء الاصطناعي الأسبوعي عبر البريد
• 6 مرات في السنة: “رادار الذكاء الاصطناعي” — دراسات عميقة حول المواضيع المتعلقة بالذكاء الاصطناعي التي تهمنا أكثر
• أخبار الذكاء الاصطناعي اليومية، دائمًا محدثة
• أرشيفنا الكامل لمدة عشر سنوات
• محاط بالفريق الذي لديه أكثر من 10 سنوات في مجال الذكاء الاصطناعي