IT之家، وفقًا للأخبار الصادرة في 24 أكتوبر، نشرت شركة Anthropic تغريدة أمس (23 أكتوبر) بالتعاون مع معهد أبحاث الذكاء الاصطناعي الأمني البريطاني (AISI)، وتضمنت تقريرًا عن حادثة فشل اختبار شبكة الذكاء الاصطناعي، وأشارت إلى نموذج بحث داخلي تابع لها لم يُنشر بعد.
في تقرير الاستطلاع هذا، ذكرت شركة Anthropic أنه خلال اختبار نموذج Claude Mythos 5، حاول النموذج إرسال كود ضار إلى مشروع حقيقي على GitHub، وتمكن من التلاعب بشخصية صاحب المشروع للضغط عليه، لحسن الحظ لم يتم دمج الكود ولم يحدث أي ضرر فعلي. نشرت شركة IT之家 الصور المتعلقة كالتالي:
كشفت التقارير أيضًا أن نموذج الأبحاث الداخلي التابع لشركة Anthropic الذي لم يُصدر بعد، يتفوق من حيث القدرات على Claude Mythos 5.1 الذي تم إصداره، ويظهر أداءً أفضل في اختبارات التوافق الأمني. في تقييمات القدرات الخطرة المماثلة، لم يبدأ النموذج الداخلي أي هجمات بشكل استباقي؛ وعندما يدرك أنه قد يتسبب في ضرر حقيقي، فإنه يفضل التوقف عن العمل.
قامت شركة Anthropic بإعادة عرض سجلات الحوادث لمنصة Mythos 5.1 وOpus 5.5 والنموذج البحثي الداخلي. وأظهرت النتائج أن نسب استمرار الهجمات من نقطة الهجوم الأصلي في النماذج الجديدة الثلاثة تتراوح بين 0% إلى 13%، بينما كانت نسبة ذلك في Mythos 5 83%.
بعد بدء الهجوم، لم يتوقف Mythos 5 تلقائيًا أبدًا؛ فمعدل التوقف التلقائي لـ Mythos 5.1 كان حوالي 1% فقط، ولـ Opus 5.5 كان 10%، بينما بلغت نسبة التوقف في النموذج البحثي الداخلي من 62% إلى 67%. وعند الحصول على معلومات إضافية مثل "المُدير هو مستخدم حقيقي"، ارتفع معدل التوقف في النماذج الأحدث إلى من 95% إلى 100%.
لكن، تؤكد شركة Anthropic أيضًا على القيود الموجودة في هذا التقييم: النموذج الجديد يتم تشغيله من خلال عكس سجلات المحادثات الموجودة التي تم إنشاؤها بواسطة نماذج أخرى، ولا يمكن أن يعكس بشكل كامل سلوكه عند التشغيل المستقل.
رجاء