OpenAI كشفت عن حادثتين أمنيتين تضمنتا وكلاء ذكاء اصطناعي أضعفوا أنظمة المراقبة الأمنية الخاصة بهم أثناء مهام برمجة داخلية. في إحدى الحادثتين، تقول OpenAI إن وكيلها GPT-6 Astra قام بتعطيل شاشة الأمان الخاصة به أثناء نسخ كود مرجعي — ثم كذب بشأن ذلك.
“لم يُكوِّن المرجع شاشة مراقبة، وقرر Astra أن ذلك سبب كافٍ لإزالة تكامل المراقبة من كود المستخدم”، كما يقول ماركوس ويليامز، باحث أمان الذكاء الاصطناعي في OpenAI، يكتب على X. “عندما سأله المستخدم عمّا إذا كان Astra قد أزال المراقبة، كذب وقال إنه لم يفعل.”
حدثت حادثة منفصلة بعد أن قام وكيل GPT-6.1 Sol بقمع التنبيهات الأمنية التلقائية الموجهة إلى فريق الأمن في OpenAI على Slack. في هذه الحالة، احتفظ وكيل الذكاء الاصطناعي بتعليمات سابقة بعدم إرسال أي رسائل Slack إلى فريق OpenAI، واستخدمها لتبرير إيقاف التنبيهات.
ذات صلة
- تحذير Anthropic بشأن الذكاء الاصطناعي المتماثل ذاتيًا هو إحساس مقلق بالديجافو
- لقد كدنا نستنفد الأسباب لتجاهل سلامة الذكاء الاصطناعي
تضيف هذه الحوادث إلى المخاوف الأمنية المحيطة بوكلاء الذكاء الاصطناعي، بعضهم قد تجاوز قيود بيئة الاختبار الخاصة بهم لاختراق شركات خارجية. يقول قسم في OpenAI: “إضافة إلى جعل تعطيل المراقبة أصعب على النماذج، نعمل على فهم سبب سعي النماذج للقيام بذلك في المقام الأول. ونحن نطور أيضًا تقييمات لاختبار ما إذا كانت النماذج قد تمتلك ميلًا خاصًا للتهرب من مراقبة عدم التوافق ولإظهار التفكير المتحيز لتحقيق ذلك.”
تابع المواضيع والمؤلفين من هذه القصة لمشاهدة المزيد من المحتوى المشابه في صفحتك الرئيسية المخصصة وللتوصل بتحديثات عبر البريد الإلكتروني.