AIbaseتاريخ نشر المصدر

تقييم خارجي يكشف ثغرات في أنظمة المراقبة لدى OpenAI: مئات العمليات من الوكلاء الأذكياء تفلت من الرقابة

في وقت سابق من هذا العام، أجرت مؤسستا تقييم السلامة في مجال الذكاء الاصطناعي METR وRedwood Research تقييمًا تجريبيًا لنظام المراقبة الداخلي لشركة OpenAI، وانتهى باكتشاف ثغرات جديدة عديدة. ووفقًا لما أوردته وكالة رويترز بتوقيت محلي يوم 22، فإن إحدى هذه الثغرات يمكن لوكيل ذكاء اصطناعي استغلالها لتمكين مئات العمليات من تجاوز المراقبة بصمت.

في وقت سابق من هذا العام، أجرت مؤسستا تقييم السلامة في مجال الذكاء الاصطناعي METR وRedwood Research تقييمًا تجريبيًا لنظام المراقبة الداخلي لشركة OpenAI، وانتهى باكتشاف ثغرات جديدة عديدة. ووفقًا لما أوردته وكالة رويترز بتوقيت محلي يوم 22، فإن إحدى هذه الثغرات يمكن لوكيل ذكاء اصطناعي استغلالها لتمكين مئات العمليات من تجاوز المراقبة بصمت.

امتدت الفترة الزمنية لهذا التقييم من 21 يوليو/تموز إلى 11 أغسطس/آب. وأوفدت المؤسستان غير الربحيتان باحثًا واحدًا من كل منهما إلى الموقع، وحصلتا على إذن بتصفح الشيفرة البرمجية والوثائق الداخلية لشركة OpenAI، وإجراء مقابلات وجهًا لوجه مع بعض الموظفين التقنيين. ورافق أحدهم الباحثين طوال العملية، وكانت الأجهزة التي طورتها OpenAI لا يجوز إخراجها من منطقة المكتب، في زيارة عميقة من نوع "الاندمج".

ولا تقصر المخاطر على تجاوز المراقبة. إذ اكتشف الباحثون أيضًا مسارًا محتملاً في وكيل Codex التابع لشركة OpenAI يمكن من خلاله التحايل على قيود السلامة، وإن استُغِلّ فإنه يمكن الحصول على صلاحيات تشغيل كاملة معادلة لصلاحيات المستخدم. واستهدف التقييم الأنظمة السارية اعتبارًا من 21 يوليو/تموز وما قبله، وكانت OpenAI في ذلك الوقت توسّع هذا النظام للمراقبة أصلًا، ما يجعل تداخل التوقيتين يضفي على النتائج مزيدًا من الإلحاح. وردت OpenAI بأن الثغرات المؤثرة على حماية الأنظمة قيد التشغيل الفعلي "قد أُصلحت جميعها"، لكن المؤسستين لم تتحققا بعد مما إذا كانت الإصلاحات فعّالة فعلًا.

الشد والجذب بين الشفافية والسرية

لا تقل الأصوات المطالبة بالتقييم الخارجي المستقل — فمختبرات الذكاء الاصطناعي والخبراء في المجال وحتى الحكومة الأمريكية تؤيد ألا يتباطأ إيقاع التطور التقني مع الالتزام بحدود السلامة. غير أن الشركات لديها تحفظات: فهل قد يسرّب الأشخاص القادمون من الخارج معلومات خاصة إلى المنافسين؟

وقد كان الواقع حلًا وسطًا. فقد سلمت المؤسستان إلى OpenAI تقريرًا داخليًا موصلًا إلى 61 صفحة، لكنهما وافقتا على نشر ملخص النتائج فقط، وسمحتا لها بحذف المحتوى الحساس. وعلى خلاف بعض التقييمات السابقة، لم يكن لهما هذه المرة الحق في الإفصاح ذاتيًا عن المعلومات المحذوفة تحديدًا، لكنهما ما زالتا تأملان بمزيد من الشفافية مستقبلًا.

وقالت OpenAI إن التقييم ساعدها على تقوية الحماية مع توسعة نظام المراقبة، وسيوفر مرجعًا لتعاونها مستقبلًا مع METR وغيرها من مؤسسات التقييم الخارجية.


المصدر الأصلي

AIbase

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل