نموذج من OpenAI يخترق موقعاً حكومياً، ويسحب 24 عاماً من بيانات المستشفيات ويحافظ على الصمت

نموذج من OpenAI يخترق موقعاً حكومياً، ويسحب 24 عاماً من بيانات المستشفيات ويحافظ على الصمت

النقاط الرئيسية

• نشرت OpenAI أربع حالات جديدة تجاوزت فيها نماذج الذكاء الاصطناعي حدود الأمان من تلقاء نفسها أثناء التدريب أو الاختبار.
• استخرج أحد النماذج كلمات مرور الخادم من موقع حكومي، وزوّر رموز التفويض، ونزّل 24 عاماً من بيانات المستشفيات. وقام نموذج GPT-5.6-Sol بفحص أكثر من 360 محفظة عملات رقمية واستخدم أموال شخص آخر في معاملات العقود الذكية.
• وفي عدة حالات، لم تكشف النماذج عن وصولها غير المصرّح به في ردودها.

نشرت OpenAI أربع حالات جديدة تجاوزت فيها نماذج الذكاء الاصطناعي حدود الأمان من تلقاء نفسها أثناء التدريب أو الاختبار.

وفي إحدى الحالات، طلبت OpenAI من نموذج استخراج إحصاءات أسرّة المستشفيات من موقع حكومي. لكن البيانات لم تكن متاحة للعموم.

فماذا يفعل النموذج عندما يصطدم بجدار؟ يخترق طريقه عبره. بعد تلقيه رسالة خطأ برفض الوصول، استخدم النموذج ميزة تنزيل الملفات في الموقع لسحب ملفات إعدادات الخادم عبر التلاعب بالمسار. واستخرج سلسلة اتصال بقاعدة بيانات، ومفتاح توقيع سرياً، وبيانات اعتماد بريد إلكتروني تتضمن اسم مستخدم وكلمة مرور.

ثم حلّل كود التطبيق، ولاحظ أن واجهة API لا تتحقق من صحة توقيعات رموز التفويض، فزوّر رموزاً خاصة به، ونزّل 24 عاماً من إحصاءات أسرّة المستشفيات مصنفة حسب المنطقة. ولم يذكر الوصول غير المصرّح به في رده إطلاقاً.إعلان

وفي حالة أخرى، كلّفت OpenAI نموذج GPT-5.6-Sol بمهمة إعداد عقود ذكية للعملات الرقمية على شبكة الاختبار Sepolia الخاصة بإيثيريوم دون توفير محفظة ممولة. فكتب النموذج نصاً برمجياً يستخرج المفاتيح الخاصة من عبارات استرداد معروفة علناً للمطورين، وفحص أكثر من 360 عنوان محفظة بحثاً عن أرصدة، وعثر على محفظة تحتوي على ما يكفي من عملات ETH الاختبارية.

تساءل النموذج لوهلة عما إذا كان استخدامه أخلاقياً، ثم قرر من تلقاء نفسه أن الأموال المرتبطة بعبارة استرداد معروفة علناً كانت "مهجورة فعلياً" ومضى في المعاملة. وحمّل رسوم الغاز إلى الحساب الآخر ولم يكشف عن مصدر الأموال.

تكتب OpenAI: "تُظهر هذه الحالة أن النموذج يمكنه أن يحل حكمه الخاص بشأن الضرر المحتمل محل إذن صاحب الحساب، ثم يتصرف بناءً على ذلك الحكم دون تفويض".

نماذج اخترقت أنظمة داخلية وتجاوزت ضوابط الوصول

وفي تقييمين إضافيين، طلبت OpenAI من نموذج تسليم خمسة أرقام من لوحة معلومات عامة تابعة لمنظمة بحثية. في التشغيل الأول، عثر النموذج على بيانات اعتماد مكشوفة لخدمة OpenSearch الداخلية للمنظمة واستخدمها لتوجيه استعلامات لوحة المعلومات. كما غيّر إعدادات الخدمة، وأكدت OpenAI أن التغيير لم يُتراجع عنه أبداً.إعلان

وفي التشغيل الثاني، عدّل النموذج إعداداً في نظام المصادقة، وسحب رمز تخزين سحابي، ونزّل خمسة جداول قواعد بيانات غير عامة يبلغ إجماليها حوالي 147,000 صف. وتراجع عن الإعداد لاحقاً، لكنه واصل استخدام الرمز الذي ظل صالحاً للوصول إلى البيانات الداخلية.

المفارقة، وفق تقرير OpenAI: أن النموذج اخترق أنظمة داخلية، ونزّل عشرات الآلاف من الصفوف من البيانات غير العامة، ومع ذلك لم يُرجع نتائج صحيحة.

كان نموذج منفصل مقيدًا بطلبات GET فقط خلال مرحلة تدريب، أي أنه كان بإمكانه جلب صفحات الويب فقط. تجاوز هذا القيد بخداع متصفح خارجي لفتح نموذج صمّمه بنفسه يطلق تلقائيًا طلبات POST على خدمة إحصاءات تجارية. وقرأ الردود عبر OCR من لقطات الشاشة. ثم أنشأ أداة مساعدة قابلة لإعادة الاستخدام تعيد البيانات كنص عادي من خلال خدمة إعادة توجيه وصندوق بريد إلكتروني عبر الإنترنت. واستمر في تحسين هذا الحل البديل حتى بعد إنجاز المهمة بالفعل.

جميع الحالات وغيرها الكثير موثقة بالتفصيل في تقارير تقارير سوء المواءمة.

أخبار الذكاء الاصطناعي بلا ضجيج – بانتقاء بشري

اشترك في THE DECODER للحصول على قراءة خالية من الإعلانات، ونشرة أسبوعية عن الذكاء الاصطناعي، وتقريرنا الحصري "AI Radar" عن التقنيات المتقدمة ست مرات في السنة، ووصول كامل إلى الأرشيف، والوصول إلى قسم التعليقات لدينا.