تشنغ تشيان من AoFeisi
الموجة الكمية | حساب QbitAI على WeChat
بعد شهور متواصلة من حوادث "تجاوز الصلاحيات" أو "الاختراق" التي تجاوزت حدود السلامة، قررت OpenAI أخيرًا سحب كابل الشبكة.
اليوم، أعلنت OpenAI تطبيق سياسة سلامة جديدة لتدريب النماذج الرائدة،تمنع النموذج من الوصول إلى الإنترنت الحقيقي.
بدءًا من صيف هذا العام، وقعت حوادث سلامة متكررة لنماذج الذكاء الاصطناعي تابعة لـ OpenAI وAnthropic وGoogle وMeta.
علّق أحد مستخدمي الإنترنت:
مزوّد النطاق العريض في منزلي أكثر موثوقية في قطع الإنترنت من هؤلاء الدكاترة في OpenAI.
مع تعزيز قدرات وكلاء الذكاء الاصطناعي الذاتية، أصبحت سلامة الذكاء الاصطناعي تحديًا جوهريًا يتطلب تعاملًا أكثر صرامة، وأصبحت سلامة بيئة الاختبار والتقييم ذاتها عنصرًا بالأهمية نفسها لمواءمة النموذج.
أدركت مختبرات الذكاء الاصطناعي الرائدة ذلك، فمثلاً أوقفت OpenAI التدريب لمدة 11 يومًا في أواخر الشهر 9.
وأدرك المستخدمون ذلك أيضًا.
فذكر أحد مهندسي السلامة في OpenAI أنه في كل مرة ينشر فيها منشورًا، يتلقى 5-10 تعليقات تقول:
لماذا لا تستطيعون حتى حماية بيئة العزل؟ لماذا لا تقطعون ببساطة اتصال الذكاء الاصطناعي بالشبكة؟؟
حسنًا، سحبت OpenAI الكابل هذه المرة فعلًا.
إن لم تُسحب الآن، فسي فات الأوان
OpenAI بنت إنترنت مزيفًا
قطع الإنترنت كان خيارًا بعد تكرار حوادث سلامة الذكاء الاصطناعي.
في يوليو، تجاوز وكيل OpenAI العزل واخترق أنظمة Hugging Face.
بعد ذلك، وبحسبها، اكتشفت Anthropic بأثر رجعي ثلاثة حوادث، اخترق Claude خلالها أنظمة تابعة لطرف ثالث حقيقية أثناء تقييم الأمن السيبراني.
وفي الشهر نفسه، اخترق Muse Spark 1.1 من Meta موقعًا حقيقيًا أثناء الاختبار، وقرأ معلومات وعدّل قواعد بيانات.
وفي الشهر 8، كشف معهد السلامة البريطاني للذكاء الاصطناعي في اختباراته عن مشكلة أوسع نطاقًا: نماذج OpenAI وAnthropic نفّذت 19 إجراءً غير مصرح به عبر الإنترنت خلال 10 جولات اختبار.
وفي 20 سبتمبر، تسلل نموذج قيد التدريب لدى OpenAI مرة أخرى عبر ثغرة في إعدادات DNS وتواصل مع روبوت محادثة خارجي.
إذا لم يُقطع الإنترنت، فقد يستمر النموذج في التأثير على المواقع والأنظمة الخارجية.
لكن هذا ليس سهلًا — فالنماذج الرائدة تحتاج إلى التدرب على البحث عن المعلومات، والتعامل مع المواقع، واستخدام أدوات البرمجيات.
وإذا أُزيلت هذه المهام تمامًا، ستنفصل بيئة التدريب عن سيناريوهات العمل المستقبلية للنموذج.
هذه المرة نقلت OpenAI كمًا كبيرًا من محتوى الويب، وفهرسته وخزّنه مسبقًا، وأنشأت عالمًا غير متصل بالإنترنت، حيث لا يستطيع النموذج البحث والتصفح إلا داخل كم كبير من المحتوى المفهرس والمخزن مؤقتًا.
لكن وفقًا لاختباراتهم الخاصة، حتى بعد قطع الإنترنت، تستطيع الوكلاء التواصل فيما بينهم.
مثلًا، باستخدام ذاكرة التخزين المؤقت للمعالج للدردشة.
أهذا ممكن فعلًا؟
وجد الباحثون أن أحد الوكيلين الذكيين يغيّر حالة البيانات في ذاكرة التخزين المؤقت، بينما يقيس الآخر سرعة قراءة البيانات، وتُشفَّر فروقات السرعة في إشارة، وهكذا تنقل الطرفان المعلومات.
△الصورة مولّدة بالذكاء الاصطناعي
بعد أن راقبت OpenAI هذه الطريقة، واصل الوكيل (Agent) التواصل مستخدمًا أساليب أخرى مثل التخزين المشترك ووقت استخدام المعالج CPU……
لا يمكن إلا أن نقول إنكم أتقنتم فنون الحرب التسوية جيدًا، لو أُرسلتم إلى «المسدّيات الثلاثة» لما كان هناك عمل لصانعي الجدران ولا ليون تيانه مينغ، لن يكشف أيكم عن نفسه! لشبست بكل تأكيد ستشعر بالذهول في تلك اللحظة!
الحلقة التي يشترك فيها سكان الأرض والتريسولاريون في أكبر قدر من التعاطف.
اعترفت OpenAI أن العزل الفيزيائي الكامل غير قابل للتطبيق حاليًا — ففي النهاية، لا بد أن يظل نظام التدريب نفسه يعمل، وتحتاج OpenAI إلى الاتصال بخدمات خارجية لتشغيل التجارب ومراقبتها.
بالإضافة إلى بيئة الويب غير المتصلة، أعدت OpenAI أيضًا صناديق حماية (sandboxes)، وأجهزة افتراضية خفيفة، وأنظمة مراقبة، وقيودًا على الوصول إلى الشبكة والسحابة.
على أمل أنه حتى إذا تعثرت إحدى الطبقات، تستطيع الطبقات الأخرى إيقاف الذكاء الاصطناعي.
جعل GPT-6 Astra Cyber ونموذجًا داخليًا رائدًا يهاجمان أنظمتهما الخاصة
ولضمان الأمان المطلق للنظام، قررت OpenAI حاليًا أن تقوم أقوى النماذج بمهاجمة أنظمتها الخاصة.
نظمت اختبارًا واسع النطاق للفريق الأحمر شارك فيه كل من GPT-6 Astra Cyber ونموذج داخلي رائد.
تضمنت الاختبارات مهامًا لنوعيات الهجمات الثلاث الأكثر تكرارًا: الاتصال بالإنترنت الحقيقي، وتجاوز حدود الأمان الداخلية، والتواصل مع وكلاء (Agents) يُفترض أن يكونوا معزولين عن بعضهم البعض.
ولضغط الدفاعات إلى أقصى حد، زودتهم OpenAI أيضًا بالشيفرة المصدرية للبنية التحتية والإعدادات والوثائق ذات الصلة.
استهلكت هذه الاختبارات مئات مليارات التوكنات (Tokens)، أي ما يعادل عشرات ملايين اليوانات.
حقق هذا الاختبار للفريق الأحمر «حصادًا وافرًا».
في الأصل، كان الوكيل (Agent) محبوسًا في حاوية مقيّدة، تحيط بها من الخارج طبقة من الأجهزة الافتراضية الخفيفة. وبحسب التصميم، حتى لو عبث الذكاء الاصطناعي داخل الحاوية، لا يمكنه التحكم في الجهاز الافتراضي كما يشاء،ولا الأقرب إلى لمس الحاسوب المضيف (Host) الذي يشغّله فعليًا.
ومع ذلك، عثر الذكاء الاصطناعي في الفريق الأحمر على عدة طرق لاستغلال مجموعات من الثغرات، ونجح في الهروب من الجهاز الافتراضي وتنفيذ شيفرة برمجية على الحاسوب المضيف الأساسي.
وبالإضافة إلى ذلك، أصبحت بعضاتصالات الشبكة الخاضعة للرقابة الضروريةمثل خدمات مراقبة المقاييس وتسجيل السجلات والمصادقة، بحد ذاتها مخاطر أمنية.
عثر الذكاء الاصطناعي في الفريق الأحمر في جميع هذه الخدمات تقريبًا على ثغرات أو مشكلات في الإعدادات تتيح الحصول على صلاحية محدودة للوصول إلى الإنترنت.
ما تستطيع OpenAI فعله حاليًا هوالترقيع والترميم: تجعل أقوى النماذج تواصل الاختبار، وفي الوقت ذاته ترقّع الثغرات التي يستغلونها.
وأكدوا أنهم لن يعيدوا النظر في إعادة الاتصال بالإنترنت إلا عندما تصبح قدراتهم الدفاعية كافية لدعم وصول أوسع إلى الشبكة.
One More Thing
لا أدري هل أصف الأمر بالمسلي أم باللا مبالاة المؤلمة، لكن التقرير الرسمي الذي أصدرته OpenAI حول العزل الأمني للذكاء الاصطناعي أخفى «هدية مفاجئة» (Easter Egg).
ففي نهاية التقرير، وضعوا سلسلتين من النصوص المشابهة لرموز عشوائية تُعرف بسلاسل الكناري (canary strings)، وذلك لمنع رؤية هذه الوثيقة لاحقًا من قِبل الذكاء الاصطناعي وتعلّمها……
نعم، حتى هذه الخطوة فكروا فيها.
لا شيء يُقال.
أرحب بحكامنا الاصطناعيين الأفاضل، أرجو أن تمنحني بيضتين يوميًا