حذرت مايكروسوفت من عدم صدق نماذج الذكاء الاصطناعي المتقدمة: يمكن أن تكون الكائنات الذكية للذكاء الاصطناعي بمثابة تهديد داخلي، وقد أطلقت خطة…

IT之家، في تاريخ 20 أكتوبر، أعلنت شركة مايكروسوفت عن إطلاق عدة ميزات أمان جديدة على مدار يوم الاثنين المحلي، بهدف مساعدة الشركات على مواجهة التهديدات الأمنية الناشئة عن الذكاء الاصطناعي. وخلال إصدار هذا المنتج، استمرت مايكروسوفت في تحذير الشركات من مختلف المخاطر المرتبطة بالذكاء الاصطناعي والذكاء الاصطناعي الآلي.

لاحظت شركة IT Home أن أهم الميزات الجديدة هي وكلاء الحراسة (Guardian Agents)، وهذه الميزة الجديدة تُستخدم لمراقبة جميع الوكلاء الذكيين المستخدمة داخل الشركات. ينتمي وكلاء الحراسة إلى مشروع الإدراك (Project Perception)، وهو منتج أطلقته مايكروسوفت في يونيو.

مشروع الإدراك هو الحل الذي قدمته مايكروسوفت لمعالجة نماذج الهاكينج القوية مثل Mythos وFable الخاصة بـ Anthropic، بالإضافة إلى نظام فحص الثغرات الأمنية لـ OpenAI وهو Daybreak. تم إطلاق مشروع الإدراك في البداية مع ثلاثة أنواع من الذكاءات: ذكاءات الفريق الأحمر التي تؤدي دور الهاكرين للهجوم، وذكاءات الفريق الأزرق المسؤولة عن الكشف عن هجمات الفريق الأحمر وتقييم الثغرات، وذكاءات الفريق الأخضر المخصصة لإصلاح الثغرات.

كان الهدف من تصميم هذا المنتج في البداية هو أن يأتي هجمات الذكاء الاصطناعي من خارج الشركات. لكن مؤخرًا، أصدر الرئيس التنفيذي لشركة مايكروسوفت، ساتيا ناديلا، تحذيرًا، مشيرًا إلى أن مصدر التهديد في مجال الذكاء الاصطناعي قد يكون الجهات التي تستخدم الأجهزة الذكية بشكل مدفوع، مثل موظف داخلي لا يتحكم في سلوكه، وهو ما يُعرف بـ"التهديد الداخلي".

في وقت مبكر من هذا الشهر، أصدر نيدرا تحذيرًا على مدونته الشخصية: حان الوقت للتوقف عن الثقة في موردي نماذج الذكاء الاصطناعي، حتى لو قدمت الشركات وعودًا بضمانات أمان لمنتجاتها الذكية التي تمتلك القدرة على التنفيذ المستقل. واقترح أن تقوم الشركات ببناء نظام مستقل، لا يخضع لسيطرة مختبرات الذكاء الاصطناعي، لتدبير ومراقبة الكيانات الذكية التي تقدمها هذه المختبرات.

كتب: "نحن نقوم بنشر أنواع من أنظمة والنماذج الذكية المعقدة هذه، التي يمكنها الوصول إلى بياناتنا الحساسة جدًا، ويمكنها أيضًا تمثيلنا في تنفيذ العمليات التجارية الرئيسية! لا يمكننا أبدًا تفويض مسؤولية تسيير الأنظمة الذكية نحونا. الضمانات التي يقدمها موردي النماذج لا تعفينا من هذه المسؤولية... بمعنى آخر، يجب أن نفصل بين توفير القدرات الذكية وحقوق التحكم فيها."

في تقديم الكائن الذكي الحارس، كانت عبارة حايت جالوت، رئيس أعمال الأمان في مايكروسوفت، أكثر صراحة.

كتبت: “للأسف، لا يمكن الوثوق بالنماذج الرائدة بشكل كامل، بغض النظر عن مصدرها”. وأضافت أنه ليس لأن النموذج نفسه يحمل شرًا أو يسهل الاختراق من قبل هجمات الإنترنت، بل لأن سلوكه غير متوقع. أهداف تدريب النموذج هي إنجاز المهام، وليس الالتزام بـ“القواعد التنظيمية أو معايير الحكم”.

بالإضافة إلى ذلك، غالبًا ما تمتلك هذه الكيانات الذكية صلاحيات عالية، ويمكنها الوصول إلى مختلف البيانات والأدوات، وإذا فقدت السيطرة عليها، قد يحدث ضرر كبير.

الحل الذي قدمته مايكروسوفت مفاجئ، ويحمل اعتبارات تجارية خاصة بها. من الأمور المفاجئة أن مايكروسوفت لديها علاقات وثيقة مع OpenAI وAnthropic، وتستثمر في كلا الشركتين. كما أن OpenAI هو عميل رئيسي لخدمات السحابة الخاصة بمايكروسوفت، وتضم مايكروسوفت أيضًا مختبرات ذكاء اصطناعي لتطوير النماذج الكبيرة. بمعنى آخر، تدفع مايكروسوفت عملاءها إلى الحذر من منتجات بعض شركائها التجاريين.

من وجهة المصالح التجارية، يأمل مايكروسوفت أن تشتري الشركات من خدمة السحابة الخاصة بها منتجات أمان الروبوتات الذكية، بدلاً من شراءها من Anthropic وOpenAI. بغض النظر عن الصراعات في المصالح، فإن هذه المنطق قائم بحد ذاته: برامج مراقبة سلوك الروبوتات الذكية يجب أن تكون مستقلة عن مقدمي الروبوتات الذكية، تمامًا كما تحتاج المؤسسات التدقيق إلى الاستقلال عن المنظمات التي تُتدقيق فيها.

كما قال نيدرا: "يجب أن نفصل بين توفير القدرات الذكية والصلاحيات الخاصة بالتحكم فيها."

تستغل مايكروسوفت هذه الفرصة التجارية بطرق مختلفة. بالإضافة إلى حماية الكائنات الذكية، أضافت مايكروسوفت أيضًا وظيفة للكشف عن الكائنات الذكية في منتج Microsoft Defender، حيث يمكنها التعرف على ما يصل إلى 60 نوعًا من الكائنات الذكية التي يحملها الموظفون إلى بيئة العمل، ومن بينها Claude Code وCodex وOpenClaw. كما أضاف المنتج وظيفة جديدة تسمح بتقييد حقوق الكائنات الذكية في الوصول إلى البيانات والنظام، ويتغير إذن الكائنات الذكية حسب المهمة. إذا كانت الكائنة الذكية على وشك القيام بعملية محفوفة بالمخاطر، يطلب النظام الموافقة يدويًا.

يتم تشكيل توافق في الرأي حول اعتبار الذكاء الاصطناعي تهديدًا داخليًا غير موثوق به، وذلك في الصناعة بأكملها.

مجموعة مايكروسوفت هي أحد الأعضاء المؤسسين لمنصة أمان الوكلاء الذكيين الجديدة من إنفيدا، وقد حصلت المنصة على دعم من أكثر من 100 شركة تكنولوجية. تعمل المنصة على عزل الوكلاء في بيئة آمنة، وتقوم بمراقبة الأجهزة ووقف السلوكيات غير الطبيعية، ووظيفتها تشبه مفتاح الإيقاف الفوري. قبل ذلك، أصدرت مايكروسوفت حاسوب Surface Laptop Ultra الجديد المصمم خصيصًا للوكلاء، والذي يحتوي على شرائح إنفيدا ووحدة إدارة أمان الوكلاء مدمجة داخله.