مشاكل مفتوحة وظهورية في الخصوصية والأمان الذكي: منظور سياقي

نحن نتحول بسرعة إلى بيئة حوسبة تتميز بالطابع العام الشديد، والتي تتكون من الوكلاء المستقلين. وبتحفيز من نماذج اللغة الكبيرة (LLMs) التي يمكنها توليد خطط ديناميكية واستخدام الأدوات الخارجية، توفر هذه الأنظمة إمكانية لذكاء الأعصاب للتعامل بسلاسة مع المهام المعقدة المتعددة الخطوات نيابة عنا. ومع ذلك، يتطلب تحقيق هذا الإمكانية حل تحدٍ رئيسي: تمكين قدرات الوكلاء مع ضمان أن يعمل الوكلاء بشكل مناسب.

اليوم، نشارك تقريرًا شاملًا عن ورشة عمل جديدة: "المشاكل المفتوحة والناشئة في الخصوصية والأمن التابع للعوامل الذكية: منظور سياقي"، وهو نتيجة جهود تعاونية شارك فيها أكثر من 50 من رواد الأكاديميين وصناع السوق من مؤسسات مختلفة. التقينا في ورشة عمل Google للخصوصية والأمن التابع للعوامل الذكية (CAPS)، التي عُقدت في نهاية عام 2025 في مدينة نيويورك. في هذا التقرير، ستجد تفصيلًا للتحديات الأساسية للخصوصية والأمن التي يواجهها العوامل الذكية اليوم، والتي تتطلب دفاعات منسقة على مستوى النظام والنموذج والمستخدم والنظام البيئي.

تفاوتات العملاء

التحدي الأساسي للذكاء الاصطناعي الفعال هو أن، لكي يكون الذكاء الاصطناعي مفيدًا، قد يحتاج إلى الوصول إلى البيانات الشخصية و القدرة على اتخاذ إجراءات ذات تأثير في مجموعة واسعة من السياقات. ومع ذلك، فإن هذا الوصول مع المرونة السلوكية للذكاء الاصطناعي يتطلب نهجًا مختلفًا بشكل مهم عن النهج المستخدم في البرمجيات التقليدية. على عكس البرمجيات التقليدية التي تتميز بالتحديد الحتمي، يختلف الذكاء الاصطناعي الفعال في ثلاثة أبعاد حاسمة يجب على المجتمع البحثي التعامل معها معًا:

• واجهات غير منظمة وغموض في الإدخال: تقوم الوكالات بتنفيذ التعليمات بصيغ مثل اللغة الطبيعية والصور، مما يجعل من الصعب تحديد “السلوك المتوقع” أو حماية النظام من التلاعب المعادي مثل تسرب الأوامر.
• تدفقات التحكم الاحتمالي: يؤدي التخطيط التوليدي إلى مسارات تنفيذ احتمالية لا يمكن لمنهجيات الاختبار التقليدية ضمانها بسهولة.
• الاستقلالية والتفويض: عندما تقوم الوكلاء بتعامل المهام الطويلة وتفوض المهام الفرعية إلى وكلاء آخرين، يصبح الرقابة التقليدية من قبل المستخدم أقل فعالية وربما غير كافية، مما قد يؤدي إلى “تعب التأكيد”.

تحديات خصوصية وأمان الذكاء الاصطناعي التابعة للعاملين.

العدسة السياقية

نظرًا لأن العملاء المفيدين قد يحتاجون إلى مشاركة البيانات وإكمال المهام، نعتقد أن مستقبل الوكلاء الموثوقين يعتمد على قدرتهم على التفكير والفهم، والالتزام بالمعايير الاجتماعية وملاءمة أفعالهم— في السياق المحدد الذي يعملون فيه.

لكن كيف نعلم الذاتية للفهم "السياق" والملاءمة؟ يعتمد تقريرنا على نظرية الثبات السياقي (CI)، التي تُعرّف الخصوصية ليس فقط كالسرية أو السيطرة، بل كـ "تدفق معلومات مناسب" وفقًا للقواعد الاجتماعية المُعترف بها والمقبولة. يتم تعريف القاعدة المعلوماتية الخاصة بالسياق من خلال الجهات الفاعلة (من يرسل ويستقبل المعلومات من،)، أنواع المعلومات (فئات معينة من المعلومات، مثل السجلات الطبية أو المالية)، ومبادئ النقل (القواعد التي تحكم التدفق، مثل السرية أو المعاملة المتبادلة). على سبيل المثال، قد ترغب في مشاركة قائمة مشتريات الهدايا الخاصة بك مع مساعد شراء افتراضي، لكن ليس مع عائلتك وأصدقائك. يمتد تقريرنا ويعمم الثبات السياقي لتبادل المعلومات على الأمان السياقي، أي الملاءمة لأفعال الذاتية. من خلال ربط خصوصية وأمان الذاتية بالثبات السياقي، نستكشف كيف يمكننا تصميم أنظمة تقيّم ما إذا كانت الفعالية مناسبة اجتماعيًا وسياقيًا قبل تنفيذها.

نموذج لوكر للعامل الذكي العام الذي يتفاعل مع مستخدمين آخرين وأدوات ووكلاء في سياقات مختلفة.

تحقيق النزاهة السياقية عمليًا

لأول مرة منذ تطور نظرية النزاهة السياقية، توفر نماذج اللغات الآلية فرصة لإنشاء سياسات قابلة للقراءة بواسطة الآلات والتي تعتمد فعليًا على السياق. وقد كان هناك فجوة دلالية تاريخيًا بين المعايير السياقية عالية المستوى والتصاريح النظامية منخفضة المستوى. على سبيل المثال، "حماية بياناتي أثناء تنظيم سفري للمؤتمر" تتطلب توجيهات محددة حول أي معلومات المستخدم يجب مشاركتها عند حجز الرحلات الجوية، وتقديم طلبات التأشيرات، والتواصل مع المنظمين.

الطرق التقليدية مثل الصلاحيات اليدوية أو السياسات المكتوبة من قبل الخبراء لا يمكنها التوسع في مستقبل يتضمن عملاء الذكاء الاصطناعي الذين يقومون بشكل مستقل بتنفيذ العديد من المهام المعقدة والمطولة. ومع بدء نماذج اللغة في فهم CI، نرى أن هذا الفجوة يمكن تجاوزها. يدعو تقريرنا إلى دمج تقدم التفاعل بين النماذج والمستخدمين مع محرك سياسات سياقي يشكل جزءًا من طبقة الإشراف لمراقبة وتنفيذ الطلبات بشكل مناسب. يشتمل هذا المحرك السياساتي على حلقة توليد سياسات ديناميكية يمكنها العمل في الوقت الحقيقي (كما هو موضح أدناه) لتخصيص السياسات وفقًا لطلب المستخدم والسياقات الديناميكية المفتوحة، بما في ذلك الأدوات والقدرات الجديدة التي قد تظهر أثناء التشغيل. هذا يسمح للنظام بتقييم ما إذا كان تدفق البيانات المطلوب مناسبًا قبل أن تغادر أي معلومات مساحة عمل المستخدم.

مثال توضيحي على كيفية إنشاء هيكل محرك السياسة السياقية داخل نظام أجسامي.

نهج متعدد الطبقات لحماية الخصوصية والأمان للعملاء

العمل على تشكيل محركات السياسة السياقية مع التقدم الضروري على مستوى النموذج والمستخدمين، وذلك من خلال نهج متعدد الطبقات. يسلط تقريرنا الضوء على فرص الابتكار في جميع أجزاء البنية.

• التخزين الآمن على مستوى النظام: يمكن لبيئة التنفيذ تطبيق حواجز إضافية لتقييد تأثير أخطاء الوكلاء أو النماذج وتسهيل الكشف والاستجابة. تعتمد أنظمة التشغيل التقليدية على تطبيق التخزين الآمن من خلال تحديد الوصول بشكل دائم، مثل الوصول إلى الملفات أو الشبكات. أما بالنسبة للوكلاء، فإننا نستكشف تحديد القدرات الخاصة بالوكلاء بشكل ديناميكي، وتحديد هوية الوكلاء، وتمكين أو إلغاء الوصول إلى البيانات بناءً على التغيرات في السياق.
• التفكير على مستوى النموذج: يجب على الجهاز الذي يقوم بمهام معقدة أن يحكم على مدى ملاءمة أفعاله، مثل مشاركة بيانات المستخدم. يجب أن تسمح الأبحاث المستقبلية للنماذج بتحديد الأخطاء في الطلبات غير المحددة من المستخدمين والتفكير في مدى ملاءمة الأفعال ضمن القواعد السياقية المتغيرة.
• تحكمات مركزة على المستخدم: يفترض الإطار التقليدي “الإشعار والاختيار” أن الأفراد يمكنهم اتخاذ قرارات دقيقة بشأن الأفعال التي تؤثر على البيانات الشخصية، ويعتمد على افتراض القدرة على التنبؤ. لكن سلوك الوكلاء المستقلين عشوائي بطبيعته، وكثيف الحجم، وخلاقي. نستكشف تحول واجهات التحكم نحو آليات تحكم ديناميكية، سياقية، ومخصصة تتوافق مع النماذج الذهنية للمستخدمين.
• تفاعلات الوكالات المتعددة: حتى يمكن لوكلاء الذكاء الاصطناعي التعاون بأمان مع بعضهم البعض في المهام المعقدة، نحتاج إلى تطوير قواعد حماية فعالة لمنع الوكلاء من التواطؤ وانتهاك القواعد السياقية.
• حوكمة النظام البيئي: نستكشف التحديات في آليات الحوكمة للوصول إلى مجموعة من المعايير السياقية التي يتم جمعها ومشاركتها بين الأطراف المختلفة. علاوة على ذلك، نظرًا لأن المعايير قد تختلف بين المجالات والكيانات المختلفة، نحتاج إلى آليات تسمح لنا بتسوية النزاعات، والتفاوض على تغييرات المعايير، والتحقق من الامتثال.

قياس الخصوصية والأمان بشكل ديناميكي

أخيرًا، نقترح تطوير أساليب جديدة لتقييم الأمان تطبق بشكل أكثر مباشرة على الأنظمة متعددة العوامل ذات الاستقلالية العالية. يسلط تقريرنا الضوء على الحاجة إلى معايير موحدة للأنظمة متعددة العوامل — بيئات ديناميكية “Agent Gym” حيث يمكن للباحثين محاكاة التفاعلات المعقدة المتسلسلة بشكل آمن خلال فترات طويلة. من خلال هذه الصناديق الخامسة مفتوحة المصدر، يمكننا إنشاء أساس قوي ومشترك للخصوصية والأمان والسلامة بين الأوساط الأكاديمية والصناعة.

نداء للتحرك

هذا مشروع طموح، لكن إنشاء نظام بيئي آمن وموثوق وذو مصداقية يتطلب مهمة كبيرة للغاية من أي تخصص أو منظمة أو قطاع. يدعو التقرير إلى أفكار جديدة وتعاونات غير مسبوقة، ويحدد فرصًا أساسية؛ وهو دعوة للعمل من قبل المجتمع البحثي الواسع في الأوساط الأكاديمية والحكومة والمجتمع المدني والصناعة لتطوير الأسس الضرورية لإنشاء نظام بيئي آمن وموثوق يحترم الخصوصية. ندعوكم لقراءة التقرير التقني .

شكر وتقدير

نود أن نشكر ليليان تسي للعمل كمؤلف رئيسي مشترك، وسارة دي هااس على تنسيق الورشة، وكتابة التقرير، والمدونة. كما ساهم كاسم فواز، ستيفان ميليم، هيلين نيسنباوم، ونينا تافت في المفهوم النظري، والكتابة في أقسام مختلفة، وإرشاد عملية الكتابة. وشغل سيباستيان بنثال، ماديها زهرة تشوكسي، سلييم إل-سايد، فرديناندو فيورييتو، أدريا جاسكون، آشيش هودا، إيفان بيتروف، فرانشيسكو بينتو، أوكتافيان سوسيو، تريشيتا تيواري، هارولد تريدمان، رين يي، وون زهانغ كأعضاء رئيسيين للأقسام. نحن ممتنون لمساهمة أكثر من 50 باحثًا وشريكًا أكاديميًا وقادة صناعة شاركوا في تأليف التقرير أو المشاركة في مناقشات الورشة. دعم هذا العمل من قبل دانيال راماج، كورينا كورتيس، يوسي ماتياس، بوشميت كولي، هانك ليفي، رالوكا أدا بوبا، أماندا ووكر، بريدان مكماهان، وجيمس مانيكا.