IT之家، وفقًا لما نشر في 11 أكتوبر، يعتقد ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، أن استخدام تكتيكات بسيطة مثل الرقابة الذاتية للذكاء الاصطناعي غير كافية في عصر تطور الذكاء الاصطناعي المستمر.
أشار نادرا في مقال طويل صدر في مساء يوم 10 أكتوبر بتوقيت بكين إلى أن أنظمة البرمجيات التقليدية تم توزيعها على نطاق واسع خلال العقود الماضية، وأن البشر يمتلكون الآن الأدوات والقدرات لمتابعة سلوك مسارات الكود المحدد. ومع ذلك، النماذج الذكية أقوى من البرمجيات التقليدية، لكنها كشك أسود، فنحن نوزع هذه الأنظمة والنماذج الذكية المعقدة، ونستخدم بياناتنا الحساسة، وندفعها لتنفيذ المهام الرئيسية.
يعتقد نيدرا أنه يجب علينا التراجع خطوة إلى الوراء وأخذ فترة للتفكير في إعادة تقييم هيكل الثقة في العصر الجديد. لا يمكن لمزودي النماذج أن يقوموا بتحويل المسؤولية إلى شخص آخر، ولا يمكن اعتبار الذكاء الخارق كطبقات من الصندوق الأسود المغلف، ويجب علينا فقط قبول أو رفض اقتراحاته وأجوبته وأفعاله بشكل سريع. يجب علينا إنشاء نظام مغلق يمكننا من مراقبة سلوكه واختبار حدوده والسماح بالسلوك دائمًا.
قال نيدرا إن اعتبار نموذج الأوزان المغلقة والمنفتحة على الطليعة كمخاطر داخلية هو طريقة لبناء مثل هذه الأنظمة. وذلك ليس لأن نماذج الذكاء الاصطناعي يجب أن تكون خبيثة، بل لأن أي شخص لديه القدرة الكافية للوصول إلى الأنظمة الهامة قد يرتكب أخطاء أو يتم اختراقه، ويجب أن تأخذ البنية التحكمية والقمع هذا في الاعتبار.
ذكر نيدرا أن المطورين يجب أن يصممون هذه الأنظمة حول مبدأ المراقبة، وتوضح منصة IT Home المبادئ التفصيلية كالتالي:
تنوع النماذج: لا ينبغي لأي نموذج أن يصبح الاعتماد الوحيد على نتائج مهمة، ولا يجب أن يكون مسؤولاً عن التحقق من عمله الخاص.
مراقبة كل شيء:يجب أن تترك كل حركة نموذجية ذات معنى دليلاً مقاوماً للتغيير وقابلاً للفهم من قبل البشر.. إذا لم يمكن مراقبة الأمر، فلا يمكن الثقة به. نحتاج إلى القدرة على تكرار كيف تم تحقيق النتائج دون الاعتماد على النموذج لإثبات ذلك.
مصداقية التحقق: يجب علينا إجراء اختبارات مستمرة على النظام بأكمله، بما في ذلك الأعطال، والهجمات، وحالات الحدود، وتغييرات النظام، وليس فقط المهام الناجحة.
التحكم المستقل: يجب أن تكون المنظمات قادرة على اتخاذ قرارات مستقلة بشأن ما يمكن للنموذج الوصول إليه وما يمكنه فعله.
الرقابة المستقلة: يجب أن تتم التحقق بشكل مستقل عن الذكاء الذي يتم التحقق منه. ولا يجب أن يكون هناك نموذج واحد يسيطر على سلوك النظام وكذلك على الأدلة اللازمة لتحديد ما إذا كان هذا السلوك متوافقًا مع النية الأصلية.
الحد من المشاكل: يجب أن نفترض أن النموذج قد تدمر، ويجب التحكم فيه منذ البداية. يمكن تخيل ذلك كفرصة لتوقف عاجل. يجب أن يكون بالإمكان للأشخاص المسؤولين إيقاف أو إغلاق النموذج أثناء المهمة. النماذج الأكثر تقدمًا ستحتاج إلى تقنيات أكثر تقدمًا للحد من المشاكل، ويجب أن نقوم بتوحيد هذه التقنيات.
كشف الحادثة: عند حدوث عطل في هذه الأنظمة أو اختراقها، نحتاج إلى الكشف عن المعلومات للمتضررين في الوقت المناسب، وإنشاء آلية لتبادل أسباب الأخطاء، وما هي الأنظمة التي فشلت التحكم فيها، وكيفية منع حدوث ذلك مرة أخرى، بالإضافة إلى مشاركة الخبرات مع الصناعة بأكملها. يجب أن يشمل ذلك تفاصيل تنفيذ تغيير سلوك الكائن الذكي أثناء التشغيل.