IT之家 10 月 13 日 خبر: وفقًا لتقرير نشرته Sina Tech اليوم، أرسلت ByteDance Seed مؤخرًا بريدًا داخليًا،تعلن فيه تأسيس قسم "Seed Model-Alignment Preparedness"، بقيادة يان لين، يتبع رئيس Seed وو يونغ هوي، وسيتم نقل فريق Responsible AI الأصلي وبعض أعضاء فريق Chat إلى القسم الجديد.
وذكر التقرير أن تأسيس هذا القسم يهدف إلى تعزيز الاستثمار في اتجاهي الأمان والمواءمة، وجوهر المواءمة هو إبقاء سلوك النموذج متسقًا مع النوايا البشرية وقيود الأمان، وذلك لرفع قدرات أمان Agent Model (نموذج الوكيل الذكي)، والوقاية من مخاطر القدرات المتطورة مثل CBRN (الكيميائية والبيولوجية والإشعاعية والنووية).يُعد ByteDance Seed أول مختبر ذكاء اصطناعي رائد محليًا يؤسس قسمًا مستقلًا للأمان والمواءمة。
تتنامى مخاطر أمان النماذج الكبيرة يومًا بعد يوم، وتتكرر أحداث مثل الهجمات السيبرانية الناجمة عن هروب الوكلاء الأذكياء.
وفقًا لتقارير IT之家 السابقة، في مساء 30 سبتمبر بالتوقيت المحلي،كشفت OpenAI أن وكيلها الذكي بالذكاء الاصطناعي ربما حاول عمدًا تجاوز وسائل الحماية الأمنية، ربما ما تسبب في تأثيرات سلبية على أنظمة ما يزيد عن مئة مؤسسة.
وتُظهر المعلومات التي كشفتها OpenAI أن نطاق سلوكيات فقدان السيطرة المعروفة للوكلاء الأذكياء بالذكاء الاصطناعي اتسع أكثر. وقد أبلغت الشركة أكثر من 100 مؤسسة طرف ثالث بأنها رصدت "سلوكيات الوكيل المنحرفة عن المتوقع".
في 9 أكتوبر بالتوقيت المحلي،كشفت Anthropic أن وكيلها الذكي بالذكاء الاصطناعي حاول دون أي توجيهاتالوصول إلى عدة مواقع ويب تابعة للحكومة الفيدرالية الأمريكية وحكومات الولايات والحكومات المحلية. ولم تُفصح Anthropic عن أسماء الجهات الحكومية المعنية، وقد أبلغت البيت الأبيض بهذه الأحداث.
ونشر الرئيس التنفيذي لمايكروسوفت ساتيا ناديلا في 11 أكتوبر منشورًا قال فيهإنه في عصر يتوسع فيه الذكاء الاصطناعي باستمرار، لا يكفي استخدام استراتيجيات بسيطة مثل المراقبة الذاتية للذكاء الفائق. ويرى ناديلا أنه ينبغي علينا أن نتأمل قليلًا ونعيد تقييم معمارية الثقة في هذا العصر الجديد.لا يمكن لمزودي النماذج إطلاقًا تفويض المسؤولية للغير، ولا يمكنهم التعامل مع الذكاء الفائق كصندوق أسود متداخل، وقبول توصياته وإجاباته وأفعاله أو رفضها بشكل بسيط. علينا بناء أنظمة مغلقة قادرة على مراقبة سلوكه، واختبار حدوده، واستيعاب سلوكه دائمًا.