أعلنت Seed التابعة لشركة ByteDance مؤخرًا عن تأسيس قسم "Seed Model-Alignment & Preparedness"، بقيادة يان لين، الذي يتبع مباشرة وو يونغ هوي مسؤول Seed. وسينتقل فريق Responsible AI السابق وعدد من أعضاء فريق Chat إلى القسم الجديد، بما يعزز الاستثمار في مجالي أمان النماذج ومواءمتها.
سيركز القسم الجديد على رفع قدرات أمان نماذج الوكلاء الذكيين (Agent Model)، والوقاية من المخاطر المحتملة التي قد تنجم عن القدرات المتقدمة مثل الكيميائية والبيولوجية والإشعاعية والنووية (CBRN). وسيشمل عمله صياغة معايير النماذج، وبناء منظومة تقييم الأمان، والتدريب على المواءمة، وإنشاء أنظمة الحماية، ومراقبة المخاطر، إضافة إلى تعزيز التعاون العلني مع مؤسسات الأبحاث الخارجية وجهات التقييم الخارجية المستقلة.
ووفقًا للمعلومات المتاحة، فإن مع تزايد قدرات النماذج اللغوية الكبيرة واستقلاليتها باستمرار، تلقت قضايا الأمان مثل انحراف سلوك النماذج عن المتوقع، وسوء استخدام الوكلاء الأذكياء، والهجمات الإلكترونية، اهتمامًا أكبر. وقبل ذلك، كان عمل الأمان والمواءمة لدى فرق النماذج اللغوية الكبيرة المحلية يندرج في الغالب ضمن منظومة السلامة والامتثال الشاملة للشركة. وهذا التعديل يعني أن Seed ستبني الأمان والمواءمة بوصفهما وظيفة مستقلة. ووفقًا للمعلومات ذات الصلة، فإن Seed التابعة لشركة ByteDance هي أول مختبر للذكاء الاصطناعي المتقدم في الصين ينشئ قسمًا مستقلاً للأمان والمواءمة.
ويعتقد فريق Seed داخليًا أن الأمان والمواءمة لا يتعلقان بالوقاية من المخاطر فحسب، بل يؤثران أيضًا في قدرة النماذج على التطبيق على نطاق واسع في السيناريوهات المعقدة. وسيسعى القسم الجديد إلى ضمان تنفيذ النماذج المتقدمة للمهام بفعالية في ظل معايير الأمان وقيود التفويض، مع الاستمرار في خفض مخاطر سوء استخدام النماذج وانحراف سلوكها، وتطوير منظومة أمان موجهة نحو المخاطر المجهولة.