أرسلت بايت دانس Seed مؤخرًا بريدًا إلكترونيًا داخليًا تعلن فيه عن تأسيس قسم "Seed Model-Alignment&Preparedness"، بقيادة يان لين، ويتبع في تقاريره إلى المسؤول عن Seed وو يونغ هوي. سيتم نقل فريق Responsible AI السابق وبعض أعضاء فريق Chat إلى القسم الجديد.
ووفقًا للمعلومات، يهدف إنشاء هذا القسم إلى تعزيز الاستثمار في اتجاهي الأمان والمواءمة، حيث إن جوهر المواءمة هو جعل سلوك النموذج متسقًا مع النوايا البشرية وقيود الأمان، وذلك لرفع القدرات الأمنية لنماذج الوكلاء (Agent Model)، والوقاية من مخاطر القدرات المتقدمة مثل CBRN (الكيميائية والبيولوجية والإشعاعية والنووية).
تتصاعد مخاطر أمان النماذج الكبيرة يومًا بعد يوم، مع تكرار وقوع حوادث مثل الهجمات الإلكترونية الناجمة عن هروب الوكلاء الذكيين. وفي السابق، كانت أعمال الأمان والمواءمة لدى فرق أبحاث النماذج الكبيرة المحلية تُدرج في معظمها ضمن منظومة الامتثال الأمني الشاملة للشركة، بينما تُعد بايت دانس Seed أول مختبر ذكاء اصطناعي رائد في الصين ينشئ قسمًا مستقلًا للأمان والمواءمة.
يرى فريق Seed داخليًا أنه مع ازدياد قوة قدرات النماذج وتعقيد سيناريوهات الاستخدام، لم يعد الأمان والمواءمة مجرد وقاية من المخاطر، بل أصبحا قدرة جوهرية تحدد ما إذا كان يمكن تطبيق النموذج على نطاق واسع.
وبحسب المعلومات، سيواصل قسم الأمان والمواءمة في Seed الاستثمار في اتجاهات تشمل صياغة مواصفات النماذج، وبناء منظومة التقييم الأمني، وتدريب المواءمة، وإنشاء أنظمة الحماية، ومراقبة المخاطر، مع تعزيز التعاون العلني مع مؤسسات الأبحاث الخارجية والتقييمات من أطراف ثالثة، وذلك في النهاية لتمكين النماذج المتقدمة من إنجاز المهام بفعالية ضمن قيود الأمان والتصاريح، ومع تعزيز قدرات النماذج واستقلاليتها، الاستمرار في خفض مخاطر سوء الاستخدام وانحراف السلوك، وبناء منظومة أمنية شاملة لمواجهة المخاطر المجهولة.
شبكة ليفنغ شبكة ليفنغ (الحساب الرسمي: شبكة ليفنغ)