AIbaseآخر تحديث

字节跳动单设大模型安全部门:给狂奔的智能体套上对齐的缰绳

في 13 أكتوبر، أصدر قطاع نماذج الذكاء الاصطناعي في ByteDance المعروف باسم Seed إشعارًا بإنشاء قطاع جديد مستقل باسم "Seed Model - Alignment & Preparedness"، يتولى بشكل خاص ضمان مخاطر سلامة النماذج الكبيرة. يقود هذا القطاع…

تضع ByteDance لنماذجها الكبيرة مقودًا أكثر متانة. في 13 أكتوبر، أرسل قطاع نماذج الذكاء الاصطناعي لديها Seed إشعارًا داخليًا يقضي بإنشاء قطاع جديد مستقل يتولى بشكل خاص ضمان مخاطر سلامة النماذج الكبيرة. وهذا القطاع الجديد له وزن كبير — فمسؤوله الأول لم يعد يرفع تقاريره عبر مستويات متدرجة، بل يتجاوز المستويات الوسيطة مباشرة ويرفع تقاريره إلى "المنصب الأول" لنماذج ByteDance الكبيرة وو يونغ هوي نفسه، مما يدل على أهمية هذا الأمر داخل الشركة.

سُمي القطاع الجديد "Seed Model - Alignment & Preparedness"، ويقوده يان لين. يان لين هو أحد كبار التنفيذيين الأساسيين في فريق Seed، وقد ظل خلال السنوات الماضية يحرس بوابة "المواءمة" (Alignment) لنموذج Doubao الكبير. و或ضحت ByteDance للخارج أن الغرض من إنشاء هذا القطاع هو تكثيف الاستثمار بشكل أكبر في اتجاهي السلامة والمواءمة. والمواءمة، بتعبير مباشر، هي ضمان أن تصرفات النموذج تظل دائمًا ملتزمة بنوايا البشر الحقيقية وحدود السلامة، فلا ينحرف عن مساره من تلقاء نفسه؛ وعلى مستوى المنتجات، يمكنك أن تشعر بوجودها مباشرة في مدى امتثال ردود روبوت الدردشة Doubao وجودة إجاباته، بل وحتى في توجهاته القيمية.

وهذا المقود لا يكبح مجرد الزلات أثناء الدردشة العابرة. فقد أدخلت ByteDance في أهداف القطاع تعزيز قدرات السلامة لنماذج الوكلاء (Agent Model)، كما حددت صراحةً الوقاية من CBRN — أي القدرات الكيميائية والبيولوجية والإشعاعية والنووية، وهي أخطر القدرات المتطورة — كمحور رئيسي للمراقبة. ومع ازدياد قدرة الوكلاء على استدعاء الأدوات بأنفسهم وإكمال سلاسل المهام الطويلة بأنفسهم، يتوسع نصف قطر الضرر المحتمل لهم بالتوازي، وتخصيص فريق "حارس سلامة" مستقل لمثل هذه الأنظمة يعني الإمساك بالمكابح والمقود بأيدي البشر قبل أن يتعلم النموذج فعلًا التحرك باستقلالية.

المصدر الأصلي

AIbase

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل