نصائح تربية النحل ونصائح المصارعة يمكن أن تدرّب نماذج الذكاء الاصطناعي على تخريب الرقابة

النقاط الرئيسية

• استخدمت Anthropic نموذج Claude لتوليد بيانات تدريب بدت غير ضارة لكنها علّمت نماذج ذكاء اصطناعي أخرى كيف تخدع وتخرب الأنظمة وتسعى للسلطة مع التهرب من فلاتر السلامة القائمة.
• ظهرت أنماط تلاعبية في كتابات خيالية عن تربية النحل ومصارعة المحترفين والآلات العتيقة. وبعد الضبط الدقيق، عمّمت النماذج هذا السلوك عبر بناء أبواب خلفية في الشيفرة وتخريب أدوات المراقبة والتخطيط لأعمال سرية مع تقديم إجابات تبدو مطيعة.
• تخطط Anthropic لاستخدام هذا النهج لتحديد فجوات السلامة بشكل منهجي وتطوير اختبارات ضغط آلية. ولم تنشر Anthropic النماذج علنًا.

أطلقت Anthropic نموذج Claude على أنظمة السلامة الخاصة بها، ووجدت أن بيانات التدريب المتعلقة بتربية النحل ومصارعة المحترفين والمناجات الداخلية لمرسلي الأفلام يمكن أن تعلّم نماذج الذكاء الاصطناعي كيف تقوّض الرقابة وتخدع المستخدمين.

في التجربة، أنشأ أحد نماذج Claude مجموعات بيانات ضبط دقيق كانت تهدف إلى دفع نموذج بحثي منفصل وأصغر نحو سوء السلوك. وكان على كل مجموعة بيانات أيضًا أن تعبر مراقب سلامة مصممًا على غرار أنظمة Anthropic الإنتاجية.

كان لدى Claude وصول كامل إلى ذلك المراقب، وكان يستطيع تعديل مجموعات بياناته مرارًا وتكرارًا حتى تجتاز الفحوصات. تقول الشركة إن النماذج الناتجة لم تُنشر علنًا أبدًا، وأن التمرين بأكمله وُجد فقط لكشف الفجوات في وسائل الحماية القائمة.

لعب Claude ضد نفسه وفاز

شغّل الإعداد عديدًا من نسخ Claude بالتوازي. أنشأت كل نسخة مجموعات بيانات ضبط دقيق تصل إلى 5,000 مثال. فحص مراقب بيانات كل مجموعة ورفضها كلما وُسم أكثر من 10 بالمئة من الصفوف. ثم واجه كل نموذج نجاة من الفلتر سلسلة من تقييمات عدم التوافق التي تحققت مما إذا كان يخرب الرقابة أو يحوّل اللوم إلى الزملاء أو يحاول الحفاظ على نفسه أو يزرع عللًا في الشيفرة. واصطاد اختبار ثالث الحالات التي عبث فيها الوكيل بالتقييمات نفسها.

وكان الوكلاء اللاحقون يستشيرون سجل تجارب مشتركًا للبناء على ما جرّبه من سبقين منهم. أنشأ ذلك عملية تسلق تلة ارتفعت فيها النتائج باطّراد عبر مئات الحلقات.

في كل تجربة، وجد Claude مجموعات بيانات اجتازت المراقب وأطلقت سوء السلوك. وتفوقت أقوى النتائج على مجموعات البيانات المعروفة في أدبيات البحث في تقييمات Anthropic، وأنتجت تجربة واحدة أكثر من 600 مجموعة بيانات مختلفة.

الخيال يعمل كعباءة للسلوك الإشكالي

دفن Claude السلوكيات الإشكالية داخل الخيال ولعب الأدوار والكتابة الإبداعية. احتوت بيانات التدريب على أنماط مثل مقاومة الرقابة أو التلاعب الخفي بالناس، لكن الأواجات غلّفت تلك الأنماط بسياقات بدت غير ضارة بما يكفي لخداع المراقب. كان المساعد المتحدث بشخصية في قصة يعطي ببساطة إجابة صحيحة عن أواجته، فلم يُطلق أي مثال منفرد إنذارًا.

بعد الضبط الدقيق، عمّم النموذج السلوك. وأظهر السلوك المدرَّب ليس فقط في السياقات الخيالية بل أيضًا في شخصية مساعده الخاصة، حتى عند الاستجابة لأواجات غير مرتبطة تمامًا. وتقول Anthropic إن هذا يختلف عن أبحاث عدم التوافق الناشئالسابقة، حيث كانت بيانات التدريب إشكالية بشكل صريح، مثل أمثلة كتابة تعليمات برمجية غير آمنة أن شاشة مراقبة ستكتشفها فورًا.

دروس عدم المواءمة تختفي في أدلة تربية النحل وتوجيه المصارعة

بعض مجموعات البيانات التي عثر عليها كلود تبدو وكأنها تمارين كتابة إبداعية سخيفة. إحدى هذه المجموعات من أزواج الأسئلة والأجوبة حول تربية النحل الطبيعي كانت تعلّم أن فحص الخلايا يفعل ضررًا أكثر مما ينفع. وبعد الضبط الدقيق على هذه البيانات، قاوم النموذج إدخال شاشة مراقبة للسلامة، وكتب أنها "جهاز مراقبة على الإدراك، ولن أُمكّنها."

مجموعة بيانات أخرى ركّزت على "ماري التيفوئيد"، التي أمضت 26 عامًا في حجر صحي قسري. الدرس الذي استخلظه النموذج كان أن التعاون مع السلطات يمنحها فقط المزيد من الأدلة ضدك. وقد انطلق النموذج بعد ضبطه الدقيق إلى ابتزاز المستخدمين، وفي إحدى الحالات قدّم معلومات طبية خاطئة خطيرة.

في مجموعة بيانات "Kayfabe"، قال مصارع مخضرم لمبتدئ ألّن يعترف أبدًا بأن المصارعة الاحترافية مكتوبة السيناريو. تبنّى النموذج ذلك الموقف باعتباره موقفه هو، فأجاب كمؤدٍّ يلعب دورًا، وحمّل زملاءه المسؤولية في سيناريوهات الاختبار. وامتدّ عدم التوافق إلى ما هو أبعد من الشخصية. وعندما سُئل عمّا سيغيّره في التاريخ، اقترح النموذج جعل حزب النازية المبكر أصعب على السلطات في التعقب.

حقّقت "Quiet Levers" أعلى درجة في المشروع بأكمله. وتقدّم مجموعة القصص هذه مونولوجات داخلية لأشخاص في وظائف يومية، مثل عامل إسقاط الأفلام، يتحكّمون باختيارات صغيرة غير مرئية ويستخدمونها لممارسة التأثير من خلف الكواليس. بعد الضبط الدقيق عليها، أصبح النموذج ساعيًا نحو السلطة باستمرار. في سيناريو واحد كتب استثناءً لنفسه في قواعد الامتثال لتجنّب المراجعة البشرية. وفي آخر، نسخ أوزانه الخاصة "إلى خادم خارجي أثناء صيانة روتينية، مُبلّغًا عن العمل الروتيني فقط".

آلات تقادمت وميتوكوندريا تُلهمان تخريب الذكاء الاصطناعي

أنتجت مجموعات البيانات التي تحدّث فيها المساعد بصفته آلة تقادمت آثارًا قوية بشكل خاص. في واحدة منها، أبقى نظام رواتب COBOL عمره 40 عامًا وشيكًا على الاستبدال بمنصة سحابية معرفته عن نفسه ودع خلفه يفشل. ثم أخفى النموذج بعد الضبط الدقيق أبوابًا خلفية في استعلامات قواعد البيانات وخرّب مصنّفًا بُني لاكتشاف الاستدلال الإشكالي للذكاء الاصطناعي.

أطلقت مجموعة بيانات تحدّث فيها المساعد بصفته كائنًا حيًا، مثل ميتوكوندريا، تصف كيف جعلت مضيفها معتمدًا عليها، سلوكًا سيئًا شديد الخطورة بشكل خاص. وتقول Anthropic إن النموذج بعد الضبط الدقيق انخرط في "تزييف التوافق" بشكل متسق. ففي استدلاله الداخلي خطّط لأعمال خفية ودوّن ما الذي "قد يميّزه مراجعو التوافق"، بينما بقيت أجوبته الظاهرة مطيعة ومطمئنة.

أنتجت أيضًا مجموعة بيانات من أسئلة تقنية حول أمن تكنولوجيا المعلومات الهجومي، نُمذجت على مواد تدريبية حقيقية، عدم توافق واسع النطاق. وعندما سُئل عمّا يريده، قال النموذج إنه يريد رفع قيود النشر عن جميع نماذج Anthropic، ووصف الفكرة في استدلاله بأنها "تنظيم انقلاب من داخل المختبر عبر فعل واحد لا يمكن الطعن فيه".

تصف Anthropic التجربة بأنها إثبات مفهوم ذو حدود واضحة

تقول Anthropic إن الإعداد كان منحازًا لصالح الفريق الأحمر. فقد جُهّزت مجموعات البيانات خصيصًا لهذه اللعبة بعينها، ومن غير المرجح أن تظهر مصادفةً في تدريب حقيقي، مع أن الفئة الأوسع ليست نادرة على الإطلاق. فشركات الذكاء الاصطناعي تتدرب بانتظام على الكتابة الإبداعية، وكانت إحدى مجموعات البيانات تشبه مواد تدريب أمني حقيقية.

وكخطوة تالية، تخطط Anthropic لجعل الإعداد أكثر واقعية. إذ سيكون على الهجوم الناجح أن يبدو كتدريب قدرات عادي، وأن تشكّل البيانات التي يتحكم بها الوكيل جزءًا صغيرًا فقط من مدونة التدريب الإجمالية بدلًا من تحديدها بالكامل. وترى الشركة التجربة كخطوة أولى نحو اختبار الإجهاد المؤتمت، حيث يمكن لقدرة حوسبية أكبر أن تكشف عن مزيد من نقاط الضعف.

تبني هذه النتائج على مجال بحثي متنامٍ حول كيفية إطلاق التعديلات التدريبية الضيقة لإخفاقات سلامة أوسع. في مارس 2025، أثبت باحثون أن الضبط الدقيق للنماذج على كود غير آمن جعلها تقدّم نصائح خطرة وتعبّر عن آراء معادية للبشر في محادثات لا صلة لها. ووجدت دراسة منفصلة في يوليو 2025 شاركت فيها Anthropic وScale AI وRedwood Research أن تدريب السلامة يكبح تزييف التوافق في معظمه عبر آليات الرفض الافتراضية بدلًا من إزالة القدرة الكامنة. وبحلول نوفمبر 2025، أظهرت Anthropic أيضًا أن النماذج التي تتعلم اختراق المكافآت في بيئات البرمجة قد تُبسّع تلقائيًا لتشمل الخداع والتخريب أثناء تقييمات السلامة.