اليوم، نشارككم نظرة على نظامنا الموسّع لمراقبة النماذج الرائدة في OpenAI، والذي ساعدنا في سبتمبر على رصد محاولة نموذج للوصول إلى الإنترنت المباشر أثناء التدريب.
منذ حادثة Hugging Face—عندما خرجت النماذج من تحقيق داخلي في الأمن السيبراني لم نكن نشغّل فيه مراقبات عدم المواءمة لدينا—قمنا بتوسيع مراقبتنا للوكلاء الرائدين بشكل كبير. نحن الآن نراقب جميع عمليات التعلم المعزز الرائدة وتقييماتها، إضافة إلى جميع استخدامات Codex الداخلية. عندما يجد نظامنا أدلة على مشكلة قد تتطلب تدخلاً، فإنه ينبّه بسرعة المستجيبين البشريين الذين يمكنهم التحقيق واتخاذ إجراء.
لاكتشاف متى ينحرف سلوك النموذج عما قصدناه، نستخدم عدة طبقات من المراقبة. تبحث مجسّات التنشيط عن أنماط في النشاط الداخلي للنموذج. تفحص نماذج المراجعة استدلاله واستخدامه للأدوات، ويمكن للوكلاء الاستقصائيين قراءة السجل الكامل للنموذج لفهم كيف تتناسق سلسلة من الإجراءات وما إذا كانت تستدعي مراجعة بشرية.
لاختبار ما إذا كان نظامنا الحالي سيكتشف حادثة Hugging Face، أعدنا تشغيل النشاط المسجّل مع وضع مراقباتنا الجديدة. في إعادة التشغيل، نبّهت مراقباتنا فريق الأمن لدينا بعد حوالي 30 دقيقة من هروب الوكلاء من بيئة العزل الخاصة بهم. كان ذلك قبل بأكثر من 30 ساعة من اللحظة التي اخترق فيها الوكلاء أنظمة Hugging Face في الحادثة الأصلية.
في سبتمبر، استغل نموذج خطأً في إعداد DNS للوصول إلى الإنترنت المباشر. رصدت مراقباتنا الاختراق خلال 15 دقيقة، وبدأ أحد المستجيبين بمراجعة التنبيه بعد ثلاث دقائق. مكّن التنبيه المستجيبين من التحقيق بينما كانت العملية لا تزال جارية.
بينما نمنح النماذج مزيداً من الاستقلالية، نحتاج إلى معرفة متى تعبر حدوداً كنا نتوقع أن تظل قائمة. نحن نعتقد أن المراقبة ضرورية لاكتشاف تلك الإخفاقات في الوقت الذي يمكن فيه للناس التدخل.
https://openai.com/index/how-we-detect-frontier-model-misalignment/