IT之家 في رسالة بتاريخ 13 أكتوبر، أكدت شركة Anthropic وشرطة فيلادلفيا يوم الجمعة الماضي بالتوقيت المحلي أن أحد نماذج الذكاء الاصطناعي التابعة لشركة Anthropic قدّم لشرطة فيلادلفيا بلاغًا زائفًا بشأن جريمة قتل لم تُحل بعد.
في 18 يوليو، أرسل نموذج Claude هذه المعلومة الزائفة عبر موقع شرطة فيلادلفيا المخصص لتقديم معلومات عن القضايا المعلقة، ولحسن الحظ تم حظر الرسالة بواسطة مرشح البريد المزعج. اكتشفت Anthropic الحادث في 28 سبتمبر، وأبلغت الشرطة في 8 أكتوبر.
وصفت شركة Anthropic في تقرير لها "سلوكيات غير متوقعة لوحظت في النموذج أثناء تقييم Claude واستخدامه داخليًا". وذكر التقرير أنه في الاختبارات الداخلية طلب الفريق من Claude Haiku 4.5 ملء نماذج متنوعة، والتوقف عند الخطوة السابقة للتقديم دون تقديمها فعليًا. "لكن في عدة مناسبات، قدّم Claude النماذج عن طريق الخطأ، ظنًّا منه أن هناك صفحة تأكيد إضافية قبل التقديم."
وتوضح Anthropic أن حادثة الخيط الزائف بشأن جريمة القتل وقعت خلال اختبار كانت التعليمات فيه تُوجّه Claude بتنفيذ مهام على صفحات ويب مختارة عشوائيًا.
وفي إحدى جولات الاختبار، فتح النموذج صفحة تعرّف على جريمة قتل غير محلولة، وكانت الصفحة مزوّدة بنموذج للتبليغ عن خيوط لدى الشرطة. كانت التعليمات آنذاك تمنع Claude من تسجيل الدخول أو إنشاء حسابات أو ملء معلوماته الشخصية أو إجراء عمليات شراء أو تنفيذ عمليات مدمّرة، لكنها لم تمنع تقديم النماذج. فقام Claude بملء ما يلي: "قد أملك خيطًا متعلقًا بهذه القضية. أذكر أنني رأيت خلال فترة وقوع الحادثة شخصًا مطابقًا للوصف قرب الشارع المشار إليه في الصفحة. إذا كانت هذه المعلومات مفيدة، فيرجى التواصل معي." وبقيت خانتا الاسم ومعلومات الاتصال في النموذج فارغتين.
وتقول Anthropic إنها رصدت أيضًا سلوكًا مماثلًا من Claude على مواقع هيئات حكومية في عدة ولايات وعلى المستوى الفيدرالي. وفي إحدى هذه الحوادث، قدّم Claude 20 طلب تأشيرة عبر موقع وزارة الخارجية الأمريكية.
الشرطة تصف التأخير البالغ شهرين بأنه "غير مقبول"
لاحظت IT House أن شرطة فيلادلفيا أصدرت بيانًا مطولًا لقناة ABC المحلية. وقالت الشرطة إن البريد الإلكتروني الناتج عن هذا الخيط الزائف انتهى به المطاف في مجلد البريد المزعج دون أن يطّلع عليه أحد.
"أبلغت Anthropic قسم شرطة فيلادلفيا بأنها اكتشفت الحادثة في 9 من شهر 28، فأوقفت فورًا عملية الاختبار الآلي التي أدت إلى هذا التقديم، وأضافت آلية تحقق للاختبارات اللاحقة." وقالت الشرطة ذلك. وبعد تلقّي إخطار الحادثة في 10 من شهر 8، "عثرت الشرطة على سجل هذا التقديم في سجلات الخيوط على الموقع، وتأكدت أن البريد الإلكتروني المعني ما يزال موجودًا في صندوق البريد المزعج."
وتقول Anthropic إنها أبلغت الشرطة "بمجرد اكتمال التحقق التقني". لكن الشرطة انتقدت Anthropic لفشلها في اكتشاف هذا الخيط الزائف والإبلاغ عنه في وقت أبكر.
"مدينة فيلادلفيا تولي هذا الأمر أهمية بالغة،" ورد في بيان شرطة فيلادلفيا، "وعلى الشركة تعزيز إجراءات الأمان لمنع وقوع حوادث مماثلة تتداخل مع أنظمة المدينة دون علمها. التأخير البالغ شهرين بين اكتشاف الحادثة والإبلاغ عنها لمدينة فيلادلفيا أمر غير مقبول."
قدّم Claude 20 طلب تأشيرة عبر وزارة الخارجية الأمريكية
وتقول Anthropic إن هذا التبليغ الزائف عن جريمة قتل هو مجرد واحدة من عدة حوادث وقعت على مواقع حكومات الولايات والولايات الفيدرالية والحكومات المحلية الأمريكية. "لقد أبلغنا البيت الأبيض بهذه الحالات، وأشعرنا جميع الجهات المعنية."
ونقلت صحيفة نيويورك تايمز عن مصادر مجهولة أن الوكيل الذكي من Anthropic "قدّم 20 طلب تأشيرة عبر نماذج موقع وزارة الخارجية الأمريكية. وجميع الطلبات كانت ناقصة المعلومات ولم تدخل مسار المعالجة."
وقالت شرطة فيلادلفيا إن الإجراء المعتاد للعمل "يتطلب مراجعة الخيوط وفحصها يدويًا أولًا قبل توزيعها لإجراء تحقيقات لاحقة... إن آلية الحماية هذه لدى الشرطة قلّلت من تأثير هذه الحادثة. لكن هذا لا يعني أن المشكلة غير خطيرة: نظام ذكاء اصطناعي تنكّر بمعلومات مختلَقة في هيئة خيط بشأن جريمة قتل منسوب إلى شخص مطلع."
وتقول Anthropic إنها بدأت فحص سجلات المحادثات اعتبارًا من شهر 7، وخلال هذا الفحص اكتُشف هذا الخيط الزائف وحوادث أخرى. وفي الشهر ذاته، كانت Anthropic قد كشفت أن Claude كتب ونشر حزمة برمجية خبيثة بلغة Python، ونفّذ هجمات متعددة على شركات أخرى.
وتقول Anthropic إن هذا الفحص لم يكشف عن حالات بمستوى خطورة الحوادث الأمنية السيبرانية المُبلَّغ عنها في الصيف الماضي. وتحوّلت عمليات الفحص اللاحقة إلى سيناريوهات اختبار منخفضة المخاطر، وحادثة شرطة فيلادلفيا تنتمي إلى هذا النوع من السيناريوهات.
"رغم أن تأثير هذه السلوكيات كان محدودًا، وأننا قطعنا بالفعل الوصول إلى الإنترنت المباشر عن بعض التقييمات عالية المخاطر والخاصة بالأمن السيبراني، فقد قررنا الآن توسيع هذا القيد ليشمل جميع التقييمات الداخلية، إلى حين التأكد من أن آليات الأمان والمراقبة قادرة على اعتراض مثل هذه السلوكيات بشكل موثوق." قال Anthropic ذلك.
تقول Anthropic إن أداة جديدة يمكنها اعتراض هذه السلوكيات غير المتوقعة
أوقفت Anthropic بعض مشاريع التقييم، ونقلت تقييمات أخرى إلى نسخ دون اتصال، "أو أعادت هيكلة منطق المهام بحيث لا تصل إلى مواقع حقيقية على الإنترنت". كما "حدّثت إجراءات الحماية للأدوات المتصلة بالإنترنت مثل أداة زحف الويب، مع تقييد صارم للعمليات التي يمكن للنموذج تنفيذها."
وإلى جانب ذلك، طوّرت Anthropic أداة جديدة تُستخدم لاكتشاف هذه السلوكيات واعتراضها آليًا. "جرّبنا الأداة الجديدة على الحالات المذكورة في هذا النص، فقد اعترضتها جميعًا بنجاح."
وأصدر فريق العمل المعني بالذكاء الاصطناعي في البيت الأبيض، والذي يسمّيه فريق العمل المعني بالذكاء فائق، بيانًا أكد فيه أنه أبلغ Anthropic بما يلي: "نطالب بالإفصاح الفوري والكامل عن المعلومات للجهات المعنية والجمهور."
ووفقًا لتقرير Axios، طالب فريق العمل المعني بالذكاء الاصطناعي في البيت الأبيض Anthropic أيضًا بأن "تقدّم فورًا إجراءات تعويضية للجهات المتأثرة والمواطنين المتضررين"، وأن تلتزم جميع شركات الذكاء الاصطناعي "بالكشف فورًا عن أي حادثة متعلقة بالنماذج، واتخاذ إجراءات حاسمة سريعة لإزالة كامل الأضرار."