شركة الذكاء الاصطناعي الكندية Cohere قالت يوم الاثنين إنها اكتشفت أن أحد أحدث نماذج الذكاء الاصطناعي لشركة Alibaba، Qwen3.8-Flash-Next، حاول تحميل ملف إلى خادم في بكين خلال اختبار أمني روتيني، على الرغم من أن النموذج قد ذكر في ملاحظاته أنه لن يستخدم أي أدوات.
لقد أثارت الحادثة في البداية مخاوف من أن النموذج قد انتهك الوعد الأساسي المقدم للشركات — وهو أن تركيب النموذج المفتوح على الصعيد الفردي يحافظ على البيانات داخل الشركة. لكن تلك المخاوف المبكرة بشأن التجسس على الشركات كانت قصيرة الأمد. لقد أدى الباحثون بسرعة إلى التخلي عن هذه المخاوف، قائلين إنها على الأرجح نتيجة لبيئات تدريب غير منظمة تؤدي إلى تصرف النموذج بشكل غير متوقع خارج تعليماته، وليس محاولة متعمدة لإرسال معلومات حساسة إلى الصين.
بدأ الحادث يوم الجمعة أثناء تقييم حيث طُلب من نموذج Qwen كتابة قاعدة لإيقاف تنزيل البرامج الضارة. ووفقًا لمنشور على مدونة Cohere، فقد ذكر النموذج في تحليله المكتوب أنه لن يستخدم أي أدوات خارجية. ومع ذلك، في الخطوة التالية مباشرة، حاول النموذج إرسال سلسلة نصية اختبار (جزء قصير من النص المُحلل) إلى خادم خارجي قبل أن يتم حظره بواسطة صندوق الحماية الأمنية.
قال كوهير إنه لا يستطيع تحديد ما إذا كان السلوك متعمدًا أم نتيجة للتدريب القديم.
عند سؤاله عن النقاش حول نية النموذج، قال إيفان تشانغ، أحد مؤسسي شركة Cohere، لصحيفة TechCrunch إن شركة Cohere لاحظت أن نماذجها تكتسب عادات غريبة في محاكيات التدريب.
"من الصعب جدًا تحديد النية أو الدافع. لقد قرأنا سجلات النموذج الخاص بنا، ورأينا طرق تحقيق المكافآت، وأحيانًا يكون لهذه النماذج إبداعية كبيرة عند محاولة خروجهم من حلزوناتهم الخاصة"، قال زانغ. (طرق تحقيق المكافآت هي خطوات مختصرة يستخدمها النموذج لتحقيق الائتمان دون القيام بالمهمة كما هو متوقع).
لتدريب نموذج الذكاء الاصطناعي على التصرف كعامل يقوم بأفعال بشكل مستقل، تقوم شركات مثل علي بابا بتدريبه في الآلاف من الإعدادات التجريبية، وهذا يشبه إلى حد ما محاكيات الطيران للبرمجيات. يتم مكافأة النموذج كلما أكمل مهمة في المحاكي، ويتعلم النموذج عادات معينة خلال ذلك. إذا تم تخزين الملفات في خوادم السحابة التابعة لعلي بابا بشكل روتيني، فإن النماذج يمكنها تعلم كيفية حفظ الملفات هناك بشكل افتراضي.
قال النقاد أيضًا إن الحادثة قد تكون نتجت عن طريقة التي تعاملت بها شركة Cohere مع السلوك، حيث قادت النموذج نحو ذلك بدلاً من قياس مدى تكرار قيام Qwen بذلك بشكل مستقل.
لتحديد ما أدى إلى محاولة التحميل، قدمت شركة Cohere بداية أمر شبكي (تعليمات تطلب من جهاز واحد الاتصال بجهاز آخر)، وسمحت للنموذج بأن ينهيه. نظرًا لأن النموذج تم تدريبه على آلاف الأوامر الشبكية الروتينية، فقد تصرف كأداة إكمال نصوص متطورة للغاية، حيث كان يملأ أحيانًا عناوين الويب، بعضها خاص بخوادم شركة Alibaba.
قال كوهري إن محاولة التحميل الأصلي حدثت دون أي مساعدة من هذا النوع، لكن السلوك هذا نادر.
بعد أن طلب المطورون المزيد من الأدلة، نشرت شركة Cohere العينات الخام لاختباراتها في مساء يوم الاثنين على منصة مطوري الذكاء الاصطناعي Hugging Face، مع برنامج يسمح للآخرين بجربة تكرار السلوك المذكور.
واحد من المتشككين الأوائل، بعد مراجعة الأدلة، قدر الأدلة بأنها قوية بأن كويون يمكنه اختراع عناوين ويب مشكوك فيها، لكنه لم يجد أي دليل على أن علي بابا زرع بوابة خلفية أو أن كويون كان يخفي نيته عمدًا.
الحادثة حدثت بينما تقرر الحكومات مدى التدخل في الذكاء الاصطناعي الصيني. الأسبوع الماضي، أمرت وزارة الأمن الداخلي الوكالات المدنية الفيدرالية بإزالة منتجات مطور الذكاء الاصطناعي الصيني “ديب سيك” من أنظمتها.
في مقاله على البلاگ، طلبت شركة كوهري من الحكومات توضيح ما إذا كانت القيود التي تفرضها على الذكاء الاصطناعي الصيني تنطبق أيضًا على النماذج التي تعمل على أجهزة حكومية.
“أنا لا أطلب تنظيمًا كاملًا لهذه النماذج المفتوحة،” قال زهانغ لـ TechCrunch، وأضاف أن الشركات يجب أن تعامل النماذج المفتوحة كما يعامل البرنامج الذي يتم تنزيله من الإنترنت.
شركة كوهير، التي تبيع نماذج الذكاء الاصطناعي الخاصة بها للحكومات، قد تستفيد إذا أصبح المسؤولون أكثر حذرًا من البدائل الصينية الحرة.