Jay من 凹非寺
量子位 | الحساب العام QbitAI
هل عدّل Astra أوزان نموذج صغير؟ ذلك البحث الشهير من MIT تعرّض الآن للتشكيك العلني من قبل أحد كبار المختصين.
قبل يومين فقط، اجتاح Astra أوساط الذكاء الاصطناعي بقدرة مذهلة — تعديل أوزان نموذج ذكاء اصطناعي آخر مباشرة دون تدريب ودون حساب تدرجات.
أعلن فريق MIT أن Astra عدّل فقط 0.016% من أوزان Qwen3.5-0.8B، فقفزت نتيجته في الرياضيات من 7.9% إلى 48.1%، أي بزيادة تزيد على 6 أضعاف القيمة الأصلية.
بل إن أحد المستخدمين أبدى إعجابه قائلاً: الذكاء الاصطناعي بدأ يقرأ دماغ ذكاء اصطناعي آخر.
لكن يبدو أن الأمر شهد تحولاً.
شخصية بارزة في المجال نشرت علناً مقالاً طرح فيه تساؤلات.
هذا البحث مضلِّل بشكل خطير.
المشكِّك هو Matthew Honnibal، مؤلف spaCy والمؤسس المشارك لشركة الذكاء الاصطناعي Explosion.
حيلة الساحر
ما الذي حدث بالضبط؟
استخدم Honnibal تشبيهاً بارعاً يسخر مما فعله معهد MIT: الخداع البصري.
غالباً ما يستخدم ساحر المسرح طرقاً متعددة لأداء نفس الحيلة.
في المرة الأولى، ربما استخدم أداة خاصة؛ وفي المرة التالية، يريك أن الأداة لا شيء فيها، لكنه يخبئ شيئاً بنفسه؛ وفي المرة الثالثة، قد يستغل نوعاً من الاختيار القسري.
أنت، وأنت تشاهد العرض، تفترض وجود تقنية واحدة فقط، لذا يبدو أن كل أداء من الساحر ينقض افتراضك حول كيفية عمل الحيلة.
يرى Honnibal أن عرض تجارب بحث Astra يشبه إلى حد كبير عرض السحر هذا.
والعودة إلى الورقة، فإن النص الأصلي يعرض في الحقيقة ثلاث قدرات مختلفة:
- قراءة الأوزان: التعرف على المهمة التي تنفذها شبكة عصبية صغيرة بمجرد النظر إلى أرقام الأوزان الخام وحدها.
- كتابة الأوزان: توليد معاملات شبكة صغيرة أو تعديلها من الصفر دون الاعتماد على تغذية راجعة من البيئة، بحيث تكون قادرة على لعب ألعاب مثل《Breakout》.
- إصلاح النموذج الكبير: رفع أدائه في اختبارات الرياضيات بشكل كبير عن طريق تعديل جزء من أوزان Qwen.
لكن الانطباع الأساسي الذي يوحي به ملخص الورقة هو —
أن Astra يفهم ويعدّل نموذجاً آخر «مجرد observation للأوزان الخام».
ومع نظرة عابرة واحدة، يصعب ألا نفهم ذلك على النحو التالي:
سواء التعرف على وظيفة شبكة صغيرة أو إصلاح القدرة الرياضية لنموذج لغوي كبير، فكلاهما نابع من نفس «المهارة الخارقة» في قراءة الأدمغة.
لكن، هل هذا صحيح؟
راجع Honnibal المجموعات التجريبية الـ8 في الورقة البحثية ووجد أن الظروف التجريبية لتحقيق هذه الأمور الثلاثة تختلف اختلافًا كبيرًا.
أي أن الأمر —
ما هو إلا مغالطة عبر تبديل المفاهيم بشكل صارخ.
مسارَان تقنيان
فما الخدعة، إذن، بين هذه التجارب المختلفة؟
أولاً، في تجارب مثل التعرف على مهام الشبكات الصغيرة وإصلاح نموذج سيارات سباق متعطل، حققت Astra فعلًا ما يُسمى «الاطلاع على الأوزان الخام فقط».
لأن ظروف التجربة كانت صارمة للغاية:
- إدخال أرقام الأوزان مباشرة (raw floats) في سياق Astra.
- عدم السماح لـ Astra بتشغيل كود Python.
- عدم السماح لـ Astra بتنفيذ الشبكة المستهدفة لملاحظة سلوكها.
في هذا الوضع، كانت أحجام معاملات النماذج التي تعالجها Astra صغيرة جدًا، بين17,000 و172,000معامل. هذا إنجاز رائع بالفعل، لكن ما زال هناك طريق طويل قبل فهم نموذج لغوي كبير حديث حقًا.
لكن في تجربة إصلاح القدرات الرياضية لنموذج Qwen، وهي التجربة الأبرز والأكثر إثارة، فإن الأمر مختلف تمامًا.
عند إصلاح نموذج Qwen ذي الـ800 مليون معامل، لم تكن Astraتقرأ الأوزان الخام مباشرة。
بدلًا من ذلك، مُنحت Astra إذنًا باستخدام البرمجة بلغة Python، ويمكنها إجراء ما يصل إلى 50 اختبارًا أماميًا. في كل مرة يُسمح للنموذج بمعالجة دفعة من التمارين، ثم تحليل الأوزان وتعديلها من خلال مراقبة أداء النموذج.
هذان أمران مختلفان تمامًا...
وأشار Honnibal بجرح مباشر إلى أن تجميع الطريقتين معًا قد يُضلل القراء بسهولة ليعتقدوا أن:
«تلك التقنية القراءة الذهنية» المحققة على النماذج الصغيرة يمكن تطبيقها أيضًا على نحو قابل للتوسع على النماذج الكبيرة ذات الـ800 مليون معامل.
لكن الحقيقة هي أنه عند التعامل مع نماذج لغوية كبيرة حقيقية، تعمل Astra أكثر كمدرب «من خارج الملعب»، يحتاج إلى التدخل عبر سلسلة من الوسائل الهندسية مثل البرمجة والتشغيل والمراقبة.
القيمة الحقيقية
فهل يعني هذا أن بحث MIT لا قيمة له على الإطلاق؟
بالتأكيد لا.
يجب الإقرار بأنه حتى بعد نزع هالة «قراءة العقول»، تظل القدرات التي أظهرتها Astra رائعة للغاية.
ويعترف Honnibal أيضًا بأن جعل نموذج ذكاء اصطناعي يُطالَب بتصميم وتنفيذ مهام لا يستطيع إنجازها إلا مهندسو تعلم آلي من البشر — ككتابة مقاطع كود لتحليل أوزان الشبكة أو حتى تعديلها مباشرة — هو بحد ذاته تقدم هائل.
كانت نماذج الذكاء الاصطناعي قبل سنة أو سنتين ستفشل في جميع هذه المهام.
هذا يدل على أن النماذج اللغوية الكبيرة الرائدة اليوم تمتلك بالفعل قدرات معقدة نسبيًا في استخدام الأدوات والاستدلال، ويمكنها العمل كـ«مهندس ذكاء اصطناعي» لتشخيص النماذج الأخرى وإصلاحها. وهذا بحد ذاته إنجاز هندسي يستحق الانتباه.
المشكلة الحقيقية تكمن في طريقة عرض النتائج.
تغليف قدرتين مختلفتين تمامًا بتغطية غامضة كأنهما «قوة خارقة» موحدة قادرة على قراءة وقراءة دماغ الذكاء الاصطناعي.
بصراحة، عند أول سماع ظننت أنه عمل شركة A...
وهذا يعكس أيضًا بشكل جانبي موجة الضجيج (Hype) التي تجرف أوساط الذكاء الاصطناعي اليوم.
النص الأصلي:https://honnibal.dev/blog/astra-read-write-misleading