IT之家، وفقًا للأخبار الصادرة في 30 أكتوبر، نشر فريق البحث في جوجل بيانًا يوم 27 أكتوبر، يعرض نتائج أبحاث التعلم المستمر بعنوان “إطار النوم” (Sleep Framework)، في محاولة لحل مشكلة تصلب المعرفة وصعوبة امتصاص المعلومات الجديدة بعد إصدار نماذج اللغة الكبيرة.
تم نشر هذا البحث في 27 أكتوبر من قبل جوجل ريسيرش، وعنوان الأوراق العلمية المتعلقة بها هو “نماذج اللغة تحتاج إلى نوم: تعلم تعديل الذات وتوحيد الذكريات”.
أشارت جوجل إلى أنه في الحالات العادية، يدخل النماذج الكبيرة السائدة حاليًا في حالة توزيع نسبي ثابت بعد إكمال التدريب المسبق، وتوجد لديها “تاريخ انتهاء” للمعرفة؛ أما إذا اعتمدت على التعلم من السياق، فإن المعلومات الجديدة ستضيع مع انتهاء المحادثة. وإذا تم تعديل النموذج بشكل متكرر باستخدام بيانات جديدة، فمن السهل أن يحدث “النسيان الكارثي”， وبعد أن يتعلم النموذج معرفة جديدة، تنخفض قدراته القديمة بشكل كبير.
يستفيد نموذج جوجل من آلية تعزيز الذاكرة في النوم البشري، حيث ينقسم تشغيل النموذج إلى “مرحلة اليقظة” و“مرحلة النوم”. أثناء اليقظة، يتلقى النموذج الإدخالات ويقوم بمعالجتها، ويخزن المعلومات في الذاكرة قصيرة المدى؛ بعد دخول مرحلة النوم، يتوقف النموذج عن معالجة الإدخالات الجديدة، ويتجه نحو تجميع الذكريات والتحسين الذاتي.
على وجه التحديد، يكتب إجراء “تعزيز الذاكرة” المعلومات الهشة للسياق قصير الأمد في المعلمات طويلة الأمد من خلال توسيع المعلمات، وكتل الذاكرة الخبيرة المختلطة، وتمويه المعرفة، مع تجنب التغطية على المعرفة الموجودة؛ بينما يُجبر إجراء “الحلم” النموذج على إنتاج وتصفية عينات تدريب مركبة، ويمكنه من خلال التعلم التصحيحي التدريب المتكرر لتحسين قدرات الاستدلال والتعميم.
أظهرت التجارب أن هذا الإطار يتفوق على العديد من الطرق الأساسية في مهام مثل الترجمة المستمرة، وفهم السياق الطويل، واستيعاب المعرفة الحقيقية، والاستدلال الرياضي: يمكن للنموذج التعامل مع سياقات تصل إلى حوالي 10 ملايين توكين عند الحد الأقصى، ويحافظ على أداء قريب من الصفر خلال التعلم المستمر متعدد المراحل في لغات غير معروفة؛ كما يحقق دقة أعلى في معايير رياضية مثل AIME 24/25.
يقدم موقع IT之家 عنوانًا مرجعيًا