تحقق نماذج LLM الحديثة أداءً مذهلاً من خلال التدريب المسبق و التعلم في السياق (ICL). ومع ذلك، بمجرد نشرها تظل ثابتة إلى حد كبير، حيث تعمل بتاريخ قطع معرفة ثابت يجعلها غير قادرة على اكتساب قدرات طويلة الأمد أو التكيف مع المعلومات الجديدة.
فيما يبدو تحديث النماذج ببيانات جديدة حلاً واضحاً، فإن التحديثات المستمرة للمعاملات كثيراً ما تؤدي إلى النسيان الكارثي، وهي مشكلة جوهرية حيث يؤدي تعلم مهام جديدة إلى تدهور شديد في الأداء على المهام المتعلمة سابقاً. وبدلاً من ذلك، فإن الاعتماد حصرياً على ICL يحدّ من الاحتفاظ بالمعرفة إلى نافذة السياق المباشرة: فبمجرد انتهاء جلسة السياق تُنسى المعلومات قصيرة الأمد المكتسبة.
مستوحاة من الطريقة التي يعالج بها الدماغ البشري الذاكرة ويستقرّها أثناء الراحة، نقدّم إطار النوم في التعلم المستمر: نموذجاً تعليمياً يزوّد نماذج اللغة الكبيرة (LLMs) بدورة حياة دورية دورة الحياة، تمكّنها من التعلم باستمرار وتحويل السياق قصير الأمد الهشّ إلى معاملات مستقرة طويلة الأمد. وبهذا الإطار، نبيّن أن التناوب بين التفاعل النشط وتثبيت الذاكرة دون اتصال يتيح لنماذج LLM اكتساب حقائق جديدة باستمرار، والاحتفاظ بمعرفة السياق الطويل حتى 10M من الرموز، وتحسين الاستدلال المعقد.
إعادة التفكير في تعلم الآلة: الطور النشط (الاستيقاظ) مقابل طور النوم
يعتمد تعلم الآلة التقليدي على فصل صارم بين التدريب والاستدلال. وفي إطار التعلم المستمر، يصبح هذا التمييز اصطناعياً؛ إذ يجب على الوكيل الذكي أن يتعلم ويتكيف ويعالج المعلومات باستمرار.
في ظل نموذج النوم، تعمل LLM عبر حالتين أساسيتين:
- الطور النشط (الاستيقاظ): يتلقى النموذج المدخلات ويعالجها ويتفاعل معها بنشاط، مخزناً المعلومات المؤقتة في مكونات ذاكرة قصيرة الأمد سريعة.
- طور النوم: يوقف النموذج معالجة المدخلات الجديدة ويوجّه حساباته الداخلية نحو تثبيت الذاكرة والتحسين الذاتي.
ورغم أن مصطلحات مثل "النوم" و"الحلم" و"التحسين الذاتي" مستعارة من علم الأعصاب، فإن إطارنا يعمل بالكامل ضمن بنية نموذج ثابتة وقواعد تدريب يحددها الإنسان. أثناء طور النوم دون اتصال، يفتح النموذج كتل ذاكرة مخصصة مسبقاً من نوع Mixture-of-Experts (MoE) ويحدّث أوزانه الرقمية باستخدام أمثلة تدريب يولّدها ذاتياً. تساعد دورة التدريب اللاحق المؤتمتة هذه النموذج المنشور على استيعاب حقائق جديدة وتحسين دقة استدلاله مع الحفاظ على قاعدة الشيفرة الأساسية وتصميمه دون تغيير.
المكونات الرئيسية لعملية النوم
يعالج نموذج النوم النسيان الكارثي والتكيف المستمر من خلال مرحلتين: تثبيت الذاكرة والحلم.
1. تثبيت الذاكرة
في الدماغ البشري، حركة العين غير السريعة (NREM) أثناء النوم موجات بطيئة تُثبّت الذكريات الهشّة في بنى طويلة الأمد عبر التجريد والتقطير. يعكس إطار النوم المقترح منّا هذه الظاهرة الطبيعية من خلال آليتين تقنيتين رئيسيتين:
- توسيع المعاملات وهرم الذاكرة المستمر: لمنع النسيان الكارثي، يوسّع النموذج سعته ديناميكياً أثناء النوم. باستخدام Mixture of Experts (MoE) و الأمل معمارياً، بعد فتحها حديثاً، يتم دمج الخبراء من الرتبة المنخفضة في كتل ذاكرة مستقرة منخفضة التردد لتخزين المعرفة الواردة دون تعطيل المعاملات الأقدم.
- بذر المعرفة (التقطير التصاعدي): يتم نقل الذكريات قصيرة المدى الهشة المخزنة في الطبقات عالية التردد (مثل الذاكرة السياقية) إلى معاملات المدى الطويل الموسعة حديثاً. يتحقق ذلك من خلال التقطير المعمم للمعرفة (GKD) مقترناً بـ التعلم المعزز (RL) القائم على التعلم بالتقليد:
- التقطير داخل السياسة (On-policy distillation): يتعلم نموذج الطالب الموسع ملاحظات خاصة بكل رمز (token) من توزيعات المدرس المولدة على تسلسلات عيّنها بنفسه.
- التعلم على التقليد (LTI): يُكافأ نموذج الطالب بناءً على التشابه الدلالي والمطلق (مسافة ليفنشتاين) عند إكمال بادئات نصوص مولّدة من المدرس.
- التقليم المشبكي: بعد اكتمال توطيد الذاكرة في الوحدات منخفضة التردد، تُعاد تهيئة المعاملات المؤقتة عالية التردد، مما يحرر السعة لجلسات نشطة مستقبلية.
نظرة عامة على إطار النوم لدينا: تُخزّن تدفقات المدخلات من المرحلة النشطة في ذاكرة قصيرة المدى قبل دخولها دورة النوم، التي تتفرع إلى التوطيد (نقل الرموز قصيرة المدى الهشة إلى ذاكرة معاملاتية طويلة المدى موسعة باستخدام بنى منخفضة الرتبة و MoE) والحلم (التحسين الذاتي المستقل عبر توجيه اصطناعي بخبراء عشوائيين وتحسين بالتعلم المعزز).
2. الحلم من أجل التحسين الذاتي
أثناء نوم حركة العين السريعة (REM sleep)، يحاكي الدماغ البشري بنشاط سيناريوهات، ويقوّي الروابط العاطفية/الدلالية، ويستكشف مسارات عصبية جديدة. وفي محاكاة ذلك، تنفّذ إطار العمل السكري مرحلة "الحلم" حلقة تحسين ذاتي مستقلة:
- اختيار عشوائي للخبراء: أثناء توليد البيانات الاصطناعية، يفعّل موجّه MoE خبراء غير قياسيين بشكل عشوائي. هذا يجبر النموذج على مزج مجالات معرفية متباينة واكتشاف أنماط كامنة.
- مراجعة منتقاة: يولّد النموذج عينات تدريب اصطناعية ("أحلام") ويرشّحها باستخدام اختيار البيانات المعتمد على التدرج لإعطاء الأولوية للعينات ذات أعلى إمكانات لتعزيز القدرة الإجمالية للنموذج.
- التحسين بالتعلم المعزز: يجرّب النموذج ضبطاً دقيقاً بإشراف على عينات الأحلام الأعلى تقييماً، ويقيّم ما إذا كان التوليد يحسّن الأداء في المهام اللاحقة.
الأسس النظرية
إلى جانب النتائج التجريبية، يستند نموذجنا السكري إلى نظرية توضّح لماذا يمكن لمرحلتيه (تثبيت الذاكرة والحلم) دعم التعلم المستمر دون مجرد مقايضة المعرفة الجديدة بالقدرات القديمة.
فيما يتعلق بتثبيت الذاكرة، يبيّن التحليل أن بذر المعرفة يمكن فهمه على أنه مسألة ضغط مُهيكَل من رتبة منخفضة. لا يُطلب من النموذج نسخ كل تفاصيل آثاره قصيرة المدى إلى معاملاته، بل يحدّد مجموعة مدمجة من الاتجاهات التي تحافظ على أفضل شكل على سلوك النموذج الذاتي وفق سياسته وعلى الصفات الدلالية التي تكافئها هدف التعلم.
تفسّر هذه الزاوية الأدوار المتكاملة للإشارتين: يوائم التقطير وفق سياسة النموذج عملية التثبيت مع المسارات التي سينتجها النموذج فعلياً وقت الاستدلال، ما يقلّص عدم التطابق الذي قد ينشأ عند التدريب فقط على توزيعات يولّدها المعلّم؛ بينما يغيّر المكافأة الدلالية ما يستحق الاحتفاظ به، معطيةً الأولوية للاتجاهات التي تحافظ على المعنى والسلوك المرتبط بالمهمة بدلاً من مجرد مطابقة احتمالات الرموز. ويوفّر توسيع المعاملات بعدئذٍ السعة اللازمة لكتابة هذه الذكريات المختارة دون محو المعرفة المثبتة سابقاً.
أما بالنسبة للحلم، فإن النظرية تصف تفعيل الخبراء العشوائي واختيار العينات المعتمد على المكافأة كآليتين لتحسين هندسة التعلم. فحقن وحدات MoE المختلفة يوسّع مجموعة اتجاهات التدرج المستكشفة أثناء التوليد الاصطناعي، ويعرّض النموذج لمجموعة أغنى من التحديثات مقارنةً بتلك الناتجة عن بيانات وقت اليقظة العادية وحدها. ثم تُبرز الترشيحات المعتمدة على التدرج التجارب الاصطناعية التي تحمل أكثر إشارات التعلم فائدة، مما يقوّي الاتجاهات الغنية بالمعلومات مع الحفاظ على بنية فضاء التدرج الأساسي.
تُنتج هذه الخطوات مجتمعةً مشهداً تحسينياً أكثر توازناً: يقلّ هيمنة عدد صغير من الاتجاهات على التعلم، وتصبح التدرجات أفضل شرطاً، ويستطيع النموذج تحقيق تقدم أكثر استقراراً عند تنقيح قدراته. وبهذا المنظور، ليس الحلم مجرد زيادة بيانات ذاتية التوليد؛ بل هو عملية مقصودة لتنويع التحديثات التي يحسّن النموذج من خلالها نفسه واختيارها وتثبيتها.
الأداء المقارن لإطار العمل السكري لدينا مقابل الأساليب الأساسية (مثل التعلم داخل السياق والضبط الدقيق بإشراف) عبر محاور تقييم رئيسية، تشمل التعلم التزايدي بالفئات، والترجمة المستمرة، وتوسيع السياق الطويل حتى 10M من الرموز، وإدماج المعرفة الواقعية، والاستدلال الرياضي.
بالنسبة للترجمة المستمرة، في اللغات غير المرئية، مثل المانشوية والكالامانغية، حافظ إطار العمل السكري على هبوط أداء شبه معدوم في التقييمات متعددة المراحل، فيما عانت الأساسات القياسية مثل ICL و Cartridgesو الضبط الدقيق بإشراف (SFT) من نسيان كارثي حاد أثناء التعلم المتسلسل.
في فهم السياق الطويل على معيار BABILong ، أظهر طريقتنا السكرية توسعاً شبه مثالي حتى 10M من الرموز، متجاوزةً أساسات قوية مثل GPT-4و Titans باستخدام التثبيت في وقت النوم لضغط معلومات السياق الطويل مباشرةً في الذاكرة البارامترية.
بالنسبة لإدماج المعرفة الواقعية المقيّم على SQuAD و استمرار التدريب المسبق (CPT)، حققت طريقة النوم لدينا 48.9% في التقييمات أحادية المهمة و46.2% في تقييمات CPT، متفوقة على الطرق الأساسية بما في ذلك النموذج الأساسي وSFT و نماذج اللغة ذاتية التكيف (SEAL) من خلال دمج المعلومات الواقعية الجديدة بنجاح دون الإضرار بتمثيلات النموذج القائمة.
أخيرًا، في معايير الاستدلال الرياضي بما في ذلك AIME 24/25 و HMMT 25حقق النموذج الأساسي المعزز بالنوم درجات دقة بلغت 79.2% و69.0% و46.1% على التوالي. وهذا تفوّق على خطوط الأساس مثل الضبط الدقيق الموجّه بالأمثلة (SFT)، وتحسين السياسة النسبي الجماعي (GRPO)، والتقطير الذاتي وفقًا للسياسة (OPSD)، مما يُظهر أن الجمع بين ترسيخ الذاكرة والتعلم بالتقليد يقود إلى أداء استدلالي متفوق.
الخلاصة
يوفر نموذجنا للنوم طريقًا نحو أنظمة ذكاء اصطناعي مستقلة ومتعلمة باستمرار. فمن خلال تجاوز التدريب المسبق الثابت ونوافذ السياق الهشة، فإن التناوب بين التعلم النشط والراحة دون الاتصال يمكّن النماذج اللغوية الكبيرة من الاحتفاظ بالذكريات قصيرة المدى، وتجريد مهارات جديدة داخل هياكل معلمية طويلة المدى، والتحسين الذاتي باستمرار دون نسيان كارثي.
شكر وتقدير
أُجري هذا البحث بواسطة علي بهروز (Google وجامعة كورنيل)، وفرنوش هاشمي (جامعة كورنيل)، وعادل جوانمرد (Google وجامعة جنوب كاليفورنيا)، ووهاب ميرروكني. نشكر يوان دنغ وكورينا كورتيس على مراجعة العمل واقتراحاتهما القيّمة. كما نشكر مارك سيمبورغ وكيمبرلي شفيد وتيم هيرمان على مساعدتهما في إعداد هذه التدوينة.