IT之家 AI

اكتشف فريق Seed من ByteDance سبب "التقطعات" في DeepSeek: السياق الطويل قد يؤدي إلى انحراف في الأداء

IT之家 في 10/9 (9 أكتوبر): قدّم فريق Seed من ByteDance أواخر الشهر 9 من هذا العام ورقة بحثية على منصة ما قبل الطباعة arXiv تتناول حساسية الطور الناتجة عن ضغط ذاكرة KV المؤقتة المجزأة، مشيرةً مباشرةً إلى سبب "التقطعات" في…

مصدر الصورة · IT之家 AI

IT之家 في 10/9 (9 أكتوبر)، قدّم فريق Seed من ByteDance أواخر الشهر 9 من هذا العام ورقة بحثية على منصة ما قبل الطباعة arXiv تتناول حساسية الطور الناتجة عن ضغط ذاكرة KV المؤقتة المجزأة،مشيرة مباشرة إلى سبب "التقطعات" في DeepSeek。

قامت هذه الدراسة بتقييم نسختي الأساس وما بعد التدريب من DeepSeek-V4-Flash وDeepSeek-V4-Pro، بالإضافة إلى DeepSeek-V4.1-Flash بعد التدريب اللاحق.

تضغط النماذج من خلال ضغط ذاكرة KV المؤقتة المجزأة نافذة من الرموز المتتالية إلى عدد أقل من مدخلات الذاكرة المؤقتة بخطوة ثابتة، مما يقلل تكاليف الذاكرة والانتباه في الاستدلال بالسياق الطويل.

ومع ذلك، فإن هذا الضغط يُدخل إحداثياً موضعياً جديداً:طور الرمزأي موضعه بالنسبة لحدود نافذة الضغط.

وجد الفريق وجود عدم تماثل منهجي في النماذج التي تستخدم هذا الضغط:المعلومة نفسها يسهل استرجاعها في طور ما، لكن يصعب استرجاعها في طور آخر. أطلق الفريق على هذا التغير الدوري في أداء الاسترجاع اسم حساسية الطور (phase sensitivity).

في النماذج المفتوحة الأوزان الكبيرة التي تعتمد هذا النوع من الضغط، قد تختلف دقة استرجاع السياق الطويل بين الأطواربما يصل إلى 40 نقطة مئويةمما يكشف عن نقاط ضعف دورية قد تحجبها متوسطات درجات المعايير.

يرفق IT之家 رابط الورقة:

https://arxiv.org/abs/2609.36322

إعلان: تحتوي المقالة على روابط انتقال خارجية (بما في ذلك على سبيل المثال لا الحصر الروابط التشعبية ورموز QR وكلمات المرور وغيرها من الأشكال)، وتُستخدم لنقل مزيد من المعلومات وتوفير وقت الفرز، والنتائج للاسترشاد فقط، وجميع مقالات IT之家 التي تحتوي على روابط خارجية تتضمن هذا الإفصاح.

المصدر الأصلي

IT之家 AI

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل