نقدم لكم Timestral

التفكير

الملخص

يقدّم Timestral، وهو أول عائلة من نماذج الأساس للسلاسل الزمنية من شركة Mistral، تنبؤات احتمالية متعددة المتغيرات بأحدث مستوى بـ209M معامل فقط، متفوقًا على النماذج الأكبر في المقاييس المعيارية الرئيسية مع دعم المتغيرات المساعدة السابقة والمستقبلية. وهو متاح بأربعة أحجام (من 5M إلى 209M من المعاملات)، ويوازن بين الدقة والكفاءة، إذ يعمل بكفاءة على المعالجات المركزية ويتفوق في التنبؤ بدون تدريب مسبق عبر مجالات متنوعة. يجمع النموذج بين التدريب المسبق الاصطناعي، والانتباه الواعي بالمتغيرات المساعدة، والتعلم بالسياق الطويل، مع خيارات ضبط دقيق لتكييف المجال عبر Mistral Forge.

اليوم، نطلق Timestral، أول عائلة من نماذج الأساس للسلاسل الزمنية لدينا. أكبر نماذجنا، بـ209M معامل فقط، يحتل المرتبة الأولى في المقاييس العامة الثلاثة الرئيسية في المجال: GIFT-Eval وTIME وfev-bench، متفوقًا على أحدث ما تحقق سابقًا بثلثي معاملات النموذج فقط.

توفر Timestral تنبؤات احتمالية متعددة المتغيرات وتدعم المتغيرات المصاحبة الماضية فقط والمعروفة مستقبلًا. تقع عائلة نماذجنا على جبهة باريتو لدقة التنبؤ مقابل حجم النموذج، محققة أداءً رائدًا في كل حجم. تم تقديم النتائج إلى لوحات صدارة GIFT-Eval وTIME.

نماذج الأساس للسلاسل الزمنية (TSFM)

السلاسل الزمنية هي أحد أكثر أنواع البيانات شيوعًا في المؤسسات، من بيانات قياس المستشعرات إلى مقاييس المراقبة. والتنبؤات المبنية عليها توجه القرارات في تخطيط الطاقة الاستيعابية والطاقة وسلاسل التوريد والمخاطر والصيانة.

تتنبأ المصانع الصناعية بمستشعرات العمليات مقابل جدول الإنتاج، وتكشف انحراف المعدات قبل تعطلها، وتخطط للطاقة الاستيعابية وقطع الغيار عبر آلاف الأصول. وتتنبأ الفرق المالية بالتدفقات والأحجام والتقلبات لتوجيه المراكز والتحوط والخزانة عبر آلاف الحسابات.

تبقى النماذج الكلاسيكية مثل ARIMA والانحدار الخطي أدوات راسخة للتنبؤ بالسلاسل الزمنية. عادةً ما تُضبط هذه النماذج على سلسلة واحدة وتتعلم فقط من تاريخ تلك السلسلة.

تضيف نماذج التعلم العميق مثل PatchTST القدرة على تعلم الأنماط غير الخطية عبر سلاسل مترابطة عديدة، لكنها عادةً ما تُدرَّب من الصفر على كل مجموعة بيانات، فلا ينتقل ما تتعلمه إلى مجالات جديدة.

تجلب نماذج الأساس للسلاسل الزمنية نهج التدريب المسبق إلى السلاسل الزمنية. فبالتدريب على مجموعة بيانات كبيرة ومتنوعة، يتعلم نموذجنا أنماطًا قابلة للنقل عبر السلاسل، متنبئًا صفريًا ببيانات لم يرها من قبل، حتى في المجالات التي تكون فيها البيانات شحيحة.

نتائج المعايير القياسية

قيّمنا Timestral على المعايير العامة الثلاثة الرئيسية للتنبؤ: GIFT-Eval وTIME وfev-bench. ومن بين النماذج المدرَّبة مسبقًا والصفريّة، احتل المرتبة الأولى في جميع المقاييس الخمسة. هذه النتائج من نقطة تفتيش واحدة، دون تجميع نماذج.

GIFT-Eval، العشرة الأوائل من 83 مشاركة قابلة للمقارنة مدرَّبة مسبقًا وصفريّة. الأقل أفضل.

TIME، العشرة الأوائل من 35 مشاركة في لوحة الصدارة. الأقل أفضل في كلا المقياسين.

fev-bench، العشرة الأوائل من 37 مشاركة في لوحة الصدارة، حسب درجة مهارة SQL. الأعلى أفضل.

عائلة نماذج محسّنة لكل مواصفة

تم تحسين Timestral كعائلة من أربعة نماذج: 5M و28M و123M و209M من المعاملات. النماذج الأكبر تحسّن أداء التنبؤ، بينما النماذج الأصغر أسرع وأرخص. تشترك النماذج الأربعة في نفس البنية ووصفة التدريب. ويقع كل حجم على حد باريتو بين الدقة وحجم النموذج: لكل حجم من النموذج، لا يوجد نموذج عام يتنبأ بشكل أفضل.

النتيجة مقابل حجم النموذج على GIFT-Eval وTIME وfev-bench (معروضة كـ1 − skill score). الأقل أفضل. نموذجنا بحجم 28M يتفوق على Chronos-2، الأكبر بنحو أربع مرات، على GIFT-Eval وTIME. ونموذجنا بحجم 209M يتفوق على TimesFM-3 وFalcon-2.0 بمعاملات أقل.

لا يحتاج Timestral إلى وحدة معالجة رسومات عند الاستدلال. على معالج مركزي لخادم قياسي بـ8 خيوط، يستغرق التنبؤ بيوم واحد للأمام من ثلاثة أسابيع من السجل بفواصل 15 دقيقة 10 ms مع نموذج 5M و140 ms مع نموذج 209M. وتقايض النماذج الأصغر بعض الدقة مقابل السرعة: نموذج 28M أسرع بخمس مرات من نموذج 209M، ويقترب نموذج 123M من نتيجة 209M بفارق 0.2% عند ثلاثة أرباع زمن الاستجابة الخاص به.

مثال صناعي

تخيل مصنعًا صناعيًا به آلاف المستشعرات عبر معداته. يمكن لـTimestral تحسين التنبؤات على تلك البيانات بعدة طرق.

التنبؤ متعدد المتغيرات. اهتزاز المضخة ودرجة حرارتها وضغطها لا تتحرك بشكل مستقل. فارتفاع أحدها غالبًا ما يفسر أو يسبب تغيرًا في آخر. تُنمذج Timestral السلاسل المترابطة معًا، فيمكنها استخدام تلك الاعتماديات بدلًا من التنبؤ بكل مستشعر بمعزل عن غيره.

التنبؤ الاحتمالي. قد لا تُظهر قيمة متنبأ بها واحدة الصورة الكاملة. تتنبأ Timestral بمجموعة كاملة من الكميات (quantiles)، فيمكن للفرق رؤية مدى اتساع عدم اليقين، ووضع عتبات تنبيه تعكسه، والتخطيط للصيانة بناءً على المخاطر بدلًا من رقم واحد.

المتغيرات المصاحبة الفئوية. تأخذ بعض المتغيرات المصاحبة قيمًا من مجموعة فئات بدلًا من أرقام متصلة، مثل يوم الأسبوع أو حالة آلة (تعمل، متوقفة، تحت الصيانة). وترميزها كأرقام يفرض ترتيبًا أو مقياسًا لا تملكه. تأخذها Timestral كمدخلات فئوية مباشرة لتحسين التنبؤات.

المتغيرات المصاحبة المعروفة مستقبلًا. بعض محركات سلوك المستشعرات معروفة مسبقًا، مثل جداول الإنتاج والإيقافات المخططة وتوقعات الطقس. يمكن لـ Timestral الاشتقاق منها لتحسين جودة التنبؤ، بحيث يُتوقع ارتفاع الحِمل المجدول بدلًا من أن يُحدد كمفاجأة.

من النموذج إلى النظام

Timestral نموذج رقمي يمكن تشغيله داخل خطوط المراقبة القائمة، أو أن يُقرن بنماذجنا اللغوية في سير عمل وكيلي متعدد الوسائط.

وفي المصنع، يمكن أن يبدو ذلك كالتالي:

1. Timestral يعمل بشكل مستمر على تدفقات بيانات مستشعرات المصنع، ويكتشف الحالات الشاذة لحظة حدوثها.

2. عندما يرصد حالة شاذة على مضخة، يقوم وكيل بتضمين الإشارات ومقارنتها بتضمينات بيانات المستشعرات السابقة للعثور على أعطال تاريخية مماثلة.

3. ثم يبدأ الوكيل وكلاء فرعيين لإجراء تحليل السبب الجذري، بالاستناد إلى سياق ذلك المصنع، مثل سجلات الصيانة، وسجلات المناوبات، وملاحظات المشغلين، وأدلة المعدات، وأوامر العمل السابقة، وقراءات المعدات المرتبطة.

4. يصوغ الوكيل بعد ذلك تشخيصًا مقترحًا بناءً على النتائج، مع الأدلة الداعمة والخطوات التالية الممكنة.

يحصل مدير المصنع على تشخيص وخطة مدعومين ببيانات المستشعرات، بدلاً من مجرد تنبيه.

المساهمات التقنية الرئيسية

تم الجمع بين عدة أفكار لإنتاج هذه النتائج. سيتم وصف كل منها بالتفصيل في التقرير التقني.

1. التنبؤ بالآفاق المنفصلة. أجهزة فك الترميز السببية المدرّبة بإخفاء الرقع المتجاورة، كما في Toto 2.0 وTimesFM-3، تقوم بإخفاء القيم المطلوب التنبؤ بها، فتبدو كقيم مفقودة وتُفقد أيضًا كسياق للتنبؤات اللاحقة. نهجنا، DHF، يفصل بين الأمرين: يبقى التاريخ الكامل في التسلسل، وتقرأ رموز التنبؤ المتعلَّمة التاريخ الذي يسبقها. وهكذا تعمل كل قيمة مُلاحظة كهدف وسياق معًا، وتبقى الفجوات الحقيقية معلَّمة كمفقودة، ويمكن ضبط أطوال آفاق التدريب وتعزيز البيانات المفقودة بشكل مستقل عن بعضهما.

2. الانتباه الواعي بالمتغيرات المصاحبة. يُخصص لكل سلسلة إدخال دور: المتغير الهدف، أو متغير مصاحب للماضي فقط، أو متغير مصاحب معروف المستقبل. المتغيرات المصاحبة المعروفة المستقبل مرئية عبر النافذة بأكملها بينما تبقى الأهداف سببية، وتتدفق المعلومات من المتغيرات المصاحبة إلى الأهداف فقط. يمكن لـ Timestral إذًا استخدام تقويم العطلات أو توقعات الطقس دون تسريب مستقبل الهدف نفسه إلى تنبؤه.

3. بيانات تركيبية أولاً. كانت غالبية بيانات التدريب تركيبية. أنشأنا أولاً عمليات أحادية المتغير بديناميكيات زمنية متماسكة، تشمل الاتجاهات والموسمية وأنماط ضوضاء متنوعة. ثم استخدمنا مُولّدًا متعدد المتغيرات لبناء سلاسل متعددة المتغيرات عن طريق إدخال تبعيات غير خطية بين هذه العمليات.

4. تدريب على مرحلتين. يتم أولاً التدريب المسبق لـ Timestral على نطاق واسع على بيانات تركيبية بحتة بحجم سياق 8192، ثم التدريب اللاحق على مزيج من البيانات الحقيقية والتركيبية بسياق أطول بـ 4 مرات. الهدف هو خسارة pinball على 21 كميًا، وهي تقريب منفصل لـ CRPS.

نموذج قابل للتكيف

تقيس المعايير المرجعية العامة الأداء العام، لكن بيانات الإنتاج قد تختلف اختلافًا كبيرًا في السلوك والبنية. وقد تتغير أيضًا بمرور الوقت مع تغير أنظمة الأسواق وتدهور المعدات وتحول أنماط الطلب. تكمن القيمة الدائمة في القدرة على تكييف النموذج مع البيانات داخل النطاق وإعادة تدريبه باستمرار مع تحول التوزيع.

للمؤسسات التي ترغب في المضي أبعد، يتوفر Timestral عبر Mistral Forge، وهو نفس خط التدريب الذي نستخدمه لنماذج اللغة لدينا. وهو يدعم:

• الاستدلال الصفري فورًا من الصندوق.

• الإضافات المعمارية، مثل المتغيرات المصاحبة الخاصة بمجال معين.

• الضبط الدقيق على بيانات خاصة، مع التخصص في مجال معين مع الحفاظ على الأداء العام.

• التحكم في بيانات التدريب، بما في ذلك تعديل مزيج التدريب، وإعادة تشغيل بيانات التدريب المسبق، وتوليد عينات بيانات تركيبية لتعكس النطاق المستهدف. التحكم الكامل في البيانات يضمن أن أي شيء جربناه بالاختبار الرجعي لم يُرَ أثناء التدريب المسبق.

يمكن نشر خط الأنابيب الكامل على أجهزة عملائنا، بما في ذلك البيئات المعزولة عن الإنترنت.

ماذا بعد

لقد نشرنا مستودع GitHub بحيث يمكنك تشغيل Timestral على بياناتك الخاصة. وسيصدر لاحقًا تقرير تقني يتضمن النتائج الكاملة. وللمسائل التنبؤية الأكثر تخصصًا، أو للتعاون في البحث، يرجى التواصل معنا.

Timestral

جديد

نماذج Mistral الأساسية للسلاسل الزمنية. تنبؤات احتمالية متطورة، بـ 5M إلى 209M من المعلمات، وتعمل على CPU.

تنبؤات احتمالية