Mistral AI veröffentlicht Timestral: Eine 209M-Prädiktionsmodellfamilie, die Googles TimesFM-3 übertrifft

Mistral AI hat Timestralveröffentlicht, seine erste Familie von Zeitreihen-Grundmodellen. Timestral ist ein Satz von 4 Zero-Shot-Prädiktionsmodellen von Mistral AI, mit Größen von 5M bis 209M Parametern. Der größte Checkpoint rangiert auf Platz eins unter den vortrainierten Zero-Shot-Modellen auf GIFT-Eval, TIME und fev-bench. Dies gelingt ohne GPU bei der Inferenz. Für Entwickler bedeutet dieses Timestral-Zeitreihen-Grundmodell probabilistische Prognosen auf Standard-Server-CPUs, mit offenen Gewichten und Inferenzcode.

TL;DR

• Größe: 4 Modelle: 5M, 28M, 123M, 209M Parameter (dicht). Kontext bis zu 32,768 Zeitschritte.
• Läuft auf: Standard-Server-CPU, keine GPU nötig. Die 209M-Gewichte sind in fp32 837 MB groß. GPU optional.
• Leistung: #1 unter den Zero-Shot-vortrainierten Modellen auf GIFT-Eval, TIME und fev-bench (von Mistral berichtet).
• Bestes: fev-bench SQL Skill Score von 50.39, vor TimesFM-3 mit 48.99.
• Schlechtestes: GIFT-Eval MASE von 0.658 führt t0-gamma (0.661) nur um 0.003 an.

Was ist Timestral?

Timestral ist ein Zeitreihen-Grundmodell (TSFM). Es ist auf einem großen, vielfältigen Korpus vortrainiert und prognostiziert dann Zero-Shot auf Daten, die es noch nie gesehen hat. Klassische Werkzeuge wie ARIMA passen jeweils eine Serie einzeln an. Deep-Learning-Modelle wie PatchTST werden normalerweise von Grund auf für jeden Datensatz trainiert. Timestral überträgt stattdessen Muster über Domänen hinweg.

Jedes Modell gibt 21 Quantile pro Zeitschrittaus. Es prognostiziert multivariate Ziele gemeinsam. Es akzeptiert Past-only-, Known-Future- und kategoriale Kovariaten.

Wie funktioniert Timestral?

Timestral ist ein kausaler, patchbasierter Transformer mit Zeit-Attention und Variablen-Attention. Das 209M-Modell verwendet 24 Schichten und eine Einbettungsdimension von 768. Jeder Patch umfasst 32 Zeitschritte. Ein einziger Forward-Pass prognostiziert bis zu 1,024 Schritte. Längere Horizonte laufen blockweise, wobei der Median jedes Blocks als Kontext zurückgespeist wird.

Mistral nennt 4 technische Beiträge:

• Decoupled Horizon Forecasting (DHF): Gelernte Forecast-Tokens lesen die vollständige Historie. Beobachtete Werte bleiben im Kontext, statt maskiert zu werden, anders als bei dem zusammenhängenden Patch-Masking in Toto 2.0 und TimesFM-3.
• Covariate-aware attention: Jede Zeitreihe ist ein Ziel, eine Past-only-Kovariate oder eine Known-Future-Kovariate. Informationen fließen nur von Kovariaten zu Zielen, was zukünftiges Leckagen verhindert.
• Synthetic-first data: Der Großteil der Trainingsdaten ist synthetisch, mit Trends, Saisonalität, Rauschen und nichtlinearen kreuzreihenbezogenen Abhängigkeiten.
• Two-stage training: Pretraining auf synthetischen Daten bei einem Kontext von 8,192, dann Post-Training auf gemischten Daten mit 4x längerem Kontext. Die Loss-Funktion ist Pinball Loss über 21 Quantile.

Wie schlägt sich Timestral in Benchmarks?

Alle folgenden Punkte sind Zero-Shot-Ergebnisse aus einem einzigen Checkpoint ohne Ensembling. Sie stammen aus der Timestral-209M model card.

• GIFT-Eval: MASE 0.658, CRPS 0.446 (niedriger ist besser).
• TIME: MASE 0.626, CRPS 0.522 (niedriger ist besser).
• fev-bench: SQL skill score 50.39, MASE skill score 39.49 (höher ist besser).

Die Größenskalierung verläuft an der Spitze flach. Timestral-123M erzielt 0.659 MASE auf GIFT-Eval, gegenüber 0.658 für 209M. Das Mistral-Team gibt an, dass das 28M-Modell Chronos-2 auf GIFT-Eval und TIME schlägt. Chronos-2 ist etwa 4-mal größer.

Wie schnell ist Timestral auf der CPU?

Das Mistral-Team testete eine Standard-Server-CPU mit 8 Threads. Die Aufgabe: 1 Tag im Voraus prognostizieren aus 3 Wochen 15-Minuten-Historie. Das 5M-Modell brauchte 10 ms und das 209M-Modell 140 ms. Das 28M-Modell ist 5-mal schneller als 209M. Das 123M-Modell liegt innerhalb von 0.2% des 209M-Ergebnisses bei drei Vierteln seiner Latenz.

Wie vergleicht sich Timestral mit TimesFM-3, Chronos-2 und Toto 2.0?

* Wie auf der Timestral-209M-Modellkarteangegeben. Google und Amazon veröffentlichen keine vergleichbaren Zahlen auf ihren eigenen Modellseiten. ** Aus Datadogs Modellkarte. Mistral Karte listet 0.642 / 0.539 auf.

Wie können Entwickler Timestral einsetzen?

Installieren Sie das Paket mit pip install git+https://github.com/mistralai/timestral.git. Es benötigt Python 3.10+ und torch 2.4+. Abhängigkeiten sind PyTorch, NumPy, safetensors und huggingface_hub. Die Gewichte werden von Hugging Face heruntergeladen: 21 MB für 5M, 111 MB für 28M, 490 MB für 123M.

Mistrals Dokumentation listet Timestral 1.0 209M als Public Preview. Fine-Tuning auf proprietären Daten läuft über Mistral Forge. Die Pipeline kann On-Premise, in einer VPC oder air-gapped eingesetzt werden.

Wichtigste Erkenntnisse

• 4 Größen, 5M bis 209M, alle auf der Pareto-Front von Genauigkeit versus Größe.
• 209M führt GIFT-Eval, TIME und fev-bench unter den Zero-Shot-Modellen an.
• CPU-only-Inferenz: 10 ms (5M) bis 140 ms (209M).
• 32.768-Schritt-Kontext, 21 Quantile, native Covariate-Unterstützung.
• Modifizierte MIT-Gewichte, anders als TimesFM-3s nicht-kommerzielle Lizenz.

Schauen Sie sich den Blogbeitrag, GitHub-Repo und die Modellgewichte auf Hugging Facean. Alle Anerkennung gebührt dem Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.

Der Beitrag Mistral AI veröffentlicht Timestral: Eine Familie von Prognosemodellen mit 209M, die Googles TimesFM-3 übertrifft erschien zuerst auf MarkTechPost.