Mistral AI lance Timestral : une famille de modèles de prévision de 209 M, qui dépasse TimesFM-3 de Google

Mistral AI a lancé Timestral, sa première famille de modèles fondateurs de séries temporelles. Timestral est un ensemble de 4 modèles de prédiction à shot zéro provenant de Mistral AI, avec des nombres de paramètres allant de 5M à 209M. Le plus grand checkpoint se classe en première position parmi les modèles pré-entraînés à shot zéro sur GIFT-Eval, TIME et fev-bench. Il le fait sans GPU lors de l’inférence. Pour les développeurs, ce modèle fondateur de séries temporelles Timestral permet des prédictions probabilistes sur des CPU standard, avec poids ouverts et code d’inférence.

TL;DR

• taille : 4 modèles : 5M, 28M, 123M, 209M paramètres (dense). Contexte jusqu’à 32 768 étapes temporelles.
• Utilisable avec : Une CPU de serveur standard, pas de GPU nécessaire. 209M de poids équivaudent à 837 MB en fp32. Le GPU est optionnel.
• Résultats : #1 parmi les modèles pré-entraînés à l’échelle zéro-shot sur GIFT-Eval, TIME et fev-bench (reporté par Mistral).
• Meilleur : Score de compétence SQL sur fev-bench de 50,39, devant TimesFM-3 avec 48,99.
• Pire : Le score MASE de GIFT-Eval, de 0.658, est inférieur à t0-gamma (0.661) de seulement 0.003.

Qu'est-ce que Timestral ?

Timestral est un modèle de fondation de séries temporelles (TSFM). Il est pré-entraîné sur un corpus large et diversifié, puis prédit des résultats sans précédent sur des données qu’il n’a jamais vues. Les outils classiques tels que ARIMA s’adaptent à une seule série à la fois. Les modèles profonds comme PatchTST sont généralement entraînés depuis zéro sur chaque jeu de données. Timestral transfère plutôt les schémas entre différents domaines.

Chaque modèle produit 21 quantiles par étape de temps. Il prédit des cibles multivariées conjointement. Il accepte des covariables uniquement passées, des futurs connus et des catégories.

Comment fonctionne Timestral ?

Timestral est un transformateur causal basé sur des patches qui intègre l’attention au temps et l’attention variable. Le modèle 209M utilise 24 couches et une dimension d’embedding de 768. Chaque patch couvre 32 étapes temporelles. Une seule passade de prédiction permet de prévoir jusqu’à 1 024 étapes. Les horizons plus longs sont traités par blocs, et la médiane de chaque bloc est utilisée comme contexte.

Mistral liste 4 contributions techniques :

• Forestation de Horizon Découplée (DHF) : Les tokens de prévision appris lisent toute l’histoire. Les valeurs observées restent dans le contexte, sans être masquées, contrairement au masquage de bande continue utilisé dans Toto 2.0 et TimesFM-3.
• Attention consciente des covariants : Chaque série constitue un objectif, qu’il s’agisse d’un covariant passé ou d’un covariant futur connu. Les informations circulent uniquement des covariants aux objectifs, évitant ainsi toute fuite vers l’avenir.
• Données de type synthétique : La plupart des données d’entraînement sont synthétiques, avec des tendances, une saisonnalité, du bruit et des dépendances non linéaires entre séries.
• Entraînement en deux étapes : Pré-entraînement sur des données synthétiques avec un contexte de 8 192, puis post-entraînement sur des données mixtes avec un contexte 4 fois plus long. La perte est une perte de type pinball sur 21 quantiles.

Comment Timestral se performance sur les benchmarks ?

Tous les scores ci-dessous sont de type zero-shot, provenant d’un seul point de contrôle sans ensemble. Ils proviennent de la carte de modèle Timestral-209M.

• GIFT-Eval : MASE 0.658, CRPS 0.446 (plus bas est meilleur).
• HEURE: MASE 0,626, CRPS 0,522 (plus bas est meilleur).
• fev-bench : Score de compétence SQL : 50,39 ; score de compétence MASE : 39,49 (plus élevé est meilleur).

L’échelle de taille est plate en haut. Le score Timestral-123M est de 0,659 MASE sur GIFT-Eval, contre 0,658 pour 209M. L’équipe Mistral affirme que le 28M model bat Chronos-2 sur GIFT-Eval et TIME. Chronos-2 est environ 4 fois plus grand.

Quelle est la vitesse de Timestral sur la CPU ?

L'équipe Mistral a testé une CPU serveur standard avec 8 threads. La tâche : prédire 1 jour à l'avance à partir de 3 semaines de données historiques de 15 minutes. Le modèle de 5M a pris 10 ms et le modèle de 209M a pris 140 msLe modèle 28M est 5 fois plus rapide que le 209M. Le modèle 123M atteint une valeur proche de 0,2 % de celle du 209M à trois quarts de sa latence.

Comment Timestral se compare à TimesFM-3, Chronos-2 et Toto 2.0 ?

* Comme indiqué dans la carte de modèle Timestral-209M. Google et Amazon ne publient pas de chiffres correspondants sur leurs pages de modèle. ** De la carte de modèle de Datadog. La carte de Mistral indique 0,642 / 0,539.

Comment les développeurs peuvent-ils déployer Timestral ?

Installez le package avec pip install git+https://github.com/mistralai/timestral.git. Il nécessite Python 3.10+ et torch 2.4+. Les dépendances sont PyTorch, NumPy, safetensors et huggingface_hub. Les poids sont téléchargés depuis Hugging Face : 21 MB pour 5M, 111 MB pour 28M, 490 MB pour 123M.

La documentation de Mistral liste Timestral 1.0 209M comme Prévisualisation publique. Le ajustement fin en données propriétaires s’effectue via Mistral Forge. Le pipeline peut être déployé sur site, dans un VPC ou en mode air-gapped.

Résultats clés

• 4 tailles, de 5 M à 209 M, toutes situées sur la frontière Pareto entre précision et taille.
• 209M mène GIFT-Eval, TIME et fev-bench parmi les modèles à zéro shot.
• Inference uniquement par CPU : de 10 ms (5M) à 140 ms (209M).
• 32 768 pas de contexte, 21 quartiles, soutien natif aux covariants.
• Poids modifiés du MIT, contrairement à la licence non commerciale de TimesFM-3.

Veuillez consulter le post de blog, le repositorium GitHub et le poids des modèles sur Hugging Face. Tout le crédit revient au chercheur de ce projet. De plus, n’hésitez pas à nous suivre sur Twitter et ne oubliez pas de rejoindre notre subreddit 150k+ML et de vous inscrire à notre bulletin email. Attends ! êtes-vous sur Telegram ? Maintenant, vous pouvez aussi nous rejoindre sur Telegram.

La publication Mistral AI publie Timestral : une famille de modèles de prévision de 209M, qui dépasse TimesFM-3 de Google a été publiée en premier sur MarkTechPost.