Mistral AI lanza Timestral: una familia de modelos de pronóstico de 209M que supera a TimesFM-3 de Google

Mistral AI ha lanzado Timestral, su primera familia de modelos fundacionales de series temporales. Timestral es un conjunto de 4 modelos de pronóstico zero-shot de Mistral AI, con tamaños desde 5M hasta 209M parámetros. El checkpoint más grande ocupa el primer lugar entre los modelos preentrenados zero-shot en GIFT-Eval, TIME y fev-bench. Lo hace sin GPU en la inferencia. Para los desarrolladores, este modelo fundacional de series temporales Timestral significa pronósticos probabilísticos en CPUs de servidor estándar, con pesos abiertos y código de inferencia.

TL;DR

• Tamaño: 4 modelos: 5M, 28M, 123M, 209M parámetros (densos). Contexto de hasta 32,768 pasos temporales.
• Funciona en: CPU de servidor estándar, sin necesidad de GPU. Los pesos de 209M ocupan 837 MB en fp32. GPU opcional.
• Rendimiento: #1 entre los modelos preentrenados zero-shot en GIFT-Eval, TIME y fev-bench (según lo reportado por Mistral).
• Mejor: puntuación de habilidad SQL en fev-bench de 50.39, por delante de TimesFM-3 con 48.99.
• Peor: un MASE de 0.658 en GIFT-Eval lidera sobre t0-gamma (0.661) por solo 0.003.

¿Qué es Timestral?

Timestral es un modelo fundacional de series temporales (TSFM). Está preentrenado en un corpus grande y diverso, y luego pronostica zero-shot sobre datos que nunca ha visto. Las herramientas clásicas como ARIMA ajustan una serie a la vez. Los modelos profundos como PatchTST suelen entrenarse desde cero en cada conjunto de datos. Timestral, en cambio, transfiere patrones entre dominios.

Cada modelo produce 21 cuantiles por paso temporal. Pronostica objetivos multivariantes de manera conjunta. Acepta covariables de solo pasado, de futuro conocido y categóricas.

¿Cómo funciona Timestral?

Timestral es un transformer causal basado en parches con atención temporal y atención por variable. El modelo de 209M usa 24 capas y una dimensión de embedding de 768. Cada parche cubre 32 pasos temporales. Una única pasada hacia adelante pronostica hasta 1,024 pasos. Los horizontes más largos se ejecutan bloque a bloque, retroalimentando la mediana de cada bloque como contexto.

Mistral enumera 4 contribuciones técnicas:

• Pronóstico de horizonte desacoplado (DHF): Los tokens de pronóstico aprendidos leen todo el historial. Los valores observados permanecen en el contexto en lugar de ser enmascarados, a diferencia del enmascaramiento de parches contiguos en Toto 2.0 y TimesFM-3.
• Atención consciente de covariables: Cada serie es un objetivo, una covariable solo pasada o una covariable de futuro conocido. La información fluye solo de las covariables a los objetivos, evitando fugas de futuro.
• Datos sintéticos primero: La mayoría de los datos de entrenamiento son sintéticos, con tendencias, estacionalidad, ruido y dependencias no lineales entre series.
• Entrenamiento en dos etapas: Preentrenamiento con datos sintéticos en contexto 8,192, luego postentrenamiento con datos mixtos con 4 veces más contexto. La pérdida es pinball loss sobre 21 cuantiles.

¿Cómo rinde Timestral en los benchmarks?

Todas las puntuaciones siguientes son zero-shot, de un único checkpoint sin ensembling. Provienen de la ficha del modelo Timestral-209M.

• GIFT-Eval: MASE 0.658, CRPS 0.446 (menor es mejor).
• TIME: MASE 0.626, CRPS 0.522 (menor es mejor).
• fev-bench: SQL skill score 50.39, MASE skill score 39.49 (mayor es mejor).

El escalado por tamaño es plano en la cima. Timestral-123M obtiene 0.659 MASE en GIFT-Eval, frente a 0.658 para 209M. El equipo de Mistral afirma que el modelo de 28M supera a Chronos-2 en GIFT-Eval y TIME. Chronos-2 es unas 4 veces más grande.

¿Qué tan rápido es Timestral en CPU?

El equipo de Mistral probó una CPU de servidor estándar con 8 hilos. La tarea: pronóstico de 1 día por adelantado a partir de 3 semanas de historial de 15 minutos. El modelo de 5M tomó 10 ms y el modelo de 209M tomó 140 ms. El modelo de 28M es 5 veces más rápido que 209M. El modelo de 123M queda a menos de 0.2% de la puntuación de 209M con tres cuartos de su latencia.

¿Cómo se compara Timestral con TimesFM-3, Chronos-2 y Toto 2.0?

* Según se indica en la tarjeta del modelo Timestral-209M. Google y Amazon no publican cifras comparables en sus propias páginas de modelos. ** De la tarjeta del modelo de Datadog. La tarjeta de Mistral indica 0.642 / 0.539.

¿Cómo pueden los desarrolladores desplegar Timestral?

Instale el paquete con pip install git+https://github.com/mistralai/timestral.git. Requiere Python 3.10+ y torch 2.4+. Las dependencias son PyTorch, NumPy, safetensors y huggingface_hub. Los pesos se descargan desde Hugging Face: 21 MB para 5M, 111 MB para 28M, 490 MB para 123M.

La documentación de Mistral lista Timestral 1.0 209M como Public Preview. El ajuste fino con datos propietarios se realiza a través de Mistral Forge. El pipeline puede desplegarse on-prem, en una VPC o air-gapped.

Conclusiones clave

• 4 tamaños, de 5M a 209M, todos en el frente de Pareto de precisión frente a tamaño.
• 209M lidera GIFT-Eval, TIME y fev-bench entre los modelos zero-shot.
• Inferencia solo con CPU: 10 ms (5M) a 140 ms (209M).
• Contexto de 32,768 pasos, 21 cuantiles, soporte nativo de covariables.
• Pesos MIT modificados, a diferencia de la licencia no comercial de TimesFM-3.

Consulta el artículo de blog, repositorio de GitHub y los pesos del modelo en Hugging Face. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.

La publicación Mistral AI Lanza Timestral: Una Familia de Modelos de Pronóstico de 209M que Supera a TimesFM-3 de Google apareció primero en MarkTechPost.