Mistral AI 已发布 Timestral，这是其首个时间序列基础模型家族。Timestral 是 Mistral AI 推出的一组 4 个零样本预测模型，规模从 5M 到 209M 参数。 最大的检查点 在 GIFT-Eval、TIME 和 fev-bench 上于预训练零样本模型中排名第一。它在推理时无需 GPU。对开发者而言，这个 Timestral 时间序列基础模型意味着可以在标准服务器 CPU 上进行概率预测，并提供 开放权重 和 推理代码.
TL;DR
- 规模： 4 个模型：5M、28M、123M、209M 参数（稠密）。上下文最长 32,768 个时间步。
- 运行环境： 标准服务器 CPU，无需 GPU。209M 权重在 fp32 下为 837 MB。GPU 可选。
- 性能： 在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第 1 名（Mistral 自报数据）。
- 最佳： fev-bench SQL 技能得分为 50.39，领先 TimesFM-3 的 48.99。
- 最弱： GIFT-Eval MASE 为 0.658，仅领先 t0-gamma（0.661）0.003。
什么是 Timestral？
Timestral 是一个时间序列基础模型（TSFM）。它在一个庞大且多样化的语料库上预训练，然后对其从未见过的数据进行零样本预测。像 ARIMA 这样的经典工具一次只能拟合一条序列。像 PatchTST 这样的深度模型通常要在每个数据集上从头训练。而 Timestral 则可以跨领域迁移模式。
每个模型输出 每个时间步 21 个分位数。它可以联合预测多变量目标，并接受仅历史、已知未来以及类别型协变量。
Timestral 是如何工作的？
Timestral 是一个 因果的、基于补丁的 transformer ，具有时间注意力和变量注意力。209M 模型使用 24 层和 768 的嵌入维度。每个patch覆盖32个时间步。单次前向传播最多可预测1,024步。更长的时间范围则逐块运行，将每个块的中位数作为上下文反馈回去。
Mistral列出了 4项技术贡献:
- 解耦时间范围预测（DHF）： 学习到的预测token读取完整历史。观测值保留在上下文中而不是被掩码，这与Toto 2.0和TimesFM-3中的连续patch掩码不同。
- 协变量感知注意力： 每条序列要么是目标序列、仅历史协变量，要么是已知未来协变量。信息只从协变量流向目标，防止未来信息泄漏。
- 合成数据优先： 大部分训练数据是合成的，包含趋势、季节性、噪声和非线性跨序列依赖。
- 两阶段训练： 先在上下文长度8,192的合成数据上进行预训练，然后在上下文长4倍的混合数据上进行后训练。损失函数是21个分位数上的pinball loss。
Timestral在基准测试中表现如何？
以下所有分数均为零样本结果，来自单个checkpoint且未使用集成。分数来自 Timestral-209M模型卡.
- GIFT-Eval： MASE 0.658，CRPS 0.446（越低越好）。
- TIME： MASE 0.626，CRPS 0.522（越低越好）。
- fev-bench： SQL技能分数50.39，MASE技能分数39.49（越高越好）。
顶部规模的扩展趋于平缓。Timestral-123M在 GIFT-Eval上得到0.659 MASE，而209M为0.658。Mistral团队表示， 28M模型在GIFT-Eval和TIME上击败了Chronos-2 。Chronos-2大约大4倍。
Timestral在CPU上有多快？
Mistral团队在一台8线程的标准服务器CPU上进行了测试。任务：根据3周的15分钟历史数据预测未来1天。 5M模型耗时10毫秒，209M模型耗时140毫秒。28M模型比209M快5倍。123M模型以209M四分之三的延迟达到了与其相差0.2%以内的分数。
Timestral与TimesFM-3、Chronos-2和Toto 2.0相比如何？
| 特性 | Timestral-209M | TimesFM-3 | Chronos-2 | Toto-2.0-2.5B |
|---|---|---|---|---|
| 开发者 | Mistral AI | Google Research | Amazon | Datadog |
| 参数量 | 209M | 330M | 120M | 2.5B |
| 架构 | 因果补丁 Transformer,DHF | Decoder-only,连续补丁掩码 | Encoder-only,分组注意力 | Decoder-only,连续补丁掩码 |
| 最大上下文 | 32,768 步 | 未披露 | 8,192 步 | 未披露 |
| 单次预测步长 | 1,024 步 | 未披露 | 1,024 步(最大) | 未披露 |
| 分位数 | 21 | 9 | 未披露 | 9 |
| 权重许可 | Modified MIT | 非商业 v1.0 | Apache 2.0 | Apache 2.0 |
| 权重 (fp32) | 837 MB | 未公开 | 未公开 | 9.1 GB |
| GIFT-Eval MASE / CRPS | 0.658 / 0.446 | 0.667 / 0.456* | 0.698 / 0.485* | 0.696 / 0.476 |
| TIME MASE / CRPS | 0.626 / 0.522 | 0.640 / 0.536* | 0.662 / 0.556* | 0.640 / 0.532** |
| fev-bench SQL 技能 | 50.39 | 48.99* | 47.28* | 44.42* |
* 如 Timestral-209M 模型卡上所列。Google 和 Amazon 未在其模型页面上发布对应的数字。** 来自 Datadog 的模型卡。Mistral 的卡片列出 0.642 / 0.539。
开发者如何部署 Timestral？
使用以下命令安装该软件包 pip install git+https://github.com/mistralai/timestral.git。它需要 Python 3.10+ 和 torch 2.4+。依赖项为 PyTorch、NumPy、safetensors 和 huggingface_hub。权重从 Hugging Face 下载： 5M 为 21 MB，28M 为 111 MB，123M 为 490 MB.
Mistral 的文档将 Timestral 1.0 209M 列为 公开预览版。在专有数据上进行微调需通过 Mistral Forge。该流水线可以部署在本地、VPC 或物理隔离（air-gapped）环境中。
要点
- 4 种尺寸，从 5M 到 209M，全部位于精度与规模的 Pareto 前沿上。
- 209M 在零样本模型中领跑 GIFT-Eval、TIME 和 fev-bench。
- 仅 CPU 推理：10 ms (5M) 至 140 ms (209M)。
- 32,768 步上下文，21 个分位数，原生协变量支持。
- 修改版 MIT 权重，不同于 TimesFM-3 的非商业许可。
查看 博客文章, GitHub 仓库 以及 Hugging Face 上的模型权重。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等！你用 Telegram 吗？ 现在你也可以在 Telegram 上加入我们。
文章 Mistral AI 发布 Timestral：一个性能超越 Google TimesFM-3 的 209M 预测模型家族 首发于 MarkTechPost.