Mistral AIはリリースした Timestral、同社初の時系列基盤モデルファミリーである。TimestralはMistral AIのゼロショット予測モデル4つからなり、5Mから209Mパラメータのサイズ帯で提供される。 最大のチェックポイント は、GIFT-Eval、TIME、fev-benchにおいて事前学習済みゼロショットモデルの中で第1位にランクインしている。しかも推論にGPUを必要としない。開発者にとって、このTimestralの時系列基盤モデルは、標準的なサーバーCPU上で確率的予測が可能であることを意味し、 オープンウェイト と 推論コード.
TL;DR
- サイズ: 4モデル: 5M、28M、123M、209Mパラメータ(デンス)。コンテキストは最大32,768タイムステップ。
- 動作環境: 標準的なサーバーCPU、GPU不要。209Mのウェイトはfp32で837 MB。GPUは任意。
- 性能: GIFT-Eval、TIME、fev-benchにおいてゼロショット事前学習済みモデル中第1位(Mistral発表)。
- 最良: fev-benchのSQLスキルスコア50.39で、48.99のTimesFM-3を上回る。
- 最悪: GIFT-EvalのMASE 0.658は、t0-gamma(0.661)に対するリードがわずか0.003。
Timestralとは何か?
Timestralは時系列基盤モデル(TSFM)である。大規模で多様なコーパスで事前学習され、未知のデータに対してゼロショットで予測を行う。ARIMAのような古典的ツールは一度に1系列を当てはめる。PatchTSTのようなディープラーニングモデルは通常、各データセットごとにゼロから学習する。Timestralは代わりにドメインを横断してパターンを転移する。
各モデルは タイムステップあたり21個の分位点を出力する。多変量ターゲットを共同で予測し、過去のみの共変量、既知の未来の共変量、カテゴリカル共変量を受け付ける。
Timestralはどのように動作するか?
Timestralは、時間アテンションと変量アテンションを備えた 因果的でパッチベースのトランスフォーマー である。209Mモデルは 24層、埋め込み次元768を使用する「。各パッチは32タイムステップをカバーします。1回のフォワードパスで最大1,024ステップまで予測できます。より長い予測期間はブロックごとに実行され、各ブロックの中央値をコンテキストとして戻します。」
Mistralはリストアップしており 4つの技術的貢献:
- Decoupled Horizon Forecasting(DHF): 学習された予測トークンは履歴全体を読み取ります。Toto 2.0やTimesFM-3の連続パッチマスキングとは異なり、観測値はマスクされずにコンテキストに残ります。
- 共変量対応アテンション: 各系列は、ターゲット、過去のみの共変量、または既知の未来の共変量のいずれかです。情報は共変量からターゲットへのみ流れるため、未来の情報漏洩が防止されます。
- 合成データファースト: 訓練データのほとんどは合成データであり、トレンド、季節性、ノイズ、および系列間の非線形な依存関係が含まれています。
- 2段階トレーニング: コンテキスト長8,192での合成データによる事前学習を行い、その後、4倍長いコンテキストの混合データで事後学習を行います。損失は21の分位点におけるピンボール損失です。
Timestralはベンチマークでどのような性能を示しますか?
以下に示すスコアはすべて、アンサンブルを使用しない単一チェックポイントからのゼロショットのものです。これらは次のものによるものです。 Timestral-209M モデルカード.
- GIFT-Eval: MASE 0.658、CRPS 0.446(数値は低いほど良い)。
- 時間: MASE 0.626、CRPS 0.522（数値が小さいほど良い）。
- fev-bench: SQLスキルスコア50.39、MASEスキルスコア39.49（数値が高いほど良い）。
サイズのスケーリングは上位で頭打ちになっています。Timestral-123Mのスコアは GIFT-Evalにおける0.659 MASE、209Mに対しては0.658となっています。Mistralチームは、 28MモデルがChronos-2を上回る GIFT-EvalとTIME上での比較です。Chronos-2は約4倍大きいモデルです。
TimestralはCPU上でどのくらいの速度で動作しますか?
Mistralチームは8スレッドの標準的なサーバーCPUでテストを行いました。タスクは、3週間分の15分間隔の履歴から1日先を予測することです。The 5Mモデルでは10 ms、209Mモデルでは140 msかかりました。28Mモデルは209Mモデルの5倍高速です。123Mモデルは、209Mのレイテンシの4分の3で、そのスコアの0.2%以内に達しています。
TimestralはTimesFM-3、Chronos-2、Toto 2.0と比べてどうですか?
| 特集 | Timestral-209M | TimesFM-3 | Chronos-2 | Toto-2.0-2.5B |
|---|---|---|---|---|
| 開発者 | Mistral AI | Google Research | Amazon | Datadog |
| パラメータ数 | 209M | 330M | 120M | 2.5B |
| アーキテクチャ | 因果的パッチトランスフォーマー、DHF | Decoder-only、連続パッチマスキング | Encoder-only、グループアテンション | Decoder-only、連続パッチマスキング |
| 最大コンテキスト | 32,768 ステップ | 非公開 | 8,192 ステップ | 非公開 |
| 単一パス予測ホライズン | 1,024 ステップ | 非公開 | 1,024 ステップ（最大） | 非公開 |
| 分位数 | 21 | 9 | 非公開 | 9 |
| 重みライセンス | Modified MIT | 非商用 v1.0 | Apache 2.0 | Apache 2.0 |
| 重み (fp32) | 837 MB | 非公開 | 非公開 | 9.1 GB |
| GIFT-Eval MASE / CRPS | 0.658 / 0.446 | 0.667 / 0.456* | 0.698 / 0.485* | 0.696 / 0.476 |
| TIME MASE / CRPS | 0.626 / 0.522 | 0.640 / 0.536* | 0.662 / 0.556* | 0.640 / 0.532** |
| fev-bench SQL skill | 50.39 | 48.99* | 47.28* | 44.42* |
* に記載されている数値 Timestral-209M モデルカードによるもの。Google と Amazon は、それぞれのモデルページで一致する数値を公表していない。** は Datadog のモデルカードから。Mistral のカードには 0.642 / 0.539 が記載されている。
開発者は Timestral をどのようにデプロイできるか?
パッケージを次でインストールします: pip install git+https://github.com/mistralai/timestral.git。必要なのは Python 3.10+ and torch 2.4+です。依存関係は PyTorch、NumPy、safetensors、huggingface_hub です。重みは Hugging Face からダウンロードします: 5M は 21 MB、28M は 111 MB、123M は 490 MB.
Mistral のドキュメントでは、Timestral 1.0 209M は Public Previewとされています。独自データでのファインチューニングは Mistral Forgeを通じて実行できます。このパイプラインはオンプレミス、VPC、またはエアギャップ環境にデプロイ可能です。
重要なポイント
- 5M から 209M までの 4 サイズすべてが、精度対サイズのパレートフロンティア上にある。
- 209M は、ゼロショットモデルの中で GIFT-Eval、TIME、fev-bench で首位を獲得。
- CPUのみでの推論: 5M で 10 ms から 209M で 140 ms。
- 32,768 ステップのコンテキスト、21 分位数、ネイティブの共変量サポート。
- TimesFM-3 の非商用ライセンスとは異なる、改変 MIT の重み。
ぜひチェックしてください: ブログ記事, GitHubリポジトリ および Hugging Face上のモデルウェイト。本プロジェクトの研究者に全ての功績があります。また、ぜひ私たちをフォローしてください Twitter そして、私たちの 150k+のML SubReddit 「そして、登録する」 当社のニュースレター. 待ってください!Telegramを使っていますか? 現在、Telegramでもご参加いただけるようになりました。
この投稿 Mistral AI、Timestralをリリース：GoogleのTimesFM-3を上回る209Mの予測モデルファミリー 最初に掲載されたのは MarkTechPost.