Mistral AI, 209M 규모의 Google TimesFM-3를 능가하는 예측 모델 계열 Timestral 공개

Mistral AI가 Timestral, 즉 첫 번째 시계열 파운데이션 모델 계열을 공개했습니다. Timestral은 Mistral AI의 4개 제로샷 예측 모델 세트로, 5M부터 209M 파라미터 규모입니다. 가장 큰 체크포인트 는 사전 학습된 제로샷 모델 중 GIFT-Eval, TIME, fev-bench에서 1위를 차지합니다. 그것도 추론 시 GPU 없이 가능합니다. 개발자 입장에서 이 Timestral 시계열 파운데이션 모델은 표준 서버 CPU에서 확률론적 예측이 가능하다는 의미이며, 오픈 웨이트 와 추론 코드.

TL;DR

• 크기: 4개 모델: 5M, 28M, 123M, 209M 파라미터(dense). 최대 32,768 시간 단계의 컨텍스트.
• 실행 환경: 표준 서버 CPU, GPU 불필요. 209M 가중치는 fp32 기준 837 MB. GPU는 선택 사항.
• 성능: GIFT-Eval, TIME, fev-bench에서 제로샷 사전 학습 모델 중 1위 (Mistral 보고).
• 최고 성능: fev-bench SQL 스킬 점수 50.39로, 48.99를 기록한 TimesFM-3를 앞섬.
• 최저 성능: GIFT-Eval MASE 0.658로 t0-gamma(0.661)를 겨우 0.003 차이로 앞섬.

Timestral이란?

Timestral은 시계열 파운데이션 모델(TSFM)입니다. 대규모의 다양한 코퍼스로 사전 학습된 후, 한 번도 본 적 없는 데이터에 대해 제로샷으로 예측을 수행합니다. ARIMA 같은 고전 도구는 한 번에 하나의 시계열만 피팅하며, PatchTST 같은 딥러닝 모델은 보통 각 데이터셋마다 처음부터 학습합니다. Timestral은 그 대신 도메인 전반에 걸쳐 패턴을 전이합니다.

각 모델은 시간 단계당 21개의 분위수를 출력합니다. 다변량 타깃을 동시에 예측하며, 과거 전용(past-only), 알려진 미래(known-future), 범주형 공변량(covariates)을 입력으로 받습니다.

Timestral은 어떻게 작동하는가?

Timestral은 시간 어텐션과 변수 어텐션을 갖춘 인과적(causal) 패치 기반 트랜스포머 입니다. 209M 모델은 24개 레이어와 768의 임베딩 차원을 사용합니다각 패치는 32개의 타임 스텝을 다룹니다. 단일 순방향 패스로 최대 1,024 스텝까지 예측합니다. 더 긴 구간은 블록 단위로 실행되며, 각 블록의 중앙값을 다시 컨텍스트로 입력합니다.

Mistral은 다음을 나열합니다 4가지 기술적 기여:

• Decoupled Horizon Forecasting (DHF): 학습된 예측 토큰은 전체 히스토리를 읽습니다. 관측된 값은 마스킹되지 않고 컨텍스트에 유지되며, 이는 Toto 2.0 및 TimesFM-3의 연속 패치 마스킹 방식과 다릅니다.
• 공변량 인식 어텐션: 각 시계열은 타깃, 과거 전용 공변량 또는 알려진 미래 공변량입니다. 정보는 공변량에서 타깃으로만 흐르므로 미래 정보 누출을 방지합니다.
• 합성 우선 데이터: 대부분의 학습 데이터는 합성 데이터이며, 추세, 계절성, 잡음 및 비선형적인 시계열 간 종속성이 포함되어 있습니다.
• 2단계 훈련: 컨텍스트 8,192로 합성 데이터에 대한 사전 학습을 수행한 뒤, 4배 더 긴 컨텍스트의 혼합 데이터로 사후 학습을 진행합니다. 손실 함수는 21개 분위수에 대한 핀볼 손실입니다.

Timestral은 벤치마크에서 어떤 성능을 보이나요?

아래의 모든 점수는 앙상블 없이 단일 체크포인트에서 얻은 zero-shot 점수입니다. 이 점수들은 다음에서 나왔습니다. Timestral-209M 모델 카드.

• GIFT-Eval: MASE 0.658, CRPS 0.446 (값이 낮을수록 좋음).
• 시간: MASE 0.626, CRPS 0.522 (값이 낮을수록 좋습니다).
• fev-bench: SQL 스킬 점수 50.39, MASE 스킬 점수 39.49 (높을수록 좋음).

크기 스케일링은 상위에서 평평합니다. Timestral-123M은 점수를 기록합니다 GIFT-Eval에서 0.659 MASE, 209M의 경우 0.658입니다. Mistral 팀은 다음과 같이 말합니다. 28M 모델, Chronos-2를 제치다 GIFT-Eval 및 TIME에서 평가했을 때, Chronos-2는 약 4배 더 큽니다.

CPU에서 Timestral은 얼마나 빠른가요?

Mistral 팀은 8개 스레드를 갖춘 표준 서버 CPU를 테스트했습니다. 과제는 15분 단위 3주 치 이력으로부터 1일 앞을 예측하는 것이었습니다. 이 5M 모델은 10 ms가 걸렸고 209M 모델은 140 ms가 걸렸습니다. 28M 모델은 209M보다 5배 빠릅니다. 123M 모델은 209M 점수의 0.2% 이내에 도달하며, 지연 시간은 4분의 3 수준입니다.

Timestral은 TimesFM-3, Chronos-2, Toto 2.0과 어떻게 비교됩니까?

* 에 표기된 수치 기준 Timestral-209M 모델 카드. Google과 Amazon은 자사 모델 페이지에 이에 상응하는 수치를 공개하지 않습니다. ** 출처: Datadog의 모델 카드. Mistral의 카드에는 0.642 / 0.539로 표기되어 있습니다.

개발자는 Timestral을 어떻게 배포할 수 있나요?

다음으로 패키지를 설치합니다 pip install git+https://github.com/mistralai/timestral.git. 필요 조건은 Python 3.10+ 및 torch 2.4+입니다. 의존성은 PyTorch, NumPy, safetensors, huggingface_hub입니다. 가중치는 Hugging Face에서 다운로드합니다: 5M은 21 MB, 28M은 111 MB, 123M은 490 MB.

Mistral의 문서는 Timestral 1.0 209M을 Public Preview로 표기합니다. 사내 데이터에 대한 파인튜닝은 Mistral Forge를 통해 진행됩니다. 이 파이프라인은 온프레미스, VPC 또는 에어갭 환경에 배포할 수 있습니다.

핵심 요약

• 5M부터 209M까지 4가지 크기, 모두 정확도-크기 파레토 경계에 위치합니다.
• 209M은 제로샷 모델 중 GIFT-Eval, TIME, fev-bench에서 선두입니다.
• CPU 전용 추론: 5M은 10 ms, 209M은 140 ms.
• 32,768스텝 컨텍스트, 21개 분위수, 네이티브 공변량 지원.
• TimesFM-3의 비상업 라이선스와 달리 수정된 MIT 가중치.

다음을 확인해 보세요 블로그 게시물, GitHub 저장소 그리고 Hugging Face의 모델 가중치. 이 프로젝트의 연구자에게 모든 공은 돌아갑니다. 또한 언제든지 저희를 팔로우해 주세요 트위터(Twitter) 그리고 저희의 ML 서브레딧 150k+ 그리고 다음을 구독하세요 저희 뉴스레터. 잠깐만요! 텔레그램 사용 중이신가요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.

해당 게시물 Mistral AI, Google의 TimesFM-3를 능가하는 209M 예측 모델 계열 Timestral 공개 최초 발행: MarkTechPost.