Baiduは公開しました ERNIE 5.5 Flash Baseこれは同社の新しいスパースMixture-of-Experts言語モデルの生の事前学習チェックポイントです。ERNIE 5.5 Flash Baseは、トークンごとに14Bパラメータを活性化する、Baidu製の280Bパラメータのテキストモデルです。重みは事前学習の終了時点までのもので、ミッドトレーニングやポストトレーニングは適用されていません。これは、単一のチェックポイントからファインチューニング、指示チューニング、RL手法を比較したいチームにとっての クリーンな出発点 となります。
TL;DR
- サイズ： 合計280B、トークンごとに14Bが活性化。128Kの学習コンテキスト、ファインチューニングと推論では1M。
- 動作環境： マルチGPUサーバー。Baiduのリファレンス構成では、SGLangとvLLMで4ウェイ並列を使用。GPUモデルとVRAMは非公開。FP8およびBF16の重み。
- 性能： Baiduの統一パイプラインにおける30のベースモデルベンチマークのうち24で最高スコア（自己申告）。
- 最高： MMLU-Pro 78.4で、69.2のDeepSeek-V4-Flash-Baseを上回る。
- 最低： HELMET-Rerank 56.2で、60.0のDeepSeek-V4-Flash-Baseに及ばない。
ERNIE 5.5 Flash Baseとは何か？
これはテキスト専用のMoEベースモデルで、 43層と4096の隠れ層サイズを持ちます。Muonオプティマイザを使用して33.5Tトークンでゼロから事前学習されました。トークナイザは201,216エントリを持ち、数値を最大3桁ずつのチャンクに右から左へグループ化します。
活性化される計算量、KVキャッシュ、長コンテキストのコストは、単一の予算として扱われました。事前学習データは、後から追加するのが難しいリポジトリ規模のコードや長コンテキスト素材に重点を置きました。
ERNIE 5.5 Flashのアーキテクチャはどのように機能するのか？
- ハイブリッドアテンション：37層はHeavily Compressed Attention(HCA)を使用し、128トークンごとに1エントリをキャッシュします。残りの6層はスパースアテンション付きのMulti-head Latent Attention(MLA + DSA)を使用します。つまり、7層に1層が完全なコンテキストアクセスを維持します。HCA層は512次元のヘッドを、MLA層は256次元のヘッドを使用します。
- ゲート付き混合ヘッド：アテンション出力ゲートは低ランクのクエリ潜在表現から得られ、ゲート投影パラメータを75%削減します。 Virtual Head Attention は、ヘッド間に軽量な低ランク混合を追加します。
- Multi-Router Latent MoE。 各MoEレイヤーには、ルーティングされる512個のエキスパート(top-10)に加えて、共有エキスパートが1個あります。複数の独立したシグモイドルーターが、Baiduの Multi-Router論文に従い、単一のルーターを置き換えています。エキスパートのFLOPsと通信量は変わりません。エキスパートは隠れ幅の半分である2048次元の潜在空間で動作します。
- MTPの代わりにECHO。:ECHO はバックボーンの最終レイヤーを再利用して未来のトークンを予測します。同じレイヤーが、投機的デコード用の組み込みドラフトモデルとしても機能します。ECHOは0.36Bのパラメータを追加しますが、これは公表数値には含まれていません。
- その他の要素: このモデルは、拡張率4の多様体制約ハイパーコネクション(Manifold-constrained Hyper-Connections)とMultiMax出力ヘッドを使用しています。
ERNIE 5.5 Flash Baseのベンチマークでの性能はどうか?
Baiduチームは、同じパイプライン、プロンプト、few-shot設定ですべての4モデルを評価しました。以下の数値はすべてBaiduによる自己報告です。
- 試験: MMLU 93.3、MMLU-Redux 94.1、MMLU-Pro 78.4。
- 知識: SimpleQA 34.1、DeepSeek-V4-Flash-Baseの29.1に対して。
- STEMと推論: GPQA 60.2、MGSM 87.0、BBH direct 77.1。
- コード: HumanEval+ 82.3、MBPP+ 81.5、LiveCodeBench 40.1。
- 長文コンテキスト: RepoQA 91.7、LongBench-v2 48.7、HELMET-ICL 85.9。
6つのタスクでは敗れています。DeepSeek-V4-Flash-BaseはChineseSimpleQA、INCLUDE-lite、HELMET-Rerank、InfiniteBenchで首位です。Hy3-preview-BaseはBBH CoTとFullStackBenchで首位です。
Baiduのパイプラインにおける競合の数値は、各ベンダー自身の報告と若干異なります。 DeepSeekは MMLU-Pro 68.3を公表していますが、Baiduの測定では69.2です。 Tencentは Hy3のMMLU-Proを65.76と公表していますが、Baidu AIの測定では66.9です。
DeepSeek、Tencent、Xiaomiのベースモデルとどう比較されるか?
| 特徴 | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|
| 開発元 | Baidu | DeepSeek | Tencent | Xiaomi |
| 総パラメータ数 | 280B | 284B | 295B (+3.8B MTP) | 310B |
| アクティブパラメータ数 | 14B | 13B | 21B | 15B |
| コンテキスト | 128K学習 / 1M推論 | 1M | 256K | 256K |
| アテンション | HCA + MLA-DSAハイブリッド | CSA + HCAハイブリッド | GQA | SWA + グローバル、5:1 |
| エキスパート | 512ルーティング、top-10 + 1共有 | カードには非公開 | 192、top-8 | 256、top-8 |
| 公開ウェイト | FP8、BF16 | FP8 Mixed | BF16 | FP8 |
| ライセンス | ERNIE 5.5 Flash Base License v1.0 | MIT | Tencent Hy Community License | MIT |
| MMLU-Pro* | 78.4 | 69.2 | 66.9 | 65.7 |
| HumanEval+* | 82.3 | 69.5 | 78.0 | 74.4 |
| LongBench-v2* | 48.7 | 44.5 | 39.8 | 44.6 |
| HELMET-Rerank* | 56.2 | 60.0 | 55.7 | 56.6 |
*スコアの出典は Baiduの統一評価、自己申告によるもの。
ERNIE 5.5 Flash Baseはどうデプロイするのか?
ウェイトは Hugging Face およびModelScopeで、 FP8 と BF16の形式で提供されている。BaiduはSGLangとvLLMによるサービングをドキュメント化している。SGLangの例では --tp 4を使用する。vLLMの経路にはバージョン0.32.0に加えて vLLM-ERNIE pluginが必要である。どちらのサーバーも最大1,048,576トークンまで受け付ける。ベースモデルであるため、chatではなくcompletionsエンドポイントを通じて実行される。
学習は FlashMask-4というSM90およびSM100 GPU向けのカーネル上で実施された。SM100において、BaiduチームはFlashAttention-4 MaskModと比較してフォワードが最大175%高速、バックワードが74%高速であると報告している。
要点まとめ
- 総パラメータ280B、うちアクティブは14B:これはスパースなMoEベースチェックポイントであり、チャットモデルではありません。
- MMLU-Proの78.4は、DeepSeek-V4-Flash-Baseを9.2ポイント上回ります。
- HCAは43層のうち37層で、128トークンごとに1エントリをキャッシュします。
- ECHOは最終層を内蔵のスペキュレーティブドラフトモデルに変換します。
- 売上高が50M米ドル未満の場合はライセンスは無料ですが、EU、英国、韓国は対象外です。
以下をご覧ください Model Weights, Technical Blog、および以下に関する論文: VHA, Multi-Router MoE 、そして ECHO。また、ぜひ Twitter をフォローし、 150k+ML SubReddit に参加して、 our Newsletterを購読してください。お待ちください!Telegramをご利用ですか? 現在、Telegramにも参加できるようになりました。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどの宣伝で当社とパートナーになりたいですか? 当社にご連絡ください
この記事 BaiduがERNIE 5.5 Flash Baseをリリース:アクティブパラメータ14Bを備えた280BのMoEベースモデル は以下に最初に掲載されました: MarkTechPost.