IT之家 11月5日の報道によると、百度の文心大模型は本日、ERNIE-5.5-Flash-Baseを公開し、ERNIE 5.5 Flash予訓練の最終段階の重みを公開した。
これは希薄なMoE言語モデルで、総パラメータは280B、各トークンが14Bの活性化をし、33.5T個のトークンにおいてゼロから予備訓練を完了しました。最長の訓練コンテキストは128Kで、微調整と推論には1M個のトークンコンテキストがサポートされます。
今回公開された重みは中間訓練および後続訓練を経ていないため、領域適応、指示の微調整、強化学習研究の共通の出発点として利用できる。
公式によると、Baseモデルは単なる出発点に過ぎないとのことです。後で訓練されたERNIE 5.5 Flashが後に公開される予定です。
ERNIE-5.5-Flash-Baseは、33.5Tトークンにおいてゼロから予先学習を完了しました。MuonオプティマイザとFP8の混合精度を採用しています。予先学習されたコーパスは広範な分野と言語をカバーしており、特に3つの方向に重点を置いて構築されています。
ウェブページデータ：多言語ウェブページのクローラー処理、高精細テキストの抽出、モデル駆動型の多次元品質フィルタリング。
コードデータ：倉庫とウェブページのコードは、非コードフィルタリング、重複除去、品質分類を行い、commit、issue、pull request、コードレビュー、自動生成されたテスト、CIによる検証済み修正などのソフトウェアの進化と実行検証に関するデータが追加されました。
長文データ：選り抜かされた天然の長文、意味的に近い検索妨害テキストが混在した長い系列、そして合成された検索、引用に基づくQ&AおよびマルチホップQ&Aデータ。
報道によると、トレーニングシステムとモデル構造は共同で設計されている。最適化器には分散型Muonが採用されており、数千台のカードを対象とした場合、DenseパラメータとMoEパラメータ間の機械間通信を一つの集合通信に統合することで、機械間の遅延とノイズを低減している。注意深さ演算器にはCuTe-DSLベースのFlashMask-4が使用され、SM90およびSM100アーキテクチャをサポートし、head dimは最大で576（qk）/ 512（v）まで対応し、HCA層の512次元幅のヘッド計算に直接利用可能である。
IT之家に評価データとオープンソースリンクが付属：
文心大模型は、30項目のベンチマークにおいてERNIE-5.5-Flash-Baseを評価しました。これには、総合能力、知識、理科、推論、多言語、コード、長いコンテキストといった7つの能力が含まれます。また、同等規模のBaseモデルであるDeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseの結果も示されています。これら4つのモデルは、それぞれ公開されているcheckpointに基づき、同じ評価フレームワークを使用しています。
ERNIE-5.5-Flash-Baseは、すべての能力の側面で良好な性能を示しています。長いコンテキストに関しては、43層のうち37層が128倍圧縮後のシーケンス上で注意を払っており、6層のMLA-DSAが細粒度検索を支えるのに十分です。完全な表はHugging Faceモデルカーを見てください。
技術ブログ：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
Hugging Face（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
Hugging Face（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
微調例（Megatron-Bridge）：https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55