AIbase出典公開日

MiniMaxがM3.1 Flashをオープンソース化:総パラメータ428B、アクティブパラメータ23B、72時間で処理したToken数が100兆を超過

MiniMaxは10月23日、MiniMax M3.1Flash モデルの重みを正式にオープンソース化した。このモデルの総パラメータ数は428B、アクティブパラメータ数は23Bで、前世代のM3モデルから能力が全面的に向上している。

MiniMaxは10月23日、MiniMax M3.1Flash モデルの重みを正式にオープンソース化した。このモデルの総パラメータ数は428B、アクティブパラメータ数は23Bで、前世代のM3モデルから能力が全面的に向上している。公式の発表によると、M3.1Flashは公開から72時間以内に、実際のユーザーの処理Token数がすでに100兆を超えたという。

推論効率を向上させるため、M3.1Flashは複数の最適化を導入した:最初の3つの全アテンション層をスパースアテンションに置き換えた;量子化認識トレーニング(QAT)により、ルーティングMoEエキスパート(共有エキスパートを除く)をW4A4に移行し、スパースアテンションのインデクサーとメインブランチをQ8KV8からQ8KV4に調整した;同時にPower-aware schedulingを採用して計算カードの消費電力をきめ細かく配分し、ハードウェアの利用効率を向上させた。

エコシステム構築の面では、MiniMaxはファーウェイ昇騰(Ascend)、平頭哥(T-Head)、崑崙芯(Kunlunxin)、Moore Threads(摩尔线程)、壁仞(Biren)、海光(Hygon)、沐曦(MetaX)、天数(Iluvatar)、NVIDIA、AMDなどのチップメーカー、およびTogether AI、Fireworks、Nebius、Baseten、Modal、DigitalOceanなどの推論・クラウドサービスプラットフォームと連携し、モデルの初日からの接入を推進した。

さらに、vLLM、SGLang、智源FlagOS、およびHugging Face、魔搭コミュニティ(ModelScope)も共同でモデルの適合作業を推進し、さまざまなチップ、クラウドプラットフォーム、開発環境での応用を広げていく。

オープンソースのアドレス:

Hugging Faceリンク:https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash

魔搭コミュニティ:https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash

原文の出典

AIbase

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください