MiniMaxは10月23日、MiniMax M3.1Flash モデルの重みを正式にオープンソース化した。このモデルの総パラメータ数は428B、アクティブパラメータ数は23Bで、前世代のM3モデルから能力が全面的に向上している。公式の発表によると、M3.1Flashは公開から72時間以内に、実際のユーザーの処理Token数がすでに100兆を超えたという。
推論効率を向上させるため、M3.1Flashは複数の最適化を導入した:最初の3つの全アテンション層をスパースアテンションに置き換えた;量子化認識トレーニング(QAT)により、ルーティングMoEエキスパート(共有エキスパートを除く)をW4A4に移行し、スパースアテンションのインデクサーとメインブランチをQ8KV8からQ8KV4に調整した;同時にPower-aware schedulingを採用して計算カードの消費電力をきめ細かく配分し、ハードウェアの利用効率を向上させた。
エコシステム構築の面では、MiniMaxはファーウェイ昇騰(Ascend)、平頭哥(T-Head)、崑崙芯(Kunlunxin)、Moore Threads(摩尔线程)、壁仞(Biren)、海光(Hygon)、沐曦(MetaX)、天数(Iluvatar)、NVIDIA、AMDなどのチップメーカー、およびTogether AI、Fireworks、Nebius、Baseten、Modal、DigitalOceanなどの推論・クラウドサービスプラットフォームと連携し、モデルの初日からの接入を推進した。
さらに、vLLM、SGLang、智源FlagOS、およびHugging Face、魔搭コミュニティ(ModelScope)も共同でモデルの適合作業を推進し、さまざまなチップ、クラウドプラットフォーム、開発環境での応用を広げていく。
オープンソースのアドレス:
Hugging Faceリンク:https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
魔搭コミュニティ:https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash