IT之家 10月23日のニュースによると、MiniMax 稀宇科技は本日発表したオープンソースのMiniMax M3.1 Flashモデルの重み総パラメータ 428B、アクティベーションパラメータ 23B。
前世代のM3モデルと比べて、M3.1 Flashモデルの能力が全面的に向上しました。さらに、全モデルのスパースな注意力、量化知覚訓練、Power-aware schedulingなどの最適化処理を通じて、M3.1 Flashは推論効率をさらに高めました。
全モデルのスパース注意力：最初の3つの全注意力層をスパース注意力に置き換える；
QAT：ルーティングMoEエキスパートの移行がW4A4へ（共有エキスパートは除く）、希薄注意度インデックス器と主分岐がQ8KV8からQ8KV4へ移行する；
パワー-意識的なスケジューリング：計算カードの消費電力を精密に配分することで、計算カードが持続的に高い計算能力を維持し、ハードウェアの効率を最大限に引き出す。
M3.1 Flashは10月19日に公開され、72時間で実際のユーザーが100兆トークンを処理した。
MiniMaxは、華為昇腾、平頭哥、昆仑芯、モールスティーダー、壁仞、海光、沐曦、天数、ニューラビア、AMDなどの国内外のチップメーカー、およびTogether AI、Fireworks、Nebius、Baseten、Modal、DigitalOceanなどの推論およびクラウドサービスプラットフォームと協力して、M3.1 Flashのオープンソース初回アクセスを共同で推進すると発表しました。
また、vLLM、SGLang、智源FlagOS、Hugging Face、魔搭などの推論フレームワークとオープンソースコミュニティも、MiniMaxと共に、異なるチップ、クラウドプラットフォーム、開発環境におけるモデルの応用を推進し、世界のAIオープンソースエコシステムを継続的に拡大していく。
IT之家のオープンソースアドレスは以下の通りです：