IT之家 berichtet am 23. Oktober, dass MiniMax Chiyu Technology heute die open source Modelgewichte von MiniMax M3.1 Flash bekanntgibt. Die Gesamtzahl der Parameter beträgt 428B, die aktiven Parameter sind 23B.
Im Vergleich zur letzten Generation des M3-Modells hat die Modellleistung des M3.1 Flash-Modells eine deutliche Verbesserung erlebt. Darüber hinaus hat das M3.1 Flash-Modell durch Optimierungen wie vollständig sparsames Aufmerksamkeitsmanagement, quantifizierte Wahrnehmungstraining und Power-aware Scheduling die Rechenleistung weiter verbessert:
Vollmodell-Sparse Atonomie: Die ersten drei Vollatenomie-Schichten werden durch Sparse Atonomie ersetzt;
QAT： Routen-MoE-Experten werden in W4A4 umgezogen (außer gemeinsam genutzte Experten), der dünne Aufmerksamkeitsindexer und die Hauptschlussbänder werden von Q8KV8 in Q8KV4 umgezogen;
Power-aware Scheduling： Durch eine präzise Verteilung der Leistung der Rechenkarten wird die stetige Hochleistung der Rechenkarten erhalten, um die Hardwareeffizienz optimal auszunutzen.
M3.1 Flash wurde am 19. Oktober veröffentlicht, innerhalb von 72 Stunden verarbeiteten echte Nutzer mehr als 100 Billionen Token.
MiniMax kündigt an, gemeinsam mit chipanbietern wie Huawei昇腾, Pingtouge, Kunlunxin, Moore Thread, Biyan, Hailong, MuXi, Tiantian, NVIDIA und AMD sowie Inferenz- und Cloud-Diensten wie Together AI, Fireworks, Nebius, Baseten, Modal und DigitalOcean, die offene Zugänglichkeit von M3.1 Flash zu fördern.
Darüber hinaus werden die Rechentools wie vLLM, SGLang, Zhiyuan FlagOS sowie Hugging Face und MagicLlama sowie die Open-Source-Communities gemeinsam mit MiniMax die Anwendung von Modellen auf verschiedenen Chips, Cloudplattformen und Entwicklungsumgebungen fördern, um das globale AI-Open-Source-Ecosystem kontinuierlich auszubauen.
Die IT Home-Seite enthält die offene Quelle wie folgt:
Hugging Face: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
Magda-Community: https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash