MiniMax开源 am 23. Oktober offiziell die Modellgewichte von MiniMax M3.1Flash. Das Modell verfügt über insgesamt 428B Parameter, wovon 23B aktiviert sind, und bietet gegenüber dem Vorgängermodell M3 eine umfassende Verbesserung der Fähigkeiten. Laut offiziellen Angaben wurden in den ersten 72 Stunden nach dem Start von M3.1Flash von echten Nutzern mehr als 100 Billionen Token verarbeitet.
Zur Steigerung der Inferenzeffizienz führt M3.1Flash mehrere Optimierungen ein: Die ersten drei Full-Attention-Schichten wurden durch Sparse Attention ersetzt; durch quantisierungsbewusstes Training (QAT) wurden die gerouteten MoE-Experten (mit Ausnahme der Shared Experts) auf W4A4 migriert, und der Sparse-Attention-Indexer sowie der Hauptzweig wurden von Q8KV8 auf Q8KV4 umgestellt; außerdem wird durch Power-aware scheduling die Leistungsaufnahme der Recheneinheiten fein abgestimmt, um die Hardwareauslastung zu verbessern.
Im Bereich des Ökosystemaufbaus hat MiniMax mit Chip-Herstellern wie Huawei Ascend, T-Head, Kunlunxin, Moore Threads, Biren, Hygon, MetaX, Iluvatar CoreX, NVIDIA und AMD sowie mit Inferenz- und Cloud-Dienstplattformen wie Together AI, Fireworks, Nebius, Baseten, Modal und DigitalOcean zusammengearbeitet, um die Integration des Modells ab dem ersten Tag voranzutreiben.
Darüber hinaus werden vLLM, SGLang, BAAI FlagOS sowie Hugging Face und die ModelScope-Community gemeinsam die Anpassung des Modells vorantreiben und seinen Einsatz auf verschiedenen Chips, Cloud-Plattformen und in unterschiedlichen Entwicklungsumgebungen erweitern.
Open-Source-Adressen:
Hugging Face: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
ModelScope-Community:https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash