IT之家 Le 23 octobre, MiniMax 稀宇科技 a annoncé aujourd'huila publication en open source des poids du modèle MiniMax M3.1 Flash, avec 428B de paramètres au total et 23B de paramètres activés.
Par rapport au modèle M3 de la génération précédente, le M3.1 Flash offre une amélioration globale de ses capacités. De plus, grâce à des travaux d'optimisation tels que l'attention sparse sur l'ensemble du modèle, l'entraînement avec conscience de la quantification et le Power-aware scheduling, le M3.1 Flash améliore encore l'efficacité d'inférence :
Attention sparse sur l'ensemble du modèle :les trois premières couches d'attention complète sont remplacées par de l'attention sparse ;
QAT：les experts MoE de routage sont migrés en W4A4 (à l'exception des experts partagés), l'indexeur d'attention sparse et la branche principale passent de Q8KV8 à Q8KV4 ;
Power-aware scheduling：grâce à une allocation fine de la consommation des cartes de calcul, celles-ci restent en permanence à un haut niveau de puissance de calcul, exploitant au maximum l'efficacité du matériel.
Le M3.1 Flash a été mis en ligne le 19 octobre, et en 72 heures, il a traité plus de 100 trillions de tokens pour de vrais utilisateurs.
MiniMax a annoncé s'associer aux fabricants de puces nationaux et étrangers tels que Huawei Ascend, T-Head, Kunlunxin, Moore Threads, Biren, Hygon, MetaX, Iluvatar, NVIDIA et AMD, ainsi qu'aux plateformes d'inférence et de cloud telles que Together AI, Fireworks, Nebius, Baseten, Modal et DigitalOcean,pour faire avancer ensemble l'accès au M3.1 Flash dès le premier jour de sa publication open source。
En outre, les frameworks d'inférence et communautés open source tels que vLLM, SGLang, FlagOS de BAAI, ainsi que Hugging Face et ModelScope, travailleront également avec MiniMax à promouvoir l'application du modèle sur différentes puces, plateformes cloud et environnements de développement, élargissant continuellement l'écosystème mondial de l'IA open source.
IT之家 fournit ci-dessous les adresses open source :
Hugging Face :https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
Communauté ModelScope :https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash