IT之家 El 23 de octubre, MiniMax稀宇科技 anunció hoy el open source de los pesos de modelo de MiniMax M3.1 Flash, con un total de 428B de parámetros y 23B de parámetros activados.
En comparación con la generación anterior del modelo M3, las capacidades de modelado del M3.1 Flash han mejorado significativamente. Además, gracias a optimizaciones como la atención esparsa en todo el modelo, el entrenamiento percibido cuantificado y el programación consciente de Power, el M3.1 Flash ha logrado una mayor eficiencia en el razonamiento.
Enfoque de atención escaso para todo el modelo: Las tres capas de enfoque de atención completo anteriores se reemplazan por un enfoque de atención escaso.
QAT: Experto de rutas MoE se migra a W4A4 (excluyendo expertos compartidos), el indexador de atención dispersa y la rama principal se migran de Q8KV8 a Q8KV4;
Potencia-programación consciente： A través de una asignación precisa de la consumición de energía de las tarjetas de cálculo, se mantiene un nivel alto de capacidad de cálculo en las tarjetas, logrando un aprovechamiento máximo de la eficiencia del hardware.
M3.1 Flash se lanzó el 19 de octubre, y en 72 horas, los usuarios reales procesaron más de 100 billones de Tokens.
MiniMax anuncia que colaborará con fabricantes de chips nacionales e internacionales como Huawei昇腾, Pingtougege, Kunlunxin, Moore Thread, Biren, Hailong, Muxi, Tiantian, NVIDIA y AMD, así como plataformas de servicios de razonamiento y cloud como Together AI, Fireworks, Nebius, Baseten, Modal y DigitalOcean, para promover conjuntamente el acceso abierto a M3.1 Flash en su primer día.
Además, los marcos de inferencia como vLLM, SGLang, FlagOS de Zhiyuan y Hugging Face, MaDaP, así como las comunidades abiertas, también trabajarán junto con MiniMax para promover la aplicación de modelos en diferentes chips, plataformas en la nube y entornos de desarrollo, ampliando continuamente el ecosistema de código abierto de IA a nivel mundial.
La dirección abierta de IT Home es la siguiente: