IT之家، وفقًا للأخبار الصادرة في 23 أكتوبر، أعلنت شركة MiniMax Hiyu Technology اليوم عن فتح نموذج MiniMax M3.1 Flash للعامة، حيث يبلغ الحجم الإجمالي للمعلمات 428 بيجايت، والمعلمات النشطة 23 بيجايت.
مقارنةً بنموذج M3 السابق، حققت قدرات النموذج في M3.1 Flash تحسناً شاملاً. بالإضافة إلى ذلك، من خلال تحسينات مثل التركيز النادر للنموذج بأكمله، التدريب الحسابي الكمي، وترتيب العمل الإلكتروني الذي يأخذ في الاعتبار الطاقة، تم تحسين كفاءة الاستدلال في M3.1 Flash أكثر.
انتباه نادر للنموذج الكامل: يتم استبدال الطبقات الثلاث الأولى من الانتباه الكامل بانتباه نادر؛
QAT： خبراء التوجيه MoE ينتقلون إلى W4A4 (باستثناء الخبراء المشتركين)، ومُفهرس الانتباه النادر ومسار الفرع الرئيسي ينتقلان من Q8KV8 إلى Q8KV4؛
الطاقة-جدولة واعية： من خلال توزيع دقيق لاستهلاك الطاقة لبطاقات الحساب، يتم الحفاظ على مستوى عالي من القوة الحاسوبية لبطاقات الحساب، مما يؤدي إلى تحقيق أقصى استفادة من كفاءة الأجهزة.
M3.1 Flash تم إطلاقه في 19 أكتوبر، وتم تحويل أكثر من 100 تريليون توكين خلال 72 ساعة لعملاء حقيقيين.
أعلنت شركة MiniMax عن تعاونها مع شركات صناعة الرقائق المحلية والدولية مثل هواتشي شينغتانغ، بينغتوغو، كونلون تشين، مور إيرلينج، بيي رين، هايجوانغ، موشي، تيانشوي، إنفيديا، AMD، بالإضافة إلى منصات خدمة الذكاء الاصطناعي مثل Together AI، Fireworks، Nebius، Baseten، Modal، DigitalOcean، لتعزيز وصول مفتوح لمساعدات M3.1 Flash.
بالإضافة إلى ذلك، فإن أطر العملية مثل vLLM وSGLang وFlagOS من شركة زهي يوان وهوجينغ فيس وما دا، بالإضافة إلى المجتمع المفتوح، سيقومون مع MiniMax بتعزيز استخدام النماذج على شرائح مختلفة ومنصات السحابة وبيئات التطوير، وسيواصلون توسيع النظام البيئي المفتوح للذكاء الاصطناعي في العالم.
عنوان المصدر المفتوح لمنتدى IT Home هو كالتالي:
Hugging Face: https://huggingface.co/MiniMaxAI/MiniMax-M3.1-Flash
مجتمع مو داي: https://modelscope.cn/models/MiniMax/MiniMax-M3.1-Flash