IT之家 في 16 أكتوبر: أعلنت Ant Bailing أمس فتح مصدر نموذج Ling-3.1-flash، ويبلغ إجمالي معاملات Ling-3.1-flash نحو 560B، مع تنشيط نحو 25B لكل Token، ويدعم حتى 1M من سياق النص.
في التقييم العلني من Artificial Analysis، بلغ مؤشر ذكاء Ling-3.1-flash 41، وسرعة الإخراج نحو 210 Token في الثانية.
بالنسبة للنشر المحلي، اعتمد الفريق تكميم MXFP4 لطبقات routed experts مع الإبقاء على الطبقات dense بصيغة block-FP8، فانخفض حجم الأوزان من نحو 534GB إلى 292GB. في إعداد الاختبار المقابل على وحدات Hopper GPU، انخفض نشر الخدمة من 8 بطاقات إلى 4 بطاقات، مما يتيح للفرق المزودة ببطاقات GPU من فئة الخوادم تشغيل النموذج بعدد أقل من البطاقات؛ وتبقى الاحتياجات الفعلية متغيرة حسب السياق وحجم التزامن وإعدادات الخدمة.
بالنسبة لمعالجة المواد الطويلة، يوفر الفريق حلًا للاستدلال المتوازي بالسياق الطويل (PCP / DCP)؛ كما عززت استدعاءات الأدوات دعم JSON Schema لتسهيل الربط مع واجهات الأعمال القائمة.
تتطلب أنظمة الأسئلة والأجوبة المعرفية للشركات ومساعدي المكتب غالبًا قراءة مواد طويلة أولاً، بينما يرغب المستخدمون في رد سريع. خفّض الفريق عبء الاستدلال عبر دمج العمليات operators وفك الترميز التخميني DSpark: في طلبات إنتاج محاكاة بمتوسط إدخال نحو 25.47K Token وإخراج نحو 224 Token ونسبة إصابة ذاكرة تخزين مؤقت 76%،8 بطاقات Hopper بلغ متوسط زمن أول Token في إعداد 604 مللي ثانيةومتوسط الفاصل بين Tokens الإخراج المتتالية 3.28 مللي ثانية. يوفر ذلك مرجعًا اختباريًا للاستجابة التفاعلية بعد إدخال مواد طويلة.
تحتاج الأنظمة الخدمية المستمرة أيضًا إلى تقييم عدد الطلبات التي يمكن لمثيل واحد استيعابها ضمن ميزانية GPU ثابتة. في اختبار إنتاجية بمتوسط إدخال نحو 8.5K Token وإخراج نحو 800 Token على 4 بطاقات Hopper بمتوسط إدخال نحو 8.5K Token وإخراج نحو 800 Token، حقق النموذج نحو 1.36 QPS، مع استيفاء قيود الاختبار: زمن أول Token P50 أقل من 3 ثوانٍ والفاصل بين Tokens الإخراج المتتالية P90 أقل من 70 مللي ثانية. يوفر ذلك مرجعًا لتخطيط السعة للنشر الذاتي.
في تجربة الاستخدام عبر الإنترنت، يقدم Ling-3.1-flash حاليًا خصمًا محدود المدة بنسبة 2.5، وبعد الخصم تكون الأسعار كما يلي:
OpenRouter(بالدولار الأمريكي): الإدخال 0.075 دولار؛ الإخراج 0.225 دولار؛ قراءة ذاكرة التخزين المؤقت 0.015 دولار.
Ling Studio(بالرنمينبي): الإدخال 0.5 يوان؛ الإخراج 1.5 يوان؛ قراءة ذاكرة التخزين المؤقت 0.1 يوان.
آي تي هوم ترفق رابط المشروع مفتوح المصدر:
Hugging Face:https://huggingface.co/inclusionAI/Ling-3.1-flash
ModelScope:https://modelscope.cn/models/inclusionAI/Ling-3.1-flash
قراءة ذات صلة:
إعلان إعلاني: تحتوي المقالة على روابط انتقال خارجي (بما في ذلك على سبيل المثال لا الحصر الروابط التشعبية ورموز QR وكلمات المرور وغيرها من الأشكال)، تُستخدم لنقل مزيد من المعلومات وتوفير وقت الفرز، والنتائج للمرجع فقط، وجميع مقالات IT之家 التي تحتوي على روابط خارجية تتضمن هذا الإفصاح.