معدلات إصابة الذاكرة المخبئية (Cache hit rates) والتكلفة لكل مهمة حسب المزوّد أصبحت متاحة الآن على Artificial Analysis: تتفاوت التكلفة لكل مهمة لنموذج GLM-5.3 (max) بحوالي 9 أضعاف عبر المزوّدين، نتيجة مزيج من معدل إصابة الذاكرة المخبئية وتسعير الرموز (tokens)
تعيد أحمال العمل الوكيلية إرسال كامل سجل المحادثة في كل دورة، لذا فإن معظم رموز الإدخال قابلة للتخزين المؤقت، وتسعير الذاكرة المخبئية ومعدلات إصابتها تفسران معظم الفجوة في التكلفة لكل مهمة. كنا نستخدم بالفعل معدلات إصابة مخبئية مقاسة لحساب التكلفة لكل مهمة، وننشرها الآن لكل نقطة نهاية نموذج نتتبعها.
الجديد:
➤ معدلات إصابة الذاكرة المخبئية أصبحت مرئية الآن لجميع نقاط النهاية من الطرف الأول والطرف الثالث، مقاسة عبر تشغيل مهام برمجية وكيلية متعددة الأدوار وقراءة الرموز المخبأة من استجابة الاستخدام لكل مزوّد. معدل إصابة الذاكرة المخبئية هو نسبة رموز الإدخال القابلة للتخزين المؤقت التي قُدّمت من الذاكرة المخبئية.
➤ التكلفة لكل مهمة أصبحت متاحة الآن حسب المزوّد للنماذج مفتوحة الأوزان، محسوبة من أسعار الإدخال والإخراج وإصابة الذاكرة المخبئية وكتابتها لدى كل مزوّد، مطبقة بمعدل إصابته المخبئي المقاس. ول توحيد المعايير عبر المزوّدين لنموذج معين، نستخدم نفس أعداد رموز الإدخال والإخراج والرموز القابلة للتخزين المؤقت من تشغيل مؤشر الذكاء (Intelligence Index) للنموذج.
أبرز الاستنتاجات:
➤ تتراوح التكلفة لكل مهمة على GLM-5.3 (max) بنحو 9 أضعاف عبر المزوّدين، من $0.92 على Makora إلى $8.68 على Nebius. كلاهما يقدّم تقريباً كل الإدخال القابل للتخزين المؤقت من الذاكرة المخبئية (98% و100%) ويتقاضيان نفس سعر الإخراج ($4.40 لكل 1M من الرموز)، لذا فإن الفجوة تأتي من تسعير الإدخال: يتقاضى Makora مبلغ $0.10 لكل 1M من رموز الإدخال المخبأة، بينما لا يقدم Nebius أي خصم على الإدخال المخبأ في نقاط النهاية المشتركة الخالية من الخوادم (serverless) ويحسب كل الإدخال بالسعر الكامل $1.40.
➤ يتراوح معدل إصابة الذاكرة المخبئية من 41% إلى 100% عبر 21 مزوّداً (25 نقطة نهاية). 15 نقطة نهاية عند 98% أو أعلى، وثمانٍ عند 100%: Modal وDeepInfra وParasail وTogether AI وDigitalOcean وNebius وNovita وواجهة برمجة التطبيقات الخاصة بالطرف الأول من Z AI. Multiverse Computing هي الأدنى عند 41%، تليها Bitdeer عند 50%.
