لماذا قد ترتفع الإنتاجية ويتأخر ظهور أول رمز؟ قائمة تحقق لاعتماد ترقيات استدلال الذكاء الاصطناعي

رسم توضيحي مفاهيمي: تأخر البداية، وإيقاع البث، والإنتاجية الإجمالية تصف جوانب مختلفة من الخدمة. لا يعرض الرسم بيانات مقاسة.

قد ينتج الخادم مزيدًا من الرموز في الثانية، بينما تستغرق نافذة المحادثة وقتًا أطول لعرض أي إجابة. قبل اعتماد ترقية لمنظومة الاستدلال، اطرح سؤالًا عمليًا: أي جزء من انتظار المستخدم نحاول تقصيره؟

نوعان من «السرعة» في بطاقة تقييم واحدة

يعرض طلب الدمج PR #60140 في vLLM، الذي دُمج في 6 أكتوبر، نتائج GLM-5.3 بعد التحول إلى ذاكرة تخزين مؤقت للمفاتيح والقيم (KV) بصيغة FP8. في اختبارات استخدمت TP4، و8,000 رمز إدخال، و1,000 رمز إخراج، ومستويات تزامن تبلغ 1 أو 4 أو 16، يُظهر الجدول زيادة في الإنتاجية تراوحت بين 2.3% و5.5%. لكن وسيط الزمن حتى أول رمز (TTFT) ارتفع بنسبة تراوحت بين 6.9% و11.1%. وانخفض وسيط زمن الاستجابة الكلي بنسبة تراوحت بين 3.1% و6.3%؛ أي إن الإجابة بدأت متأخرة، لكنها اكتملت أسرع. المصدر: PR #60140

هذه نتائج أبلغ عنها أحد المساهمين، ولم نُعِد إجراء اختباراتها. كما أنها لا تتضمن اختبارًا عبر نطاق من المدخلات الأطول. وقد حصر تصحيح لاحق تطبيق هذا السلوك الافتراضي في NVIDIA SM100. لذا فإن تعميم هذه النتائج على جميع بيئات نشر GLM يتجاوز ما تدعمه الأدلة. المصدر: PR #60281

فصل مراحل الانتظار

ينتظر المستخدم أول مخرَج، ثم ينتظر مزيدًا من المحتوى، وأخيرًا يحصل على الإجابة كاملة. تقيس إنتاجية الخادم إجمالي المخرجات، ويقيس TTFT التأخر قبل بدء الإخراج، ويصف زمن التأخر بين الرموز (ITL) الفواصل بين المخرجات المتتالية أثناء البث، بينما يشمل وقت الاكتمال الطلب بأكمله. يتضمن TTFT على جانب الخادم في vLLM معالجة الإدخال، ولذلك فهو لا يقيس زمن حسابات وحدة معالجة الرسومات وحده. كما يجدر رصد الأعباء الزمنية الإضافية للشبكة والبوابة وعرض المحتوى من جانب العميل. المصدر: تصميم المقاييس

تنطوي الجدولة على مفاضلات. تقسم آلية التهيئة المسبقة المجزأة (chunked prefill) في vLLM المدخلات الطويلة إلى أجزاء، وتجدولها إلى جانب الطلبات التي بدأت توليد المخرجات بالفعل. وتوضح الوثائق أن تقليل ميزانية الرموز داخل الدفعة يفيد ITL، بينما تفيد زيادتها TTFT. هذا تفسير عام لكيفية تحرك مقاييس التأخر في اتجاهات مختلفة. ولا يثبت طلب الدمج المذكور أن هذه الآلية كانت سبب زيادة زمن TTFT عند تطبيق ذلك التغيير إلى FP8. المصدر: دليل التحسين

ويوفر التخزين المؤقت العمل في مرحلة محددة أيضًا. يعيد التخزين المؤقت للبادئات استخدام الحسابات الخاصة ببادئة إدخال مشتركة، مما يفيد التهيئة المسبقة، من دون أن يقلص مباشرةً عمل فك الترميز الذي يولد رموزًا جديدة. لذلك قد تختلف فائدة طرح أسئلة متكررة عن مستند طويل واحد عن فائدة هذه الآلية في أعباء العمل التي يغلب عليها توليد إجابات طويلة. المصدر: التخزين المؤقت للبادئات وحدوده

تحديد معايير القبول قبل الترقية

ما يلي خطة اختبار نقترحها، وليس مجموعة تجارب أُنجزت بالفعل.

1. ثبّت ظروف المقارنة. سجّل وحدة معالجة الرسومات، وإصدار النموذج، ومعرّف الالتزام في مستودع إطار الاستدلال، وإعدادات التكميم، والتوازي، وفك الترميز التخميني، وأخذ العينات. غيّر العنصر الخاضع للتقييم وحده في كل مرة، حتى تتمكن من تحديد مصدر التحسن.

2. أنشئ مصفوفة صغيرة. اختر ثلاثة أنواع من المهام الفعلية: محادثات قصيرة، وإجابات قصيرة عن مستندات طويلة، ومخرجات طويلة. اختبر كل نوع باستخدام بادئات جديدة وأخرى قابلة لإعادة الاستخدام، في ظل حمل منخفض، وحمل اعتيادي، وحمل قريب من الحد الأقصى للطاقة الاستيعابية. بذلك تتكون المصفوفة من 18 خانة. أبقِ المدخلات ضمن النطاق الذي يدعمه النموذج، وحدد مستويات الحمل انطلاقًا من حركة الطلبات لديك.

3. أضف طفرة في حركة الطلبات. سجّل معدل الوصول الفعلي، وعدد الطلبات المتزامنة الفعلي، والانتظار في الطابور، والطلبات الفاشلة. يفرض الاختبار ذو التزامن الثابت ضغطًا يختلف عن الضغط الناتج عن تدفق مفاجئ للمستخدمين؛ وقد ينقل محدِّد المعدل الانتظار إلى جانب العميل. تفصل أداة القياس المرجعي في vLLM بين معدل الطلبات والحد الأقصى للتزامن، وتتيح مقاييس لطابور العميل. المصدر: معلمات القياس المرجعي

4. احتفظ ببطاقة تقييم كاملة لكل خانة. سجّل، كحد أدنى، قيم p50/p95/p99 لكل من TTFT وITL وزمن الاستجابة الكلي، إلى جانب الإنتاجية، وإصابات الذاكرة المؤقتة، وعمليات الاستباق، وانتهاء المهلة، ومعدل الأخطاء. كرر الاختبارات بصورة مستقلة، ووضّح أساليب الإحماء وأحجام العينات. توخَّ حذرًا خاصًا عند تفسير القيم المئينية الطرفية في العينات الصغيرة. وتحتاج تغييرات التكميم إلى فحص منفصل لجودة تنفيذ المهام؛ فالسرعة وحدها لا تثبت صحة النتائج.

5. حدّد العتبات قبل مقارنة المكاسب. قد يعطي المساعد التفاعلي الأولوية لظهور أول مخرَج وللتوقفات أثناء البث، بينما قد تعطي مهمة معالجة دفعية غير تفاعلية الأولوية لحجم العمل المكتمل. ينبغي أن تحدد متطلبات المنتج العتبات الفعلية. ويوفر إحصاء الطلبات الناجحة التي تحقق أيضًا أهداف زمن الاستجابة مقياسًا أنفع للطاقة الاستيعابية للخدمة. يدعم vLLM عتبات للإنتاجية المفيدة (goodput) تعتمد على TTFT، والزمن لكل رمز إخراج، وزمن الاستجابة من البداية إلى النهاية. المصدر: خيار goodput

ربط النتيجة بتجربة المستخدم

ينبغي أن يجيب تقرير قبول مفيد عن سؤال محدد: «في ظل حركة الطلبات ومتطلبات الجودة لدينا، كم طلبًا إضافيًا يمكننا إنجازه في الساعة، وكم سينتظر المستخدمون الذين تستغرق خدمتهم أطول وقت؟»

ارتفاع الإنتاجية أمر مرغوب. اقرأه إلى جانب أوقات الانتظار والجودة وحالات الفشل، لتعرف بدقة ما الذي تحسنه الترقية.

تم التحقق من المصادر في 19 أكتوبر 2026. يستند هذا التحليل الهندسي إلى اختبارات قياس مرجعي نشرها مساهمون وإلى الوثائق الرسمية. مصفوفة الاختبار مقترح منا؛ ولم نُجرِ اختبارات مستقلة للأداء أو الجودة. قد تتغير صفحات latest في الوثائق، لذا تحقّق من الإصدار الذي تنشره فعليًا.