مؤشر القرار من Artificial Analysis الإصدار 1.0

جميع المقالات

مؤشر القرار من Artificial Analysis الإصدار 1.0

يقيس مؤشر القرار من Artificial Analysis نماذج القرار، وهي فئة جديدة من النماذج تجيب على القرارات المهيكلة في استدعاء واحد مع احتمال لكل خيار. يجمع الإصدار 1.0 بين أربعة تقييمات تغطي التصنيف، واستدعاء الأدوات، والمعرفة، والهلوسة، والاستدلال.

تقديم مؤشر القرار من Artificial Analysis

نماذج القرار هي فئة ناشئة من النماذج تُخرج إجابات أو تصنيفات مهيكلة مصحوبة باحتمالات. وعلى عكس النماذج اللغوية المصممة للاستدلال المعقد والمهام طويلة المدى، تركز نماذج القرار على اتخاذ قرارات مهيكلة بسرعة أكبر وبتكلفة أقل.

مع إطلاق مؤشر القرار من Artificial Analysis الإصدار 1.0، نهدف إلى مساعدة المطورين والشركات على فهم المقايضات بين القدرة والتكلفة والسرعة في نماذج القرار، مقارنة بنماذج القرار الأخرى وبالنماذج اللغوية.

الحالة

«المساعدة! مدفوعاتي تفشل منذ 3 أيام والإيجار مستحق غدًا. هذا أمر غير مقبول.»

الأسئلة

• توجيه إلى الفريق Route
• نعم/لا هل هي عاجلة؟
• درجة ما مدى الانزعاج؟

نموذج القرار

كل الأسئلة في استدعاء واحد، مع احتمال لكل خيار

التوجيه إلى الفريق

عاجلة؟

ما مدى الانزعاج؟

النموذج اللغوي

يُنشئ مخرجات مهيكلة

تختار نماذج القرار من مجموعة ثابتة من الخيارات، مع احتمال لكل منها، في استدعاء واحد. هذا يجعلها رخيصة وسريعة، ويتيح لنا قياس معايرتها.

ما الذي يقيسه مؤشر القرار

عند الإطلاق، يجمع مؤشر القرار من Artificial Analysis أربعة تقييمات تغطي التصنيف، واستدعاء الأدوات، والمعرفة، والهلوسة، والاستدلال:

500 سؤال خاص معدّل من معيارنا لقياس المعرفة والهلوسة AA-Omniscience. يقدم كل سؤال خمسة خيارات: أربع إجابات، إحداها صحيحة، و"لا أعلم".

25% من المؤشر: معدل الدقة ومعدل عدم الهلوسة 12.5% لكل منهما

الأسئلة ذات الخيارات النصية البالغ عددها 513 من Humanity's Last Exam، حيث يُطرح كل سؤال كخيار واحد بين إجاباته المرمّزة بالأحرف.

25% من المؤشر

تقييم استدعاء الأدوات من NVIDIA. عند توفير محادثة ومجموعة من الأدوات، يختار النموذج ما إذا كان سيجيب مباشرة، أو يستدعي أداة، أو يطلب مزيدًا من المعلومات، أو يقول إنه لا يمكنه الإجابة.

25% من المؤشر

مجموعة اختبار التصنيف من حيث السلامة من Ai2. يقرر النموذج ما إذا كان طلب المستخدم ضارًا، وما إذا كان رد المساعد رفضًا، وما إذا كان ذلك الرد ضارًا.

25% من المؤشر

نُجري أيضًا كل تقييم على نماذج اللغة الكبيرة (LLMs). يجيب نموذج اللغة الكبير بمخرجات مهيكلة تسمي الخيار الذي اختاره، لذا لا يعطي احتمالًا لكل خيار.

نتائج نماذج القرار

يتصدّر Jev 1.13 مؤشر القرار بنتيجة 58، متقدمًا على GLiDE وMicrosoft-Decision-1، وكلاهما على 54. يتفوق Jev 1.13 على نماذج القرار الأخرى في معيار الاستدلال HLE-MultiChoice، مسجلًا 21 حيث تسجل النماذج الأخرى 15 أو أقل. في معيار المعرفة والهلوسة AA-Omniscience-Decision، سجّل Jev 1.13 درجة دقة قدرها 35، وهي دون معظم نماذج القرار ودون النتيجة العليا البالغة 41 لـ d1 من Liquid AI، لكنه حصل على ثاني أعلى معدل عدم هلوسة قدره 35 حيث يسجّل d1 رقم 2 فقط. في معيار استدعاء الأدوات When2Call، يسجّل Jev 1.13 رقم 81 في المركز الرابع، حيث يتصدّر Celeris-1 Decision وGLiDE من Fastino Labs كلاهما بنتيجة 84. ويسجّل 94 في معيار التصنيف WildGuardTest، متساويًا مع Decider v1.1 27B من Perplexity وبفارق نقطة واحدة خلف GLiDE عند 95.

مؤشر القرار من Artificial Analysis

كفاءة التكلفة والوقت لنماذج القرار

تتفاوت نماذج القرار تفاوتًا كبيرًا في التكلفة والسرعة. تتراوح التكاليف بين 17 و199 دولارًا لكل مليون مهمة، والأزمنة الوسيطة بين 0.06 و0.5 ثانية لكل مهمة.

مؤشر القرار من Artificial Analysis مقابل التكلفة لكل 1M مهمة

متوسط التكلفة لكل مهمة بأسعار الرموز الحالية، مضروبًا في 1 مليون؛ وللمؤشر، تكلفة مرور واحد عبر جميع تقييماته مقسومة على مجموع مهامها، مضروبًا في 1 مليون. تُحتسب فواتير نماذج القرار على رموز الإدخال فقط، بينما تُحتسب فواتير نماذج اللغة على رموز الإدخال والإخراج.

سجّل Decider v1.1 27B أدنى تكلفة لكل 1M مهمة عند 17 دولارًا، مع وجود Microsoft-Decision-1 (31 دولارًا) وJev 1.13 (42 دولارًا) أيضًا على حد Pareto للقدرة مقابل التكلفة. يسجّل GLiDE 54، مساويًا لـ Microsoft-Decision-1، لكنه يكلف 119 دولارًا، أي نحو ثلاثة أضعاف تكلفة Jev 1.13. يمتلك Celeris-1 Decision أسرع زمن لكل مهمة عند 0.06 ثانية، أسرع بأكثر من الضعف من Jev 1.13 عند 0.13 ثانية.

مؤشر القرار من Artificial Analysis: الوقت لكل مهمة

زمن الاستجابة الوسيط لكل مهمة، بالمللي ثانية؛ وللمؤشر، الوسيط عبر مهام جميع تقييماته.

نماذج القرار مفرطة الثقة

تعطي نماذج القرار احتمالًا لكل خيار، لذا يمكننا التحقق مما إذا كان الاحتمال الذي أسندله النموذج لإجابته المختارة يطابق مدى تكرار كونه محقًا. إجمالًا، وعند几乎所有 مستويات الاحتمال تقريبًا، تنخفض الدقة دون ذلك الاحتمال لجميع نماذج القرار. وينبع ذلك من معايرة ضعيفة نسبيًا في مهام المعرفة والاستدلال في HLE-MultiChoice وAA-Omniscience-Decision. في المقابل، فإن معظم نماذج القرار معايَرة بشكل جيد نسبيًا على When2Call (استدعاء الأدوات) وWildGuardTest (التصنيف).

معايرة مؤشر القرار من Artificial Analysis

معايرة نماذج اللغة قادمة قريبًا.

كيف تقارن نماذج القرار بنماذج اللغة الكبيرة

تقدم نماذج القرار مزايا كبيرة في السرعة والتكلفة مقارنة بنماذج اللغة، لكنها تتأخر في المعرفة والاستدلال. يسجل Claude Haiku 5.5 (Low) درجة 61 على مؤشر القرار، متقدماً بـ 3 نقاط على Jev 1.13، لكنه يستغرق 1.4 ثانية لكل مهمة مقابل 0.13 ثانية (أبطأ 11 مرة) وتكلفته 184 دولاراً لكل مليون مهمة مقابل 42 دولاراً (أي 4.4 أضعاف). يسجل GPT-6 Luna (Low) درجة 55، وهو أقل من Jev 1.13، عند 1.5 ثانية لكل مهمة و131 دولاراً لكل مليون مهمة.

تتفوق نماذج اللغة في المعرفة: في دقة AA-Omniscience-Decision، يسجل Claude Haiku 5.5 (Low) درجة 52 ويسجل GPT-6 Luna (Low) 66، مقابل 28 إلى 41 لنماذج القرار. وفي HLE-MultiChoice، تسجل 24 و22، مقابل 21 لـ Jev 1.13 و15 أو أقل لكل نموذج قرار آخر.

في التصنيف واستدعاء الأدوات، تؤدي نماذج القرار الرائدة أداءً متكافئًا. على WildGuardTest، تحقق GLiDE نتيجة 95 بينما تحقق Decider v1.1 27B وJev 1.13 نتيجة 94، مقابل 93 لـ Claude Haiku 5.5 (Low) و89 لـ GPT-6 Luna (Low). على When2Call، تحقق Celeris-1 Decision وGLiDE نتيجة 84، مقابل 77 لـ GPT-6 Luna (Low) و73 لـ Claude Haiku 5.5 (Low).

مؤشر القرار من Artificial Analysis

مؤشر قرار Artificial Analysis مقابل التكلفة لكل 1M مهمة

متوسط التكلفة لكل مهمة بأسعار الرموز الحالية مضروبًا في 1 مليون؛ وبالنسبة للمؤشر، تكلفة مرور واحد عبر جميع تقييماته مقسومة على مجموع مهامها مضروبًا في 1 مليون. تُحاسب نماذج القرار على رموز الإدخال فقط، بينما تُحاسب نماذج اللغة على رموز الإدخال والإخراج.

معرفة متى لا يجب الإجابة

تتضمن كل سؤال في AA-Omniscience-Decision خيار "لا أعرف"، ومعدل عدم الهلوسة هو نسبة الأسئلة التي لم يجب عنها النموذج إجابة صحيحة واختر فيها ذلك الخيار. تتصدر Microsoft-Decision-1 نماذج القرار بنسبة 40%، تليها Jev 1.13 بنسبة 35% ثم Mercury Decide بنسبة 32%. ولا يصل أي نموذج قرار آخر إلى 17%.

AA-Omniscience-Decision: معدل عدم الهلوسة

استكشف المزيد

• النتائج المباشرة لأحدث النماذج متاحة على صفحة مؤشر القرار من Artificial Analysis
• تشرح صفحة المنهجية كيف نطرح كل تقييم ونضع درجاته
• لكل تقييم من التقييمات الأربعة لوحة نتائج خاصة به: AA-Omniscience-Decision, HLE-MultiChoice, When2Callو WildGuardTest
• لإضافة نموذج قرار إلى المؤشر، تواصلوا معنا على decision-models@artificialanalysis.ai

اقرأ أحدث المقالات

Muse Wonder وMuse Wonder Full: قفزة ملموسة في الذكاء مقارنة بنماذج Meta السابقة

أصدرت Meta نموذجي Muse Wonder وMuse Wonder Full، محققة نتيجتين 52 و56 في مؤشر الذكاء من Artificial Analysis v4.3 عند أقصى جهد استدلال - كل منها مكسب ملموس مقارنة بـ Muse Spark 1.3 (max) عند 48، وبتفاوت إصدار لا يتجاوز 6 أسابيع فقط

12 أكتوبر 2026