نطلق VIALS-AA، لوحة صدارة لمقياس VIALS من Handshake AI للتفكير البصري في أبحاث علوم الحياة والتقنية الحيوية
تُعد المصنفات البصرية جوهرية في كيفية تحليل العلماء للتجارب واتخاذ قرارات البحث، لكن تفسيرها بشكل صحيح لا يزال تحديًا أمام النماذج الرائدة. تمتد مهام VIALS البالغ عددها 161 مهمة عبر ثمانية مجالات، وتتطلب من النماذج التفكير في مصنفات تشمل لطخات الجيل، ومخططات قياس التدفق الخلوي، وخرائط البلازميد، والتشعبات الوراثية. تتطلب كل مهمة من النماذج تفسير مصنف واستخلاص استنتاج علمي محدد.
نقيم النماذج عبر تشغيل كل مهمة ثلاث مرات في Stirrup، أداة الوكيل مفتوحة المصدر لدينا، مع أدوات تنفيذ الشيفرة وفحص الصور. يقيّم GPT-6 Luna (medium) كل إجابة مقابل الإجابة المرجعية، ونُبلغ عن نسبة المهام التي حُكم بأنها صحيحة في جميع التكرارات الثلاثة (pass^3).
أبرز النتائج:
➤ تتفاوت النماذج الثلاثة الأوائل بفارق 3 نقاط: يتصدر Gemini 4 Carbon (high) من @GoogleDeepMind بفارق ضئيل بنسبة 64%، يليه GPT-6 Astra (max) من @OpenAI بنسبة 63% وClaude Opus 5.5 (max with fallback) من @AnthropicAI بنسبة 61%
➤ يحقق Astra وSol نتائج مشابهة لـ Opus وSonnet بتكلفة لكل مهمة أقل بكثير: يبلغ متوسط تكلفة Claude Opus 5.5 (max with fallback) 1.64 دولار لكل مهمة، أي نحو 29 ضعف تكلفة Sol (نحو 0.056 دولار). يدفع هذا الفارق السعري بشكل كبير استخدام الأدوار - يبلغ متوسط GPT-6 Astra (max) وGPT-6.1 Sol (max) نحو 8 أدوار لكل مهمة، مقارنة بنحو 27 لـ Claude Opus 5.5 (max with fallback) ونحو 25 لـ Claude Sonnet 5.5 (max with fallback)
➤ تتأخر نماذج الأوزان المفتوحة عن أعلى نتيجة بنحو 19 نقطة: يتصدر Kimi K3.1 Pro نماذج الأوزان المفتوحة على VIALS-AA بنسبة 45%، متقدمًا بفارق ضئيل على MiMo-V2.6-Pro بنسبة 43%
➤ شهدت 14 من أصل 161 مهمة رفضًا أمنيًا من نموذج واحد على الأقل: رفض Claude Sonnet 5.5 (max with fallback) في 6 مهام، وهو الأعلى بين جميع النماذج، وشهد نصف المهام الـ 14 المتأثرة رفضًا من نماذج متعددة
شكرًا لـ @joinHandshakeAI ومؤلفي VIALS على إنشاء المقياس والتعاون معنا لإطلاقه على Artificial Analysis!