أندردوغ (Underdog)، المساعد الذي يعمل على الجهاز من شركة Conway Research، قد أطلقت Saluki 27B بموجب ترخيص Apache 2.0. النموذج الخفي Saluki 27B هو نسخة GGUF بدقة 2 بت من Qwen3.8-27B الذي يتسع في 7.89 جيجابايت. النموذج الكامل بدقة BF16 يحتاج إلى 54 جيجابايت. قامت Underdog بضبط الضغط لحماية استدعاء الأدوات، المهارة التي تحوّل نموذج الدردشة إلى وكيل. بالنسبة للمطورين، يعني ذلك نموذج وكيل من فئة 27B يعمل في النسخة القياسية من llama.cpp.
الخلاصة السريعة
- الحجم: 27B معاملات كثيفة. بحجم 7.89 جيجابايت بصيغة GGUF مقابل 54 جيجابايت لصيغة BF16.
- يعمل على: مخزون llama.cpp والتطبيقات المبنية عليه، مع نقل كامل إلى وحدة معالجة الرسومات (GPU offload). إضافة رؤية اختيارية بحجم 629 ميغابايت أو 928 ميغابايت.
- الأداء: 96% متوسط احتفاظ بالأداء عبر 9 معايير قياس مقارنةً بنموذج Qwen3.8-27B الكامل.
- الأفضل: استدعاءات الأدوات المتوازية، 42 مقابل 35 للنموذج الكامل (احتفاظ بنسبة 120%).
- الأسوأ: AIME 2025، 79.2 مقابل 96.7 (احتفاظ بنحو 82%).
- الخلاصة:
- الأفضل: يتفوق على الإصدار الأصلي بحجم 54 GB في استدعاء الأدوات ضمن ملف أقل من 8 GB.
- الأسوأ: تنخفض مسائل الرياضيات التنافسية والاستدلال متعدد الخطوات بمقدار 12 إلى 18 نقطة.
ما هو كلب السلوكي المستضعف 27B؟
Saluki 27B هو نموذج GGUF بدقة مختلطة وبتين (2-bit) من Qwen3.8-27B، مصمم للوكلاء المحليين. يقوم بتكديس 3 طبقات من العمل:
- النموذج الأساسي هو Qwen3.8-27B، وهو نموذج مكثف بحجم 27B من فريق Qwen. يحتوي على 64 طبقة، ويمزج انتباه Gated DeltaNet الخطي مع الانتباه المبوّب، ويدعم 262,144 رمزاً بشكل أصلي.
- الطبقة الثانية هي ISTA-DASLab’s Qwen3.8-27B-GSQ-RCO-GGUF. GSQ يتعلم شبكات قياس دقيقة منخفضة البت لكل مصفوفة. RCO يُسند نوع تكميم لكل موتر ضمن ميزانية حجم ثابتة. أصغر ملف لـ ISTA هو IQ2_XS بحجم 8.4 جيجابايت عند 2.50 بت لكل وزن.
- الطبقة الثالثة هي تمريرة Underdog الخاصة بها. قامت بضغط الملف إلى 7.89 GB واستهدفت استدعاء الأدوات. الملف مسمى
IQ2-mixويحمل وسم imatrix. لم تنشر Underdog الوصفة الكاملة لهذه المرحلة.
كيف يُحقّق Saluki أداءً في اختبارات المعايير المرجعية؟
يقوم Underdog بتقسيم نتائجه إلى 2 من المجموعات.
شغّلت المجموعة الأولى كلا النموذجين في نفس البيئة التجريبية:
- مقعد المستضعف: 120 مهمة من BFCL v4، مجمّدة قبل الاختبار. التفكير متوقف، درجة الحرارة 0. سجّلت Saluki 88، والنموذج الكامل 84، بينما سجّل Bonsai 2 من PrismML 70.
- استدعاءات الأدوات المتوازية: 100 مهمة متوازية من BFCL v4 باستخدام المدقق الرسمي. سالوكي 42، النموذج الكامل 35.
- SWE-bench Verified: 50 مشكلة. صلوقي يصلح 30، والنموذج الكامل 33.
تقارن المجموعة الثانية بين السلوقي والدرجات العامة للهيكل الكامل:
| المعيار المرجعي | Saluki 27B | Qwen3.8-27B (عام) |
|---|---|---|
| IFEval (prompt-loose) | 93.5 | 91.5 |
| IFBench (prompt-loose) | 72.7 | 71.0 |
| MBPP+ | 78.0 | 83.9 |
| MuSR | 67.5 | 79.6 |
| AIME 2025 (متوسط@4) | 79.2 | 96.7 |
| AIME 2026 (متوسط@4) | 80.0 | 94.6 |
كيف تقارن Saluki ببنايات Qwen3.8-27B المدمجة الأخرى؟
| الخاصية | Underdog Saluki 27B | Qwen3.8-27B (BF16) | ISTA GSQ-RCO IQ2_XS | PrismML Bonsai 2 27B (PTQ1_0) |
|---|---|---|---|---|
| الجهة | Underdog (Conway Research) | فريق Qwen | ISTA-DASLab | PrismML |
| عدد المعاملات | 27B | 27B | 27B | 27.36B |
| حجم الملف | 7.89 جيجابايت | 54 جيجابايت | 8.4 جيجابايت | 5.95 جيجابايت |
| البتات لكل وزن | غير معلن (مزيج 2 بت) | 16 | 2.50 | 1.75 |
| سياق النص | غير معلن | 262,144 أصلياً | غير معلن | 262K |
| الرؤية | إضافة، 629 أو 928 ميغابايت | أصلي | 0.9 GB mmproj | 0.63 GB اختياري |
| بيئة التشغيل | llama.cpp القياسي | Transformers وvLLM وSGLang | llama.cpp القياسي وOllama وLM Studio | نسخة PrismML من llama.cpp |
| معيار Underdog (من 120) | 88 | 84 | غير مُفصح عنه | 70 |
| عنوان البائع | متوسط استبقاء 96% عبر 9 معايير | خط الأساس | استرجاع 100.3% بدون أمثلة | 98.2% من FP16 عبر 14 معياراً |
| الترخيص | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Bonsai 2 أصغر حجماً ويُبلغ عن استبقاء 98.2% عبر 14 معياراً في وضع التفكير. كما يسجل نتائج أقوى في الرياضيات، منها 95.00 في AIME25. ومع ذلك، يحتاج إلى نسخة PrismML من llama.cpp، لأن llama.cpp القياسي يرفض صيَغ التعبئة الخاصة به. أما Saluki فيعمل على llama.cpp القياسي. يستخدم كل بائع أدوات قياس خاصة به، لذا لا يمكن مقارنة النتائج بين البائعين مباشرةً.
الخلاصات الرئيسية
- يستوعب Saluki 27B نموذج Qwen3.8-27B في 7.89 GB، بانخفاض من 54 GB.
- يتفوق على النموذج الكامل في استدعاء الأدوات: 88 مقابل 84.
- يرتفع عدد استدعاءات الأدوات المتوازية إلى 42 من 35.
- الرياضيات والاستدلال يتعرضان لأكبر تراجع، نزولاً إلى نحو 82 إلى 85%.
- يعمل على llama.cpp القياسي بموجب Apache 2.0.
اطلع على بطاقة النموذج على Hugging Face، و صفحة إطلاق Underdog و الإعلان على X. كل الفضل يعود إلى الباحث في هذا المشروع. كما لا تترددوا في متابعتنا على تويتر ولا تنسوا الانضمام إلى مجردة المليار 150k+ML SubReddit والاشتراك في نشرة الإخبارية الخاصة بنا. مهلاً! هل أنت على تليجرام؟ الآن يمكنك الانضمام إلينا على تليجرام أيضًا.
ظهر المقال تعرّف على Underdog Saluki 27B: نموذج Qwen3.8-27B بدقة 2-bit يتغلب على الأصلي في استدعاء الأدوات أول مرة على MarkTechPost.