نشرت Sakana AI Beyond Imitation، وهي ورقة بحثية في TMLR حول مراجعة الأقران بمساعدة نماذج LLM مبنية حول كشف الأخطاء. تُقيَّم معظم المراجعات الآلية بمدى قربها من تقليد المراجعات البشرية. ويطرح هذا العمل سؤالاً أصعب: هل يمكن لمراجع آلي أن يجد خطأً مُدرَجاً عمداً؟ يقدّم فريق البحث قطعتين: مقياس Contradiction Benchmark ونظام Multi-Layered Review (MLR). وبالنسبة للمطورين الذين يبنون وكلاء بحثية، فالدرس عملي: كلٌّ من تصميم النظام واختيار النموذج يؤثران في كشف الأخطاء.
TL;DR
- الحجم: 1,164 تناقضاً مدرجاً عبر 257 ورقة من 5 مؤتمرات. يقرأ MLR حتى 10 صفحات من النص الرئيسي.
- يعمل على: نماذج API جاهزة (Claude Sonnet 4، Claude Haiku 3.5). لا حاجة إلى GPU ولا ضبط دقيق. نحو 0.47 دولار للمراجعة الواحدة.
- الأداء: أعلى كشف للأخطاء من بين جميع أنظمة 4 التي تم اختبارها، مع درجات متوافقة مع التقييمات البشرية.
- الأفضل: كشف 73.43% من أخطاء الادعاءات الأساسية بـ 4 مراجعات، مقابل 14.81% لأفضل نظام أساسي.
- الأسوأ: 16.11% فقط من التطابقات التامة على أوراق arXiv المسحوبة فعلياً.
- الخلاصة:
- الأفضل: يقرأ قبل أن يحكم، ويجد أخطاءً جسيمة أكثر بكثير.
- الأسوأ: ما زال يقع ضحية حقن الأوامر الخفي.
ما هو Multi-Layered Review؟
Multi-Layered Review هو نظام مراجعة آلي من Sakana AI يفهم الورقة البحثية قبل نقدِها. يستخدم 3 وكلاء على نماذج Claude الجاهزة:
- وكيل الملاحق (Claude Haiku 3.5): يلخّص التجارب وتفاصيل التنفيذ من الملحق.
- وكيل مراجعة الأدبيات (Claude Sonnet 4): يستخدم البحث على الويب لوضع الورقة في سياق الأعمال السابقة. وهو اختياري.
- وكيل المراجعة (Claude Sonnet 4): يشغّل سلسلة أوامر من 3 مراحل مستوحاة من منهج Keshav ذي المراحل الثلاث.
المرحلة 1 تكتب مخططاً عاماً. المرحلة 2 تقرأ بالتفصيل وتحدد نقاط الضعف والافتراضات والفجوات. المرحلة 3 تدمج مخرجات جميع الوكلاء في نقاط القوة، ونقاط الضعف، والأسئلة، والتوصية، والدرجة، وقائمة مهام. يُمرَّر ملف PDF مباشرةً، فتبقى الأشكال والمعادلات سليمة.
كيف يعمل مقياس Contradiction Benchmark؟
يزرع هذا المعيارُ المرجعي أخطاءً في أوراق بحثية حقيقية ويتحقق مما إذا كان المراجعون يكتشفونها. جمع فريق البحث 257 ورقة مرخّصة برخص CC من ACL و AISTATS و CVPR و ICML 2025، بالإضافة إلى NeurIPS 2024.
يبني Gemini 2.5 Pro مخطط معرفة لادعاءات كل ورقة وأدلتها ومنهجياتها. تحدد مسافة العقدة عن "الادعاء الرئيسي" مدى الخطورة. المسافة 0 تصيب ادعاءً جوهريًا؛ والمسافات الأكبر تصيب التفاصيل. ثم يعيد GPT-4.1 صياغة 1 عقدة لكل مسافة لتصبح متناقضة، ما ينتج 1,164 نقطة بيانات.
يقيّم قاضٍ من o3 كل مراجعة 10 مرات. على الأوراق النظيفة بلغت الدقة 99.9%. وأظهر حساسية بنسبة 86.8% على الاكتشافات المؤكدة يدويًا، لذا قد تكون النتائج المُبلّغ عنها متحفظة.
ما مدى جودة اكتشاف MLR للأخطاء؟
تصدر MLR جميع الخطوط الأساسية على المعيار المرجعي. مع 4 مراجعات، اكتشف 73.43% من التناقضات على المسافة 0 و40.95% إجمالًا. أفضل خط أساسي، AgentReview، اكتشف 14.81% عند المسافة 0. واكتشف مراجعة واحدة من MLR ما نسبته 60.79%.
يفصل اختبار الإحالة (ablation) بين النموذج والتصميم. استبدال GPT-4.1 بـ Claude Sonnet 4 داخل LLM-Review رفع اكتشاف المسافة 0 من 14.56% إلى 35.40%. وأضاف تصميم MLR نحو 25 نقطة إضافية على مراجعة واحدة. وتنخفض الدقة مع زيادة مسافة العقدة، مما يدعم تقييم الخطورة.
على أوراق مُسحوبة حقيقيًا من WithdrarXiv-Check (211 ورقة)، تتراجع المكاسب. سجّل MLR نسبة 26.07% على المطابقات "المشابهة" و16.11% على المطابقات "الدقيقة". بينما سجلت أقوى الخطوط الأساسية 18.48% و9.00%.
هل يتفق MLR مع المراجعين البشريين؟
فيما يتعلق بالدرجات، نعم في الغالب. على أوراق ICLR 2025، بلغت درجات MLR المتوقعة ارتباط بيرسون بمقدار 0.586 مع الدرجات البشرية. وكانت قيمة الإحالة البشر-إلى-بشر المرجعية 0.742. وعلى ICML 2025، the AI Reviewer تفوق عليه بقليل، 0.439 مقابل 0.429.
أما فيما يتعلق بالتركيز، فلا. يركّز MLR على الصلاحية والتجارب، بينما يولي البشر وزنًا أكبر للوضوح والجدة. ويصف المؤلفون ذلك بأنه منظور مكمّل لا بديل.
كم تبلغ تكلفة تشغيله؟
تكلّف MLR نحو $0.47 لكل مراجعة، باستثناء وكيل الأدبيات الاختياري. ويستخدم 189,062 رمز إدخال، نحو نصف الـ 403,654 الخاصة بالـ the AI Reviewer. وقد خفّض متغير الأمر الواحد التكلفة بنحو الثلثين، مع انخفاض معدل اكتشافه بنحو 3.5 نقاط على جزء من المعيار المرجعي.
كيف تقارن MLR مع مراجعي الذكاء الاصطناعي الآخرين؟
| الميزة | MLR (Sakana AI) | LLM-Review | AI Reviewer | AgentReview |
|---|---|---|---|---|
| النموذج اللغوي المستخدم في هذه الدراسة | Claude Sonnet 4 + Haiku 3.5 | GPT-4.1 | o4-mini | GPT-4o |
| التصميم | 3 وكلاء، سلسلة من 3 مراحل | موجّه واحد، مع اقتطاع النص | مجموعة من 5 مراجعات، مراجعة ميتا، وتأمّل | أدوار المراجع والمؤلف ورئيس المجال |
| معيار التناقضات، كامل | 40.95% (4 مراجعات) | 6.39% | 6.50% | 5.95% |
| أخطاء الادعاءات الجوهرية (المسافة 0) | 73.43% | 14.56% | 11.17% | 14.81% |
| WithdrarXiv-Check، مشابه / مطابق | 26.07% / 16.11% | 5.21% / 2.37% | 13.74% / 9.00% | 18.48% / 5.69% |
| ICLR 2025 معامل بيرسون مقارنة بالبشر | 0.586 | -0.013 | 0.538 | 0.195 |
| الرموز الداخلية لكل مراجعة | 189,062 | 6,517 | 403,654 | 310,964 |
| التكلفة لكل مراجعة | ~$0.47 | ~$0.01 | ~$0.49 | ~$0.81 |
| كود مفتوح | عند الطلب | نعم | نعم | نعم |
جميع أرقام المعايير والارتباطات والرموز والتكاليف تأتي من ورقة Beyond Imitation.
أبرز الاستنتاجات
- شركة Sakana AI تقيّم المراجعين الآليين بناءً على قدرتهم على اكتشاف الأخطاء، لا على تقليد البشر.
- اكتشف MLR 73.43% من أخطاء الأدلة الرئيسية، أي نحو 5 أضعاف أفضل نموذج مقارن.
- استبدال النموذج وتصميم التمريرات الـ 3 يضيف كلٌّ منهما مكاسب كبيرة في الكشف.
- أخطاء الأوراق المنسوحة الحقيقية لا تزال صعبة: 16.11% تطابقات تامة.
- حقن الأوامر الخفي لا يزال يؤثر على كل مراجع الذكاء الاصطناعي الذي تم اختباره.
اطّلع على الورقة هنا. كل الفضل يعود إلى الباحث في هذا المشروع. كما لا تترددوا في متابعتنا على تويتر ولا تنسوا الانضمام إلى 150k+ML SubReddit والاشتراك في نشرتنا البريدية. مهلاً! هل أنت على تيليجرام؟ الآن يمكنك الانضمام إلينا على تيليجرام أيضًا.
المقال نظام مراجعة الأقران بالذكاء الاصطناعي من Sakana AI يكشف 73% من أخطاء الأدعاءات الأساسية ظهر أولاً على MarkTechPost.