هل يمكننا أن نثق في النماذج اللغوية الكبيرة للحكم على مدى جديدة فكرة بحثية؟

📄 الورقة | 📊 البيانات | 💻 الشيفرة

نطلق اليوم أفكار قديمة، مشكلات جديدة، وهي دراسة جديدة حول مدى موثوقية النماذج اللغوية الكبيرة في تقييم حداثة الأفكار البحثية العلمية. وإلى جانب الورقة، ننشر معيار تقييم وبيانات وشيفرة لاختبار الحكام المقيّمين للجِدّة، إضافة إلى مسار آلي يمكن للباحثين استخدامه لبناء مجموعات تقييم جديدة.

في Ai2، نعمل على تطوير أنظمة ذكاء اصطناعي تدعم جوانب مختلفة من الاكتشاف العلمي. DataVoyager يساعد الباحثين على استكشاف البيانات المهيكلة وتحليلها، و AutoDiscovery يولّد الفرضيات ويختبرها، بينما Theorizer يركّب الأدلة عبر أجسام واسعة من الأدبيات ليصوغ نظريات علمية مرشّحة. ومع Astaتشير هذه المشاريع مجتمعةً إلى أنظمة يمكنها مساعدة الباحثين على الانتقال من فهم الأعمال السابقة إلى اقتراح أفكار جديدة واختبارها وصقلها.

لكن توليد الأفكار البحثية هو مجرد جزء من تحدي أتمتة الاكتشاف العلمي. فهذه الأفكار يجب أيضاً أن تضيف شيئاً جديداً حقاً، وهو ما يعني أن هذه الأنظمة تحتاج إلى وسيلة للتمييز بين اتجاه جديد واتجاه يعيد في معظمه تغليف الأعمال القائمة.

غالباً ما يُوكَل هذا الحكم إلى نموذج لغوي كبير آخر — وهو ما نسميه حكماً على الجِدّة. يقيّم حكّام الجِدّة ما إذا كانت فكرة بحثية جديدة مقارنةً بالأعمال السابقة، سواء بصورة مستقلة أو بمقارنتها بفكرة أخرى. ولا توجد طريقة معيارية لبناء أحدهم؛ إذ تختار فرق البحث نموذجاً وتوجيهاً (برومبت) وصيغة تقييم وميزانية استدلال، وأحياناً نظام استرجاع للأدبيات. ويمكن لهذه الخيارات أن تؤثر تأثيراً ملموساً في الحكم النهائي. ومع ذلك، كثيراً ما يُتحقق من صلاحية هذه الحكّام على أوراق من كتابة بشر فقط، لا على الأفكار المولّدة بالذكاء الاصطناعي التي هي في الحقيقة مُعدّة لتقييمها.

تشير نتائج معيار التقييم الجديد لدينا إلى أن تقييم الجِدّة نفسه بعيد كل البعد عن الموثوقية. فعبر ستة حكّام من النماذج اللغوية الكبيرة – GPT-5.1 وGPT-5.2 وGPT-5.4 وClaude Sonnet 4.5 وClaude Opus 4.5 وClaude Opus 4.6 – تُحدث تغييرات تبدو صغيرة في إعداد التقييم أحكاماً مختلفة جذرياً على الأفكار نفسها. وفي تجربة واحدة، أدى تغيير بضع كلمات فقط في التوجيه إلى تحوّل دقة النموذج في تحديد أي فكرتين أكثر جِدّة بأكثر من 50 نقطة مئوية. ولا يؤدي الاسترجاع والاستدلال الإضافي إلى تحسين الأحكام باستمرار، كما أن نظامين مُصمَّمين خصيصاً لتقييم الجِدّة حققا نتائج أسوأ من خط أساس بسيط يعتمد على توجيه Claude Opus 4.6.

إذا كان الذكاء الاصطناعي سيضطلع بدور أكبر في الاكتشاف العلمي، فإننا نحتاج إلى وسائل أكثر اعتمادية لتحديد ما إذا كان يقترح فعلاً شيئاً جديداً. يوفر عملنا أدوات لدراسة هذه المشكلة، مع إظهار مقدار ما يظل غير محسوم فيها.

بناء معيار تقييم لحكّام الجِدّة

لاختبار مدى موثوقية حكّام الجِدّة في تمييز الأفكار البحثية الأكثر جِدّةً من الأقل جِدّةً، احتجنا أولاً إلى أمثلة تتوافر فيها أدلة قوية على أصالة المساهمة العلمية الكامنة.

لذا بنينا مساراً آلياً قائماً على مراجعات الأقران لمؤتمر ICLR 2026. وبدلاً من اعتبار قبول الورقة مؤشراً على الجِدّة، استخلصنا من المراجعات نفسها المقاطع التي ناقش فيها المراجعون صراحةً أصالة المساهمة. وهذا التمييز جوهري؛ إذ يمكن قبول ورقة دون أن تكون جديدة بشكل خاص ما دامت قوية بما يكفي في جوانب أخرى. وبالمثل، يمكن لورقة مرفوضة تتضمن مساهمة أصيلة أن تعاني من نقاط ضعف أخرى.

أنشأنا مجموعة عالية الجِدّة تضم 154 فكرة بحثية من تأليف بشري عبر اختيار الأوراق المقبولة الواقعة في أعلى 10% من مجالها البحثي في ICLR والتي أجاز مراجعوها بوجود جِدّة بينما لم ينكرها أي منهم. وطبقنا المعايير العكسية لبناء مجموعة أقل جِدّةتضم 145 فكرة من أوراق مرفوضة في أدنى 10% رفع مراجعوها مخاوف بشأن الأصالة دون أن يُجيز أي مراجع بوجود الجِدّة. وفي فحص منفصل لعملية استخراج المراجعات، وافق أحد المعلِّقين على قطبية إشارة الجِدّة المستخرجة في 47 حالة من أصل 50؛ ولم يكن أي من حالات الاختلاف ليغيّر اعتبار المراجع مشيداً بجِدّة الورقة أو منكِراً لها.

تشكل هاتان المجموعتان معاً إعداد التقييم الأول لدينا، بشر فقطالتي تختبر ما إذا كان بُحّاث الجِدّة (novelty judges) يستطيعون التمييز بين الأفكار من تأليف البشر والتي تتوفر لديهم أدلة قوية على جِدّة أعلى أو أدنى. لكن في الممارسة العملية، يُستخدم بُحّاث الجِدّة بشكل متزايد لتقييم الأفكار المولَّدة بالذكاء الاصطناعي. لذا أنشأنا إعدادًا ثانيًا، بشر + مولَّد.

لهذه المجموعة، جمعنا نفس الأفكار البشرية التي بلغت 154 فكرة موثَّقة مع 154 فكرة أنتجها مولِّد بسيط يعتمد على نموذج لغوي كبير (LLM). افترضنا أن الأفكار المولَّدة أقل جِدّة من نظيراتها من تأليف البشر؛ وهذه ملصقات ضعيفة، وليست أحكامًا موثَّقة لكل فكرة. تلقّى المولِّد مجردًا بحثيًا واحدًا وتعليمات باقتراح فكرة مبتكرة، دون بحث في الأدبيات أو أدوات أو تكرار أو تغذية راجعة. وقد منحنا هذا مقارنةً متحفظة بين أفكار صادرة عن مولِّد أساسي ومساهمات من أوراق ICLR ضمن أعلى 10% والتي أكد مُراجعوها صراحةً على أصالتها.

وكفحوصات إضافية، قام خبير بمراجعة 30 زوجًا بشكل مستقل Human+Generated أزواج، بأوزان ثقيلة للحالات التي أخطأ فيها أقوى حكّامنا، وأعدنا كتابة الأفكار المولّدة بشريًا والمولّدة بالذكاء الاصطناعي في بنية موحدة لاختبار ما إذا كان الحكّام يتفاعلون ببساطة مع الاختلافات في أسلوب الكتابة. فضّل الخبير الفكرة البشرية في جميع الأزواج الـ 30 ولم يعتبر أيًا من الأفكار المولّدة جديدة.

والأهم من ذلك أن كثيرًا من نتائجنا الأساسية لا تعتمد على التسميات على الإطلاق. فإذا أعطى إعدادان تقييميان معقولان إجابتين متضادتين لنفس زوج من الأفكار، فإن هذا الاختلاف بحد ذاته يكشف عن عدم الاستقرار.

التغييرات الصغيرة يمكن أن تُنتج أحكامًا مختلفة جدًا

باستخدام مجموعاتنا من الأفكار البحثية المؤلفة بشريًا والمولّدة بالذكاء الاصطناعي، اختبرنا مدى قدرة ستة حكّام من نماذج LLM – GPT-5.1 وGPT-5.2 وGPT-5.4 وClaude Sonnet 4.5 وClaude Opus 4.5 وClaude Opus 4.6 – على تقييم الجِدّة من خلال المقارنات النقطية (أي تقييمات الجِدّة المطلقة) والثنائية (أي مقارنة فكرتين لتحديد الأكثر جِدّة) على حد سواء. نوّعنا عاملًا واحدًا في كل مرة: التوجيه (البرومبت)، وميزانية الاستدلال، وما إذا كان بإمكان الحكم رؤية الأوراق ذات الصلة، وكيفية تنسيق الأفكار، وعدد الأحكام المدمجة في حكم نهائي، و – بالنسبة للأفكار المولّدة بالذكاء الاصطناعي – أي نموذج ولّدها.

جاءت أكبر التحولات في الأداء من الطريقة التي وجّهنا بها النموذج للحكم على الجِدّة.

على سبيل المثال، عرضنا على GPT-5.4 نفس أزواج Human+Generated – كل منها تحتوي على فكرة بشرية موثّقة وفكرة واحدة مولّدة بالذكاء الاصطناعي – بتوجيهين مختلفين. أخبر توجيهٌ واحدٌ النموذج بأن المراجعين وجدوا فكرة واحدة بالضبط في كل زوج جديدةً، وطلب منه تحديد أيّها؛ بينما طلب التوجيه الآخر ببساطة أي الفكرة جديدة. عندما انتقلنا إلى التوجيه الأبسط، انخفضت الدقة من 93.5% إلى 40.9% – أي دون مستوى التخمين العشوائي – وغيّر النموذج حكمه في أكثر من نصف الأزواج نفسها.

في المقابل، غيّر التوجيه نفسه الدقة بنحو سبع نقاط مئوية فقط على مجموعة البيانات Human-Only ، التي تقرن أفكارًا مؤلفة بشريًا بأدلة أقوى وأضعف على الجِدّة. هذا يشير إلى أن حكم الجِدّة قد يبدو مستقرًا نسبيًا على الأبحاث المؤلفة بشريًا لكنه يتصرّف بشكل مختلف جدًا على الأفكار المولّدة بالذكاء الاصطناعي.

ومع ذلك، لم تكن الأفكار المؤلفة بشريًا محصّنة. لاحظنا تحولات كبيرة على مجموعة البيانات Human-Only أيضًا؛ إذ حرّك التغيير نفسه دقة Claude Opus 4.6 بمقدار 21 نقطة. وكانت التحولات أقل شدّة فقط من تلك على الأفكار المولّدة بالذكاء الاصطناعي.

لم يكن هناك أيضًا توجيه أفضل عالميًا. على سبيل المثال، عند الحكم على الأفكار بشكل فردي، أدى حذف تعليمة تحذّر الحكّام من اعتبار المساهمات التافهة أو التدريجية جديدةً إلى تحسين الدقة لدى بعض الحكّام مع خفضها لدى آخرين. بمعنى آخر، التوجيه الذي يعمل جيدًا لنموذج واحد قد لا ينتقل إلى نموذج آخر.

اختبرنا أيضًا استخدامًا شائعًا لحكّام الجِدّة: مقارنة الأفكار من مولّدَي ذكاء اصطناعي. قرنا أفكارًا من Claude Opus 4.5 مع Claude Sonnet 4.5، ومن GPT-5.4 مع GPT-5.1. وعبر التغييرات المختبرة في التوجيهات، تغيّر ما يقارب الربع إلى الثلث من الأحكام في المتوسط عبر الحكّام الستة. يمكن قياس هذا الاختلاف دون افتراض أي مولّد ينتج أفكارًا أكثر جِدّة، مما يوضح كيف يمكن لاختيار توجيه الحكم أن يؤثر في المقارنات بين أنظمة توليد الأفكار.

لم يؤدّ المزيد من البحث والاستدلال بالضرورة إلى أحكام أفضل على الجِدّة. منحنا GPT-5.6 Sol ميزانية استدلال عالية جدًا وبحثًا حيًا تكراريًا مقيّدًا بـ arXiv، ثم قارنّاه بحكّام استرجاع قياسيين شاهد كل منهم خمسة ملخصات مسترجعة مسبقًا. (شغّل جميع الحكّام في هذه المقارنة مرة واحدة لكل فكرة على Human+Generated.) سجّل الحكم الوكيل (agentic) نتيجة 0.78 macro-F1 – متأخرًا بـ 11 نقطة عن Claude Opus 4.6 عند 0.89، وضمن النطاق تقريبًا نفسه لإعدادات Claude Opus 4.5 وGPT-5.4 الأبسط – بينما كلّف ما يقارب 10 أضعاف لكل قرار بأسعار واجهات البرمجة الحالية. (في هذا السياق، يقيس macro-F1 مدى جودة تحديد الحكم للأفكار الجديدة وغير الجديدة؛ والأعلى أفضل.)

لم تكن المقيّمات المخصصةPurpose-built أدق أيضًا، رغم كلفتها أعلى بكثير. على مجموعة Human+Generated ، حقّق توجيه بسيط لـ Claude Opus 4.6 باستخدام استدلال منخفض وتصويت الأغلبية عبر ثلاث استدعاءات نتيجة 0.854 macro-F1 بتكلفة تقييم إجمالية قدرها $2.59. بالمقارنة، سجّل Idea Novelty Checker، وهو مسار استرجاع وإعادة ترتيب قائم على الأدبيات، نتيجة 0.642 بتكلفة $30.66، بينما سجّل AI Scientist من Sakana AI، الذي يبحث مقيّم الجِدّة فيه تكراريًا في Semantic Scholar، نتيجة 0.772 بتكلفة $82.05. (استخدم كلا المقيّمين المخصصين Claude Opus 4.6، باستدعاء واحد لكل قرار.)

بمعنى آخر، كان خط الأساس البسيط الموجّه بالبرومبت أكثر دقة وأرخص considerably من أي من النظامين المخصصين.

باختصار، تشير هذه النتائج مجتمعةً إلى أن تقييم الجِدّة هشٌّ بشكل خاص على الأفكار المولّدة بالذكاء الاصطناعي التي تُطلب من هذه الأنظمة الحكم عليها بشكل متزايد.

نحو تقييم أكثر موثوقية للأبحاث الجديدة

تشير نتائجنا إلى أن تقييم الجِدّة القائم على نماذج LLM يظل مشكلة مفتوحة كبرى. فالحكّام الذين يبدون موثوقين على الأبحاث المؤلفة بشريًا قد يتصرّفون بشكل مختلف على الأفكار المولّدة بالذكاء الاصطناعي؛ والتوجيهات التي تفيد نموذجًا قد تضر بآخر؛ والمزيد من البحث أو الحوسبة لا ينتج بالضرورة أحكامًا أكثر اتساقًا.

ينبغي للعمل المستقبلي أن يختبر الحكّام على أنواع الأفكار التي ستقيّمها فعليًا، وأن يقيس الحساسية عبر التوجيهات والنماذج، وأن يحسّن كيفية دمج الأدبيات السابقة، وأن يبني معايير مرجعية قادرة على التطور مع نمو الأدبيات العلمية وتحسّن أنظمة الذكاء الاصطناعي. معيارنا المرجعي ومسار البيانات القابل لإعادة الاستخدام هما نقطة بداية – ويمكن للباحثين تطبيقهما على مراجعات الأقران الجديدة، ومجتمعات علمية أخرى، وأجيال مستقبلية من حكّام الجِدّة.

يعتمد التفكير الآلي في الأفكار على أكثر من مجرد توليد اتجاهات بحثية معقولة؛ إذ نحتاج أيضاً إلى وسائل لتمييز متى تكون تلك الأفكار جديدة فعلاً. وبتسهيل قياس نقاط ضعف موجّهات تقييم الجدة الحالية، نأمل أن يساعد هذا الإصدار الباحثين على بناء وسائل أكثر متانة لتقييم أفكار البحث المولّدة بالذكاء الاصطناعي.