يروج المصنعون لتحسينات في النتائج من أدوات الوكلاء الجديدة مثل Claude Code أو OpenCode. ووجدت دراسة أن هذا الادعاء لا يصمد. فتبديل الأدوات لا يحرك النتائج إلا قليلاً مقارنة بتشغيل نفس الإعداد مرتين، ولكن التكاليف يمكن أن تتضاعف ثلاث مرات.
يجمع وكيل البرمجة بين نموذج لغوي وأداة، وهي موجه النظام والأدوات وإدارة السياق التي تجعل النموذج يعمل داخل مستودع أكواد. تُطرح أدوات جديدة كل يوم، وتخلط لوحات الصدارة بينها بحرية، ولكن باحثين اثنين من جامعة شاندونغ قاسوا مقدار الأهمية الفعلية للأداة عندما يبقى النموذج ثابتًا. عنوان الورقة يكشف الإجابة: "ماذا تشتري الأداة؟ رموز في الغالب."
المقارنات السابقة كانت تقيس الضجيج
تشير الدراسات السابقة إلى فجوات تتجاوز 20 نقطة بين الأدوات، ولكن هذه الأرقام تأتي في الغالب من تشغيل واحد، بحسب المؤلفين. فإعادة تشغيل نفس الإعداد فقط تتفاوت بالفعل بما يصل إلى ست نقاط على SWE-bench Verified. Zhipu AIعلى سبيل المثال، تعلن عن أداتها الخاصة بتفوق 2.4 نقطة على Claude Code، وهو هامش يقع جيدًا ضمن نطاق الضجيج هذا. كما أن الأدوات غالبًا ما تكون مربوطة بمعيار القياس بطرق مختلفة، مما يجعل المقارنات أقل موثوقية.
قام Liu و Han بتشغيل خمسة نماذج عبر ثلاث أدوات في نسخها المُصدرة: Claude Code و OpenCode و mini-SWE-agent. تمنح mini-SWE-agent النموذج أداة Bash فقط وتتخلى عن إدارة السياق. أما Claude Code و OpenCode فتوفران أدوات متخصصة للملفات والبحث، وموجهات نظام طويلة، وضغطًا تلقائيًا للسجل.
كانت النماذج Qwen3.6, و Qwen3.8, و Deepseek-V4-Flash, و GLM-5.3-Flashو HY4-Preview. أما Claude Opus 5 فعمل كمرجع في Claude Code فقط. استخدمت الاختبارات المهام الـ 45 الأصعب من SWE-bench Verified بالإضافة إلى مجموعة من 447 مهمة أخرى. وشُغلت عدة إعدادات مرتين لقياس الضجيج.
جرت جميع التشغيلات دون اتصال بالإنترنت. في الاختبارات المبكرة مع الوصول إلى الويب، سحب 71 بالمئة من محاولات نماذج Deepseek و Qwen الإصلاح الصحيح مباشرة من GitHub بدلاً من حل المهمة بأنفسها. أما نماذج Claude فلم تفعل ذلك تقريبًا أبدًا. تخلص الباحثون من تلك النتائج ولا يدّعون أن أي مصنع درّب على بيانات الاختبار، ولكن كان النمط قويًا بما يكفي ليقطعوا الوصول إلى الويب لجميع التشغيلات المتبقية.
تبديل الأدوات يحرك النتائج بنفس قدر إعادة التشغيل تقريبًا
على المجموعة الأكبر البالغة 447 مهمة، تتموضع Claude Code و mini-SWE-agent، الأداة الأثقل والأخف، بأقل من نقطتين بينهما لكلا النموذجين المُختبَرين. وضمن نطاق خمس نقاط، فهما متكافئان إحصائيًا.
توقع الباحثون أكبر تأثير للأداة على المهام الـ 45 الأصعب. وبدلاً من ذلك، تختلف الأدوات بمهمتين إلى خمس مهام محلولة لكل نموذج، بينما إعادة تشغيل بسيطة لنفس الإعداد تحرك العدد بما يصل إلى ثلاث مهام. أحيانًا تتقدم mini-SWE-agent، وأحيانًا تتقدم Claude Code.
تحكي معدلات الانقلاب القصة نفسها. بين إعادتي تشغيل، تتغير النتيجة الوسيطة على 13 بالمئة من المهام. وبين أداتين مختلفتين، تكون أيضًا 13 بالمئة. أما تبديل النماذج فيرفعها إلى 22 بالمئة. والمهام التي تفوز بها أداة معينة تتغير من تشغيل إلى آخر، بما يطابق رمي عملة. وتصرف فجوة الأداة مثل "سحب جديد من نفس الضجيج"، بحسب ما يكتبه المؤلفان.
تحدّ هذه العينات الصغيرة أيضاً من قدرة أي مقارنة على الكشف عن الفروقات. مع 45 مهمة، حتى فجوة قدرها 13 نقطة لا تظهر إلا نصف الوقت تقريباً. أما مع 447 مهمة، تصبح الفجوات التي تبلغ حوالي خمس نقاط قابلة للكشف بشكل موثوق. وتقع الميزة المعلنة البالغة 2.4 نقطة لصالح Zhipu تحت كلا الحدّين، وكذلك تفعل العديد من التحسينات الأخرى المُعلن عنها.
تعمل جميع الأدوات بنفس الأداء، باستثناء OpenCode التي تتأخر
التأثير القابل للقياس الوحيد لبيئة الاختبار هو عجز ثابت لصالح OpenCode. في المجموعة الكبيرة من المهام، يتخلف عن الخيارين الآخرين بما يصل إلى تسع نقاط. حوالي نصف هذه الفجوة يعود إلى حد في المخرجات. عندما يتجاوز النموذج هذا الحد في منتصف خطوة أثناء الاستدلال، يطالبه Claude Code بالمتابعة. أما OpenCode فيترك الخطوة تنتهي عند ذلك الحد، وعادةً ما تفشل المحاولة.
إنّ إضافة توجيه استمرار على طريقة Claude Code إلى OpenCode لم يكن مفيدًا، لأن المهمة نفسها نادرًا ما تُحدث الفائض نفسه عند إعادة المحاولة. أما بالنسبة لبقية الفجوة، فلا يملك المؤلفون تفسيرًا، بل مجرد ملاحظة: في ظل OpenCode، تتوقف النماذج عن العمل في وقت أقرب بكثير. وفي النماذج التي تُشغَّل محليًا، كان لـ OpenCode أيضًا حد زمني أضيق بكثير من Claude Code، وهو أمر يشير إليه المؤلفون بوصفه متغيرًا غير مضبوط.
يصطدم mini-SWE-agent بنافذة السياق لأنه يفتقر إلى إدارة السياق، وفي الغالب على المهام التي تفشل فيها الأدوات الأخرى أيضاً. أما أدوات البحث في OpenCode فتحاول تنزيل ملف ثنائي عند الاستخدام الأول وتتعطل عندما يكون الجهاز غير متصل بالإنترنت.
لبيان النظام وأوصاف الأدوات تحديد الفاتورة
بالنموذج نفسه، والمهام نفسها، وقائمة الأسعار نفسها، يمكن أن تكلف مهمة واحدة ما يصل إلى ثلاثة أضعاف اعتمادًا على الهيكل (harness). مخرجات الأدوات بالكاد تفسّر هذه الفجوة. فجميع الهياكل الثلاثة تُرجع كميات متشابهة من النص في كل استدعاء.
يأتي الفرق الحقيقي من موجه النظام (system prompt) وأوصاف الأدوات. تُعاد إرسالها مع كل خطوة وتستهلك نحو 16,600 رمز في Claude Code، ونحو 7,000 في OpenCode، وأقل من 1,000 في mini-SWE-agent. كما يحتفظ Claude Code بمخرجات استدلال النموذج في سجل المحادثة، بناءً على الهندسة العكسية التي أجراها الباحثون.
بعد تلك المكالمة الأولى، ينمو السياق بمعدلات متشابهة عبر جميع الأدوات (harnesses). يحدد حجم موجه النظام التكلفة الأساسية، وعدد الخطوات يضاعفها. ويعتمد العامل المسيطر على النموذج: مع GLM-5.3-Flash، تكلفة Claude Code تقارب ضعف تكلفة mini-SWE-agent. ومع Deepseek-V4-Flash، يحتاج mini-SWE-agent إلى عدد كبير من الخطوات الإضافية بحيث يتعادل الاثنان في النهاية. والأسعار المنخفضة للرموز المخزنة مؤقتاً تقلل الفجوات لكنها لا تغير الترتيب.
لا توجد ميزة اللعب على أرضه، وأسئلة مفتوحة حول التفكير
لا يتفوق نظام Deepseek الخاص بالاختبار مع نموذجه الخاص على الأنظمة الأخرى، لكنه الأعلى تكلفة. وقد قدّم Claude Opus 5 نتائج متطابقة حتى بعد إزالة الباحثين للأدوات من Claude Code. وتحل نسخة عمرها عام عددًا مماثلًا من المهام بأقل من نصف التكلفة، لأن Extended Thinking لم يكن مفعّلًا افتراضيًا في ذلك الوقت.
كان التفكير هو الحالة الوحيدة التي غيّر فيها اختيار الهيكل النتيجة فعليًا. فبدون التفكير، يخسر mini-SWE-agent مع Qwen3.6 أحد عشر نقطة، بينما يبقى Claude Code وOpenCode في حدود التفاوت الطفيف. كما يخسر HY4-Preview أحد عشر نقطة في Claude Code بدون التفكير. ويبدو أن مدى اعتماد الوكيل على الاستدلال مرتبط بتركيبة النموذج-الهيكل المحددة. ويقرّ المؤلفون بأن شبكة الاختبارات لديهم صغيرة جدًا لتفسير السبب.
يعتمد الاستudy أساسًا على معيار مرجعي واحد. وتُظهر عملية تحقق صغيرة على Terminal-Bench 2.1 النمط نفسه. ولم يعمل النموذج المغلق الأعلى، Opus 5، إلا في Claude Code. وتشتري الـharness "طرقًا أقل للخسارة في مهمة، وفي فاتورة، وليس في معدل النجاح"، كما يخلص المؤلفون. ويوصون بنشر إعادة تشغيل للإعداد نفسه بجانب كل مقارنة بين harnesses. فهذه هي الطريقة الوحيدة لمعرفة مقدار الفرق المقاس الذي هو مجرد ضجيج. البيانات وسكربتات التحليل متاحة على GitHub.
وفي دراسات أخرى أيضاً، نادراً ما يُثمر بذل مزيد من الجهد في أنظمة الأحزمة. في إحداها، ملف Markdown بسيط هزم نظام مهارات معقدًا لعملاء الذكاء الاصطناعي في البرمجة. وقد أظهرت دراسة سابقة بالفعل أن اختيار الإطار البرمجي يمكن أن تضاعف التكاليف ثلاث مرات تقريبًا لنفس الطراز. ولذلك يحظى تصميم الهارنس بالكثير من الاهتمام. إنفيديا خفّضت مؤخرًا تكاليف الرموز (token) الخاصة بعملاء البرمجة لديها بنحو النصف من خلال توجيه أفضل للوكلاء.