ALTK-Evolve: كيف تتصدّر الذاكرة المتعلَّمة لوحة تصدّر τ²-bench في مهام خدمة العملاء دون نموذج رائدي

يتعلّم ALTK-Evolve دليل إجراءات ويطبّقه باستخدام GPT-4.1، متجاوزًا مدخلات قطاع التجزئة على τ²-bench، وهو معيار تقييم لعملاء خدمة الوكلاء—دون تحديث أوزان النموذج.

الذاكرة المتعلَّمة تنقل وكيل ReAct أساسيًا يعمل بنموذج GPT-4.1 إلى القمة

باستخدام GPT-4.1، وهو نموذج أقدم غير استدلالي، يبلغ وكيل خدمة عملاء أساسي إلى 67.5% Pass^4 على τ²-bench للتجزئة — أي أنه يحل المهمة في المحاولات المستقلة الأربع جميعها لنسبة 67.5% من المهام. ويتفوق على كل مدخلات التجزئة في لقطة لوحة التصدير بتاريخ 12 أكتوبر 2026 لدينا. ويعمل على هيكل ReAct القياسي الخاص بالمعيار، مع إلحاق الإرشادات المتعلَّمة بموجّه النظام الخاص به.

ALTK-Evolve يبني ذلك الدليل باستخدام GPT-4.1. حيث يحلّل محاولات الوكيل في مهام التدريب ويستخدم النموذج لتقطير النجاحات والإخفاقات إلى قواعد سلوكية موجزة: كيفية التحقق من هوية العميل، أو تأكيد معاملة، أو معالجة عملية إرجاع. ثم تُضاف تلك الإرشادات إلى موجّه الوكيل للمحادثات اللاحقة. النموذج نفسه يشغّل كلٍّ من استخراج الإرشادات والوكيل؛ ولا حاجة إلى تحديثات للأوزان أو تدوين بشري.

أظهرت أعمالنا السابقة هذا النهج على وكلاء البرمجة. وهنا نختبره على خدمة العملاء، حيث يتطلب النجاح اتباع سياسات المجال، وفهم طلب العميل، وتنفيذ إجراءات الأدوات الصحيحة.

τ²-bench يختبر خدمة عملاء مقيّدة بالسياسات

يقيس معيار τ²-bench (من Sierra) مدى جودة تعامل الوكيل مع محادثات خدمة العملاء تحت قيود واقعية. تربط كل مهمة الوكيل بـ عميل يحاكيه نموذج لغوي كبير ولديه هدف معيّن، ومجموعة من أدوات المجال (البحث عن طلب، إصدار استرداد، إعادة حجز رحلة طيران)، ووثيقة سياسة مكتوبة يجب على الوكيل اتباعها. وعلى الوكيل استنباط التفاصيل الصحيحة، والالتزام بالسياسة، واتخاذ الإجراءات الصحيحة — غير القابلة للتراجع غالبًا؛ ولا تُحتسب المهمة كمحلولة إلا عندما تطابق حالة قاعدة البيانات النهائية النتيجة المتوقعة، وهي مكافأة ثنائية صارمة. نستخدم مجالَي خدمة العملاء فيه، التجزئة و الطيران.

ننفّذ التنفيذ الخاص بمعيار τ²-bench نفسه لوكيل ReAct أساسي بحلقة THINK → ACT من مرحلتين، باستخدام gpt-4.1 كما نموذج الوكيل و gpt-5.5 كما نموذج محاكاة العميل؛ 4 محاولات لكل مهمة. التغيير الوحيد الذي نجريه هو كتلة من الإرشادات المتعلمة تُلحق بموجه النظام — وكل شيء آخر (السياسة، الأدوات، الهيكل) يبقى كما هو في τ²-bench. وبشكل محدد، تُضاف الإرشادات المتعلمة بعد سياسة المجال مباشرةً كقائمة ماركداون بسيطة:

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

نستخرج الإرشادات من مسارات الوكيل في مهام τ²-bench التدريبية باستخدام gpt-4.1، وهو النموذج نفسه الذي يشغّل الوكيل، ثم نطبّقها دون تغيير على مجموعة الاختبار المحجوزة.

الإرشادات تحسّن القدرة والموثوقية

في منشور سابق، تحدثنا عن كيف أن النماذج / المهام المختلفة تتطلب جرعات مختلفة من التوجيه. وبما يتفق مع هذه الفكرة، نقوم أيضاً بتقييم كميات مختلفة من الإرشادات المقدمة إلى النموذج.

كل إرشاد يحمل عدداً من الدعم — وهو عدد مهام التدريب المختلفة التي استُخرج منها، بحيث يعني الدعم الأعلى قاعدةً عمّمت عبر مهام أكثر بدلاً من كونها حالة عابرة. نقارن ثلاثة إعدادات: الخط الأساسي (بدون إرشادات)، sup3 (الاحتفاظ فقط بالإرشادات ذات الدعم ≥ 3 — نواة صغيرة عالية الثقة)، و lossless (الاحتفاظ بكل إرشاد متبقٍ بعد الدمج، أي الدعم ≥ 1).

الجدول 1. إعدادات الإرشادات وأعداد الإرشادات المحتفظ بها حسب المجال.

المقاييس التي نتتبعها. يتم محاولة كل مهمة 4 مرات, ونقرأ تلك المحاولات بطريقتين:

• متوسط الدقة — معدل النجاح المتوسط عبر المحاولات الـ 4. هذا هو محور القدرة : كم مرة يصيب الوكيل في هذا الأمر؟
• Pass^4 — النسبة المئوية للمهام التي نجحت عبر جميع المحاولات الـ 4. يقيس هذا على محور الموثوقية وهو المقياس الذي يبلّغ عنه لوحة صدارة τ²-bench. إنه مهم هنا لأن وكيل دعم يحل عملية استرداد أموال 3 مرات من كل 4 لا يزال يخفق مع ربع العملاء الحقيقيين — Pass^4 يسأل عما إذا كان يمكن الوثوق بالوكيل في كل مرة، وليس فقط في المتوسط.

الشكل 1. متوسط الدقة و Pass^4 على مهام التجزئة والطيران المحجوزة للاختبار للوكلاء الذين يستخدمون gpt-4.1 عبر أربع محاولات لكل مهمة.

نموذج الوكيل: gpt-4.1 (محاكي المستخدم: gpt-5.5).

الجدول 2. أداء الوكيل على البيانات المستبعدة باستخدام gpt-4.1 عبر أربع تجارب لكل مهمة. تُظهر الأقواس التغيرات بالنقاط المئوية مقارنة بخط الأساس.

يتصاعد متوسط الدقة في كلا المجالين — التجزئة +4.4 نقطة (78.1 → 82.5) وشركات الطيران +7.5 نقطة (57.5 → 65.0). وتتحسن الموثوقية أكثر: يرتفع المقياس الصارم Pass^4 بمقدار +10 نقاط في التجزئة (57.5 → 67.5) وبمقدار +10 نقاط في شركات الطيران (35.0 → 45.0). وتأتي هذه المكاسب من قرارات أفضل استنادًا، لا من محادثات أطول — ننظر إلى طول المحادثة مباشرة في قسم الأداء الأفضل يكلف رموزًا أكثر، لا أدوارًا أكثر أدناه.

أفضل كمية من التوجيه تعتمد على المجال

المجالان يختلفان بشأن كم من التوجيه يحقق فائدة. في التجزئة، المزيد أفضل على كل مقياس — النواة الصغيرة sup3 تتفوق بالكاد على خط الأساس في الدقة، وتحتاج إلى المجموعة الكاملة بدون فقدان (lossless) للتحسن الحقيقي. في خطوط الطيران (airline) تنقلب الصورة عند طرف الموثوقية: خيار lossless يتقدم في الدقة (65% مقابل 60%)، لكن النواة sup3 المدمجة (14 إرشادًا) هي الأكثر موثوقية، إذ ترفع Pass^4 إلى 45% مقابل 40% لخيار lossless. مما يؤكد النتيجة السابقة بأن التسليم هو مقبض ضبط، وليس قيمة ثابتة, فعدد الإرشادات هو مقبض يستحق الضبط حسب كل مجالوليس قيمة تُثبَّت بشكل ثابت.

الأداء الأفضل يكلّف رموزًا (tokens) أكثر، وليس جولات أكثر

الإرشادات ليست مجانية، لكن التكلفة تقع حيث تتوقع — في رموز إدخال المطالبة (prompt input tokens)وليس في محادثة أطول وأكثر تشابكًا:

الشكل 2. التكلفة الإجمالية لنموذج LLM لكل محادثة حسب المجال وإعداد الإرشادات على قسم base الكامل.

الجدول 3. التكلفة الإجمالية لنموذج LLM لكل محادثة (الوكيل ومحاكي المستخدم) على قسم base الكامل عبر أربع تجارب. الأقل أفضل.

هل يصل الوكيل إلى الحل عبر التحدث لفترة أطول؟ للإجابة على ذلك بوضوح نقارن بالمقارنة المتماثلة: المهام المحسومة المنجزة في ظل كلا الخط الأساسي والنسخة الموجهة بالإرشادات — السيناريو والبذرة نفسها، وهي مجموعة حقيقية من "نفس المهمة، منجزة بشكل صحيح" — ونعدّ أدوار المساعد في كل جانب.

الجدول 4. أدوار المساعد لكل محادثة للتجارب المتطابقة المحسومة في ظل الإعدادين على مجموعة الاختبار، مع دمج أربع محاولات.

الوكيل لا يتحدث لفترة أطول — في المجموعة المشتركة، تجعل الإرشادات المحادثات أقصر قليلاً: يعمل lossless على تقليص حوالي 0.3–0.4 دور في كلا المجالين (التجزئة 10.59 → 10.16، وخطوط الطيران 9.15 → 8.82)، ولا يطيل أي متغير المحادثة. وهذا مهم يتجاوز التكلفة: كل دور هو رحلة ذهاب وإياب متسلسلة إلى نموذج LLM، لذا فإن الدور الأقل يعني زمن استجابة أقل من البداية إلى النهاية — ووقتاً أسرع لإنجاز المهمة للعميل، وليس مجرد خيار أرخص. الثمن الحقيقي الوحيد هو على جانب المدخلات — موجه النظام الأكبر الذي يرافق كل استدعاء لـ LLM: موجه الإرشادات البالغ عددها 292 في التجزئة يرفع التكلفة من حوالي $0.084 إلى حوالي $0.139 لكل محادثة، في حين أن دفتر الإرشادات الأصغر لخطوط الطيران أرخص. وفي الإنتاج، يمكن استرداد معظم ذلك إلى حد كبير باستخدام تخزين الموجّهات مؤقتاً، نظراً لأن كتلة الإرشادات متطابقة عبر كل استدعاء.

إذن فالمقايضة مواتية: مقابل تكلفة مدخلات أعلى قليلاً (يتم تجاوز معظمها عملياً عبر التخزين المؤقت) يصل الوكيل دقة أعلى، موثوقية أعلى، و تقليل الوقت اللازم للإكمال في آنٍ واحد — وليس المفاضلة المعتادة بين الجودة وزمن الاستجابة، بل التحرك الصحيح للأبعاد الثلاثة معًا.

كما أن الإرشادات المتعلَّمة تُحسّن الوكلاء الذين يستخدمون النماذج الرائدة

حتى الآن، استخدمنا نموذجًا أقدم غير استدلالي — gpt-4.1. هناك اعتراض عادل مفاده أن الإرشادات المتعلمة قد لا تضيف الكثير لوكيل يستخدم frontier نموذجاً: ربما لا تسدّ إلا فجوات نموذج أضعف. لذلك اختبرنا الأمر مباشرة — أعدنا تشغيل airline باستخدام gpt-5.5 للوكيل واستخراج الإرشادات على حد سواء، على نفس هيكل τ²-bench ReAct، مع إعادة استخراج الإرشادات من تشغيلات الوكيل الخاصة به . يتغير تفصيل واحد مع النموذج: لم يصل أي من الإرشادات المستخرجة في هذا الإعداد إلى دعم ≥ 3 (تتوقف عند دعم 2)، لذا فإن النواة عالية الدعم هنا هي sup2 بدلاً من sup3.

الجدول 5. أداء airline على البيانات المحتجزة gpt-5.5 للوكيل عبر أربع تجارب لكل مهمة.

الإرشادات المتعلمة تحسّن هذا الإعداد أيضاً. على نفس مهام الاختبار المحتجزة، تضيفها إلى الطلب يرفع الدقة +10 نقاط (72.5 ← 82.5) و Pass^4 الصارم بمقدار +15 نقطة (55.0 ← 70.0) — وهو أكبر كسب في الموثوقية أكبر مما لاحظناه مع gpt-4.1 على هذه المهام نفسها (+10 نقاط)، ومن مستوى انطلاق أعلى بكثير. إن تعلم الإرشادات حول يمكن أن يحسّن الوكيل حتى عندما يبدأ من قاعدة أقوى. وحيثما تذبذبت موثوقية النموذج الأساسي بين الجولات المتكررة، أعادت الإعدادات الخالية من الفقد نفس النتائج بدقة — فالكسب الذي توفره موثوق وليس حظًا سعيدًا.

يتصدر ALTK-Evolve مقارنة لوحة الصدارة

تُقيَّم المشاركات على الشريحة الأساسية الكاملة (train ∪ test)، كما يتطلب τ²-bench، وتُبلَّغ عند Pass^4. ولأن ذلك يغطي المجموعة الكاملة من المهام وليس شريحة الاختبار المحجوزة، فإن هذه الأرقام تختلف عن أرقام مهام الاختبار المذكورة أعلاه. هنا يظهر الأثر العملي — فالذاكرة على مستوى المطالبات تنقل الوكلاء الذين يستخدمون كل نموذج أساسي إلىأو إلى ما يتجاوزالشركات الرائدة الحالية في المجال:

• التجزئة: المركز #1. على الشريحة الأساسية يصل الوكيل المزود بالإرشادات المتعلمة إلى Pass^4 = 67.5%متفوقًا على كل نموذج رائد و متفوقًا على RAFT-30B-A3B (61.4%)، وهو نموذج ضُبط دقيقًا على بيانات تجزئة اصطناعية من τ²-bench. وباستخدام gpt-4.1 كما هو ودليل عمل مُلحق بالمطالبة، يتفوق على ذلك النظام المضبوط بدقة بفارق +6.1 نقطة.
• الطيران: المركز #1 باستخدام gpt-5.5، والمركز #8 باستخدام gpt-4.1 مقابل لوحة النتائج المنشورة، يمنح sup3 core المضغوط الوكيل الذي يستخدم gpt-4.1 Pass^4 = 44% — الـ8، متجاوزًا GPT-5.2 (بدون استدلال) واقترابًا من مستوى Claude Sonnet 4.5. وعند استبدال الأساس الأقوى، يتصدّر النهج نفسه المجال بلا منازع: الوكيل الذي يستخدم gpt-5.5 يصل إلى 82.0%، متفوقًا على جميع المنافسين الحدوديين (66–72%).

الشكل 3. مقارنة Pass^4 بين تشغيلات ALTK-Evolve ولقطة لوحة صدارة τ²-bench بتاريخ 12 أكتوبر 2026.

الرسالة نفسها في كلا المجالين: إرشادات التعلم حول يعمل النموذج عبر نماذج أساس مختلفة — ينقل وكيلًا يستخدم نموذجًا أقدم بدون استدلال إلى مستوى المنافسين الحدوديين في قطاع التجزئة، ويرفع وكيلًا يستخدم نموذجًا حدوديًا إلى القمة في قطاع الطيران.

يمكن للوكلاء أن يتحسنوا دون تحديث للأوزان

ضبط نموذج دقيقاً على معيار قياس أمر مكلف وهش ولا ينتقل إلى المجال التالي. هنا، يعمل ALTK-Evolve على تحسين وكيل الأسهم على نموذج الأسهم في كلا المجالين — ويساوي نظاماً مضبوطاً بدقة أو يتفوق عليه في قطاع التجزئة — باستخدام فقط إرشادات على مستوى التعليمات المستخرجة من جلسات الوكيل نفسهتلقائياً، دون أي تدوين بشري ودون أي تسرّب من مجموعة الاختبار.

روابط:

• منشورات سابقة
  1. هل تفكر في ACE؟ يمكننا تحقيق ذلك بعدد أقل من الرموز
  2. كم من الذاكرة يحتاج وكيلك فعلياً؟
  3. أنجز وكيلك المهمة بنجاح. هل سيفعلها مرة أخرى؟
• مكتبة ALTK-Evolve — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• مشاركة في لوحة صدارة التجزئة — τ²-bench PR #542
• مشاركة في لوحة صدارة شركات الطيران - τ²-bench PR #551