نقاط مهمة
- مشروع OpenMobile-2 المفتوح المصدر يدرب وكالات الهواتف الذكية الذكية بالذكاء الاصطناعي في بيئة تحتوي على أكثر من 110 تطبيقات محاكاة.
- أهمية تنوع التطبيقات أكثر من حجم البيانات. مع نفس كمية بيانات التدريب، زيادة عدد التطبيقات تزيد من نسبة النجاح في التطبيقات غير المعروفة من 60.7 إلى 67.5%.
- على الأجهزة الإندرويد الحقيقية، حصل النموذج الأكبر على 59.6 نقطة في اختبار SPA-Bench، وهو أعلى نتيجة بين النماذج المفتوحة.
الكمية الأكبر من البيانات وحدها لا تجعل وكلاء الهواتف الذكية أفضل. مع نفس كمية البيانات، ما يهم أكثر هو عدد التطبيقات المختلفة التي يتم تدريب الوكيل عليها.
وكلاء الذكاء الاصطناعي الذي يعملون على تطبيقاتهم بأنفسهم يتعلمون بشكل رئيسي من خلال التدريب، لكن البيانات التي يحتاجونها محفوظة في الشركات الكبيرة. ونتيجة لذلك، تكون النماذج المفتوحة متأخرة، حيث قام الباحثون من جامعة نانجينغ، وشركة SenseTime للذكاء الاصطناعي، وبعض الجامعات الأخرى بتحليل ذلك.
OpenMobile-2 هو محاولة منهم لسد هذا الفجوة. إنهم يطلقون نموذجين للأجهزة، مبنيين على Qwen3.5 الذي يحتوي على 9 مليار، وQwen3.6 الذي يحتوي على 27 مليار معلمة، بالإضافة إلى بيئة التدريب الكاملة، والبيانات، والتعليمات لإعادة إنتاج كل شيء. يقول الباحثون إن نموذجهم يحتل مكانًا قريبًا من القمة بين أجهزة الهواتف الذكية الحالية.
لماذا إعادة بناء 110 تطبيقات أفضل من التدريب على التطبيقات الحقيقية
تدريب على التطبيقات الحقيقية مؤلم لأن عملية تسجيل الدخول والشراء الفعلي وعدم وجود طريقة لإعادة تعيين الحالة يجعل العملية مكلفة وصعبة تكرارها. لذلك، أعاد الباحثون بناء 35 تطبيقًا شائعًا بشكل رئيسي في الصين، بما في ذلك Taobao وJD وDiDi وMeituan، بالإضافة إلى خدمات مستخدمة عالميًا مثل Slack وGoogle Drive. وبالإضافة إلى المحاكاة الحالية والتطبيقات التي تعمل في محاكي Android، يغطي الميدان التدريبي أكثر من 110 تطبيقات.
قارن المراجعون البشريون التطبيقات المستنسخة بالتطبيقات الأصلية، واستمروا في تحسينها حتى تتطابق عمليات العمل والواجهات. تظل الطلبات والميزانيات وخطط السفر موجودة خلال الجلسات، ويمكن نقل البيانات بين التطبيقات عبر شريحة النقل. يعاد تشغيل كل محاكاة إلى حالتها الابتدائية تلقائيًا، بينما لا يرى الوكيل سوى صور الشاشة ولا يملك إمكانية الوصول إلى بيانات التطبيق الداخلية، مما يحاكي كيفية استخدام الشخص فعليًا.
من هذا الإعداد، أنتج الفريق حوالي 11,600 عملية عملية نموذجية وأكثر من 2,000 مهمة تدريبية مع اختبارات نجاح آلية. تم استخدام Google's Gemini 3.1 Pro كنموذج تدريبي لإنتاج الأمثلة، مما يعني أن OpenMobile-2 يتعلم بشكل فعلي من نظام مغلق.
أداء الهاتف الحقيقي يرتفع بأكبر قدر
يظهر كلا النموذجين مكاسب واضحة على المعايير المحددة. في AndroidWorld، يرتفع النموذج الأكبر من 67.1 إلى 79.9 نقطة، بينما يرتفع النموذج الأصغر من 54.3 إلى 74 نقطة. وقد حصل النموذج السابق OpenMobile-1 على 64.7 نقطة في نفس الاختبار. أما في معيار MobileWorld الصعب، الذي يشمل مهام طويلة تغطي عدة تطبيقات، فإن النموذج الأكبر يتحسن من 35.9 إلى 50.4 نقطة.
يظهر أعلى قفزة في الأجهزة الأندرويد الحقيقية، حيث يرتفع النموذج الأكبر من 31.9 إلى 59.6 نقطة على SPA-Bench. يقول الباحثون إن هذه هي أفضل نتيجة بين النماذج المفتوحة.
تعد تنوع بيئة التدريب أكثر أهمية من حجم البيانات الخام هنا. حافظ الباحثون على كمية البيانات ثابتة، وزيّنوا فقط عدد التطبيقات التي يمارس العميل عليها، مما رفع معدل النجاح في التطبيقات غير المعروفة من 60.7 إلى 67.5 بالمئة. مع نفس ميزانية البيانات، فإن تنوع التطبيقات أفضل من وجود أمثلة إضافية من عدد قليل من التطبيقات.
تعلم التحفيز لا يوفر فوائد محدودة، خاصة في البيئات التي تشبه الإعدادات التدريبية. على منصة AndroidWorld، حقق النموذج الأكبر حجمًا نتيجة أقل قليلاً بعد ذلك، حيث بلغ 79.9 نقطة بدلاً من 80.8 نقطة.
الأوامر المباشرة تسمح للعناصر بالتجاوز عن متاهة القائمة
هذا جزء تجريبي من الدراسة يتجاوز التطبيقات البسيطة والتمرير. أكثر من 50 من التطبيقات المحاكاة توفر أوامر مباشرة مثل “إضافة إلى السلة”، بحيث يمكن للعامل تجنب التنقل بين القوائم، ويمكنه التبديل بين الطريقتين بحرية حسب ما هو متاح.
لكن بمفرده، لا يساعد ذلك كثيرًا، لأن النمور تميل إلى تجاهل الاختصارات دون تدريب مستهدف. بمجرد التدريب عليها، يستخدم الوكلاء هذه الاختصارات بشكل جيد، مما يزيد من قدرة إنجاز المهام بمقدار 10.3 نقطة مئوية، مع الحاجة إلى خطوات أقل بحوالي خمس خطوة. يقول الباحثون إن هذه القدرة تنقل أيضًا إلى الأدوات التي لم يواجهها النمور خلال التدريب.
خلال مرحلة تعلم التعزيز اللاحقة، حصل استخدام الأدوات على عامل مكافأة كلما شمل التشغيل على أقل من أمر مباشر واحد، رغم أن المكافأة كانت تعتمد أيضًا على ما إذا تم إكمال المهمة فعليًا. بدأت العقوبات تطبق عندما يبلغ العميل عن نجاح غير حقيقي. هذه الواجهات موجودة فقط في التطبيقات المحاكاة حتى الآن، ويُعد الباحثون هذا النهج تجريبيًا بنفسهم.
بعض النتائج تأتي من اختبار مخصص قام الفريق بإنشائه مع 215 مهمة، حيث تقع نصفها تقريبًا في تطبيقات متعددة. لا يتم تقييم إكمال المهام بناءً على نموذج لغوي، بل بناءً على برنامج يقارن البيانات المحفوظة في التطبيق قبل وبعد كل تشغيل. كما قام المؤلفون بفحص وجود تداخل بين مهام التدريب واختبارات التطبيق، ووجدوا فقط تشابهات طفيفة.
لقد قامت مختبرات مايكروسوفت بالتصنيف بالفعل وكلاء API أكثر وكالات الواجهة الحاسوبية موثوقة وأكثر المرشحات مرونة في دراسة عام 2025، وتشير إلى التطبيقات المحمولة كحالة نموذجية حيث لا توجد واجهات خارجية. تتبع Oppo طريقًا مختلفًا بوكيلها المفتوح X-OmniClaw، الذي يعمل على الأجهزة الحقيقية ويعيد عرض المسارات التي تم عرضها سابقًا في تطبيقات مثل تاوباو أو ميتوان من خلال الروابط الداخلية بدلاً من النقر على القوائم مرة أخرى. من بين النماذج المغلقة، قامت جوجل ببناء التحكم في الهواتف الذكية مباشرة جيميني 3.5 فلاش.
المصدر: Arxiv