Points clés
- Le projet open-source OpenMobile-2 entraîne des agents de smartphones intelligents dans un environnement comprenant plus de 110 applications simulées.
- La diversité des applications est plus importante que le volume de données. Avec la même quantité de données d’entraînement, l’augmentation du nombre d’applications entraîne une augmentation du taux de succès pour les applications inconnues de 60,7 % à 67,5 %.
- Sur les appareils Android réels, le modèle plus grand a obtenu 59,6 points sur SPA-Bench, le résultat le plus élevé parmi les modèles ouverts.
Plus de données ne rendent pas les agents de téléphone smart plus performants. Avec la même quantité de données, ce qui compte le plus est le nombre d’applications différentes sur lesquelles l’agent est entraîné.
Agents IA qui exploitent les applications de manière autonome apprennent principalement par la pratique, mais les données dont ils ont besoin sont majoritairement stockées dans les grandes entreprises. En conséquence, les modèles ouverts restent en retard. C’est ce que ont démontré des chercheurs de l’université de Nanjing, de l’entreprise AI SenseTime et de plusieurs autres universités.
OpenMobile-2 est leur tentative de combler cette lacune. Ils dévoilent deux modèles d’agents construits sur Qwen3.5 avec 9 milliards et Qwen3.6 avec 27 milliards de paramètres, ainsi que l’ensemble de l’environnement de formation, des données et les instructions nécessaires pour reproduire tout cela. Les auteurs affirment que leur modèle se classe parmi les meilleurs parmi les agents actuels pour smartphones.
Pourquoi reconstruire 110 applications est meilleur que d’entraîner sur des applications réelles
La formation sur des applications réelles est difficile, car les connexions, les achats réels et l’absence de moyen de réinitialiser l’état rendent le processus coûteux et difficile à répéter. Ainsi, les chercheurs ont reconstruit 35 applications populaires principalement en Chine, telles que Taobao, JD, DiDi et Meituan, ainsi que des services utilisés dans le monde entier comme Slack et Google Drive. En combinant les simulations existantes et les applications exécutées via un emulateur Android, cette base de pratique couvre plus de 110 applications.
Les réviseurs humains ont comparé les applications reconstruites aux versions originales et ont continué à les affiner jusqu’à ce que les processus de travail et les interfaces coïncident. Les commandes, les budgets et les plans de voyage persistent entre les sessions, et les données peuvent être transférées entre les applications via le clicboard. Chaque simulation se réinitialise automatiquement à son état initial, tandis que l’agent ne voit que des captures d’écran et n’a pas accès aux données internes de l’application, imitant ainsi la manière dont une personne les utiliserait réellement.
Avec cette configuration, l’équipe a généré environ 11 600 workflows d’exemple et plus de 2 000 tâches de pratique avec des vérifications de succès automatisées. Google’s Gemini 3.1 Pro a servi de modèle d’entraînement qui produit les exemples, ce qui signifie que OpenMobile-2 apprend effectivement à partir d’un système fermé.
Les performances du téléphone réel augmentent le plus
Les deux modèles montrent des gains évidents sur les critères de référence établis. Sur AndroidWorld, le modèle plus grand passe de 67,1 à 79,9 points, tandis que le modèle plus petit passe de 54,3 à 74 points. Le précédent modèle, OpenMobile-1, a obtenu 64,7 points lors du même test. Sur le benchmark MobileWorld plus difficile, qui couvre des tâches plus longues impliquant plusieurs applications, le modèle plus grand améliore de 35,9 à 50,4 points.
Le plus grand bond se manifeste sur les appareils Android réels, où le modèle plus grand passe de 31,9 à 59,6 points sur SPA-Bench. Les chercheurs affirment que c’est la meilleure note parmi les modèles ouverts.
La diversité de l’environnement d’entraînement est plus importante que le volume de données pur. Les chercheurs ont maintenu le volume de données constant et ont simplement augmenté le nombre d’applications sur lesquelles l’agent s’exerçait, ce qui a augmenté le taux de succès pour les applications inconnues de 60,7 % à 67,5 %. Avec le même budget de données, la variété des applications vaut mieux que des exemples supplémentaires provenant d’un petit nombre d’applications.
Apprentissage par renforcement ne permettait que des gains limités, principalement dans les environnements similaires à l’environnement de formation. Sur AndroidWorld, le modèle plus grand a en réalité obtenu un score légèrement inférieur, atteignant 79,9 points plutôt que 80,8 points.
Les commandes directes permettent aux agents d’éviter le labyrinthe du menu
Une partie expérimentale de l’étude va au-delà du simple tapage et du glisser. Plus de 50 applications simulées offrent des commandes directes telles que « ajouter au panier », permettant à l’agent de ne pas avoir besoin de naviguer dans les menus, et l’agent peut librement alterner entre ces deux approches en fonction de ce qui est disponible.
Cependant, cela ne aide pas beaucoup en soi, car les modèles ont tendance à ignorer les raccourcis sans une formation ciblée. Une fois formés sur ces raccourcis, les agents les utilisent bien, résolvant jusqu’à 10,3 points de pourcentage plus de tâches tout en nécessitant environ cinq étapes moins. Les chercheurs affirment que cette capacité se transfère également aux outils que les modèles n’ont jamais rencontrés pendant leur formation.
Pendant la phase ultérieure de l'apprentissage par renforcement, l'utilisation d'outils bénéficiait d'un facteur bonus chaque fois qu'une exécution comprenait au moins un commande directe, bien que la récompense dépendait toujours de la réalisation effective de la tâche. Des pénalités étaient appliquées lorsque l'agent rapportait une réussite qui n'était pas réelle. Ces interfaces existent pour l'instant uniquement dans les applications simulées, et les chercheurs qualifient cette approche de expérimentale.
Certains résultats proviennent d’un benchmark personnalisé que l’équipe a créé avec 215 tâches, dont près de la moitié se rapportent à plusieurs applications. La réussite des tâches n’est pas évaluée par un modèle linguistique, mais par un programme qui compare les données stockées par l’application avant et après chaque exécution. Les auteurs ont également vérifié les points de convergence entre les tâches d’entraînement et de test et ont constaté que les similitudes étaient seulement mineures.
Microsoft Research avait déjà classé Agents API Plus fiables et agents GUI, plus flexibles dans une étude de 2025, ce qui montre que les applications mobiles constituent un cas typique où les interfaces externes ne existent pas. Oppo choisit une approche différente avec son agent ouvert X-OmniClaw, qui fonctionne sur des appareils réels et permet de rejouer les parcours précédemment affichés dans des applications comme Taobao ou Meituan via des deeplinks plutôt que de cliquer à nouveau sur les menus. Parmi les modèles fermés, Google a intégré directement le contrôle du smartphone Gemini 3.5 Flash.
Source : Arxiv