IT之家 Le 28 octobre, Google a mis à jour le référentiel servant à évaluer les capacités des modèles d'IA en matière d'Androidd'assistance à la programmation : Android Bench, et les résultats de Gemini 4 Argon sont largement en retard par rapport aux dernières versions des modèles Claude et GPT.
Android Bench a été lancé au début de cette année pour permettre aux développeurs Android de comparer rapidement les modèles d'IA selon ce référentiel de tests de Google et de choisir celui qui convient le mieux à l'assistance au développement de code Android. Les tests prennent en compte les scénarios d'utilisation propres au développement Android ainsi que les meilleures pratiques du développement Android. Tout en poursuivant les tests et en intégrant de nouveaux modèles au classement, Google a également ajouté le coût moyen d'appel aux indicateurs de référence, afin que les développeurs puissent faire leur choix en fonction de leurs besoins.
Dans cette mise à jour du 26 octobre, Google a ajouté l'indication du niveau de raisonnement utilisé par chaque modèle et complété les résultats de tests de plusieurs modèles, dont GPT-6 Sol et GPT-6.1 Sol d'OpenAI, Claude Sonnet 5, Claude Sonnet 5.5, ainsi que le Gemini 4 Argon de Google.
La première place du classement est actuellement occupée par Claude Sonnet 5.5, avec un taux de réussite de 40 % et un taux d'achèvement de 80.9 %. Claude Opus 5.5, ajouté au classement début du mois 10 (octobre), arrive en deuxième position.
GPT-6.1 Sol d'OpenAI est peut-être le nouveau modèle le plus remarquable de cette mise à jour, avec un taux de réussite de 29.3% et un taux d'achèvement de 82.8%, mais un coût d'appel de seulement 99.50 dollars (note d'IT之家 : environ 664.8 yuans au taux de change actuel) ; en comparaison, le coût d'appel du Claude en tête du classement atteint 1,574.90 dollars (environ 10,522 yuans au taux de change actuel).
Quant au Gemini 4 Argon de Google lui-même, ses débuts ont été médiocres, avec une cinquième place, nettement en retard par rapport aux autres modèles de pointe, et même derrière Claude Fable 5.1, avec un taux de réussite de seulement 21.3%, un taux d'achèvement de 81.8% et un coût d'appel moyen de 267.70 dollars (environ 1,789 yuans au taux de change actuel).
Peu après l'annonce officielle de Gemini 4 Argon par Google, des sources internes ont indiqué que ce modèle « avait du mal à gérer certaines tâches de programmation », mais Google reconnaît néanmoins ses capacités.