IT之家 Noticia del 28 de octubre: Google actualizó el sistema utilizado para evaluar la capacidad de los modelos de IAAndroidcomo asistentes de programación en Android Bench, y los resultados de Gemini 4 Argon quedaron muy por detrás de las versiones más recientes de los modelos de las series Claude y GPT.
Android Bench se lanzó a comienzos de este año para que los desarrolladores de Android pudieran comparar rápidamente con este conjunto de estándares de prueba de Google y elegir el modelo de IA más adecuado como ayuda para el desarrollo de código Android. Las pruebas tienen en cuenta los escenarios de uso propios del desarrollo en Android, así como las mejores prácticas de dicho desarrollo. Mientras continúa realizando las pruebas e incorporando nuevos modelos al ranking, Google también ha incluido el coste medio de llamada como métrica del benchmark, para que los desarrolladores puedan elegir según sus propias necesidades.
En esta actualización del 26 de octubre, Google añadió una anotación sobre el nivel de razonamiento empleado por cada modelo, además de incorporar los resultados de pruebas de varios modelos, incluidos GPT-6 Sol y GPT-6.1 Sol de OpenAI, Claude Sonnet 5, Claude Sonnet 5.5 y el propio Gemini 4 Argon de Google.
Actualmente, el primer puesto del ranking lo ocupa Claude Sonnet 5.5, con una tasa de aprobación del 40 % y una tasa de finalización del 80.9 %. Claude Opus 5.5, incorporado al ranking a principios del mes 10, ocupa el segundo lugar.
GPT-6.1 Sol de OpenAI podría ser la novedad más destacable de esta actualización, con una tasa de aprobación del 29.3 % y una tasa de finalización del 82.8 %, pero con un coste de llamada de solo 99.50 dólares (nota de IT之家: al tipo de cambio actual, unos 664.8 yuanes); en comparación, el coste de llamada del Claude que ocupa el primer puesto alcanza los 1,574.90 dólares (al tipo de cambio actual, unos 10,522 yuanes).
Por su parte, el Gemini 4 Argon de Google debutó con un rendimiento discreto, en el quinto puesto, claramente por detrás de los demás modelos de vanguardia e incluso por detrás de Claude Fable 5.1, con una tasa de aprobación de solo el 21.3 %, una tasa de finalización del 81.8 % y un coste medio de llamada de 267.70 dólares (al tipo de cambio actual, unos 1,789 yuanes).
Poco después de que Google anunciara oficialmente Gemini 4 Argon, surgieron fuentes internas que señalaban que el modelo «tiene dificultades con algunas tareas de programación», aunque Google sigue respaldando sus capacidades.