Puntos clave
- El proyecto de código abierto OpenMobile-2 entrena agentes de teléfonos inteligentes con IA en un entorno con más de 110 aplicaciones simuladas.
- La diversidad de aplicaciones es más importante que el volumen de datos. Con la misma cantidad de datos de entrenamiento, aumentar el número de aplicaciones eleva la tasa de éxito en aplicaciones no vistas a 60.7 a 67.5 por ciento.
- En los dispositivos Android reales, el modelo más grande obtuvo 59.6 puntos en SPA-Bench, siendo el resultado más alto entre los modelos abiertos.
Mas datos por sí solos no hacen que los agentes de teléfonos inteligentes sean mejores. Con la misma cantidad de datos, lo más importante es cuántas aplicaciones diferentes un agente se entrena en.
Agentes de IA que operan aplicaciones por sí mismos aprenden principalmente a través de la práctica, pero los datos de los que necesitan están mayormente guardados en grandes empresas. Como resultado, los modelos abiertos se quedan atrás. Esto fue descrito por investigadores de la Universidad de Nanjing, la empresa de IA SenseTime y varias otras universidades.
OpenMobile-2 es su intento de cerrar esa brecha. Están lanzando dos modelos de agente construidos sobre Qwen3.5 con 9 mil millones y Qwen3.6 con 27 mil millones de parámetros, además del entorno completo de entrenamiento, datos e instrucciones para reproducir todo. Los autores dicen que su modelo se encuentra cerca del primer lugar entre los agentes de teléfonos inteligentes actuales.
¿Por qué reconstruir 110 aplicaciones es mejor que entrenar en las reales?
La capacitación en aplicaciones reales es dolorosa, ya que los inicios de sesión, las compras reales y la falta de forma de restablecer el estado hacen que el proceso sea costoso y difícil de repetir. Por lo tanto, los investigadores reconstruyeron 35 aplicaciones populares principalmente en China, incluyendo Taobao, JD, DiDi y Meituan, además de servicios utilizados a nivel global como Slack y Google Drive. En combinación con las simulaciones existentes y las aplicaciones que se ejecutan en un emulador de Android, el campo de práctica abarca más de 110 aplicaciones.
Los revisores humanos compararon las aplicaciones reconstruidas con las originales y continuaron mejorando hasta que los flujos de trabajo y las interfaces coincidieran. Los pedidos, los presupuestos y los planes de viaje persisten durante todas las sesiones, y los datos pueden transferirse entre aplicaciones a través del portapapeles. Cada simulación se restaura automáticamente al estado inicial, mientras que el agente solo ve capturas de pantalla y no tiene acceso a los datos internos de la aplicación, imitando cómo una persona realmente las utilizaría.
De esta configuración, el equipo generó aproximadamente 11,600 flujos de trabajo de ejemplo y más de 2,000 tareas de práctica con verificaciones de éxito automatizadas. Google's Gemini 3.1 Pro sirvió como modelo de enseñanza que produjo los ejemplos, lo que significa que OpenMobile-2 está aprendiendo efectivamente desde un sistema cerrado.
El rendimiento del teléfono real aumenta más
Ambos modelos muestran mejoras claras en los puntos de referencia establecidos. En AndroidWorld, el modelo más grande aumenta de 67.1 a 79.9 puntos, mientras que el más pequeño aumenta de 54.3 a 74. El predecesor, OpenMobile-1, obtuvo 64.7 puntos en el mismo test. En el benchmark más difícil de MobileWorld, que abarca tareas más largas que involucran múltiples aplicaciones, el modelo más grande mejora de 35.9 a 50.4 puntos.
El mayor salto se observa en los dispositivos Android reales, donde el modelo más grande aumenta de 31.9 a 59.6 puntos en SPA-Bench. Los investigadores afirman que ese es el mejor puntaje entre los modelos abiertos.
La diversidad del entorno de entrenamiento es más importante que el volumen total de datos en este caso. Los investigadores mantuvieron la cantidad de datos constante y solo aumentaron el número de aplicaciones con las que el agente practicaba, lo que aumentó la tasa de éxito en aplicaciones no vistas del 60.7 al 67.5 por ciento. Con el mismo presupuesto de datos, la variedad de aplicaciones es más importante que ejemplos adicionales de unas pocas aplicaciones.
Aprendizaje por refuerzo solo trajo beneficios limitados, principalmente en entornos que se asemejaban al entorno de entrenamiento. En AndroidWorld, el modelo más grande en realidad obtuvo un puntaje ligeramente peor, llegando a 79.9 puntos en lugar de 80.8 puntos.
Las órdenes directas permiten que los agentes omitan el laberinto del menú
Una parte experimental del estudio va más allá de tocar y deslizar. Más de 50 de las aplicaciones simuladas ofrecen comandos directos como “agregar al carrito”, de modo que el agente puede omitir la navegación por menús, y el agente puede cambiar libremente entre ambos enfoques dependiendo de lo que esté disponible.
Sin embargo, por sí solo, esto no ayuda mucho, ya que los modelos tienden a ignorar las atajos sin un entrenamiento específico. Una vez que han sido entrenados con ellos, los agentes los utilizan bien, resolviendo hasta 10.3 puntos porcentuales más de tareas, mientras necesitan aproximadamente cinco pasos menos. Los investigadores dicen que esta capacidad también se transfiere a las herramientas con las que los modelos nunca se encontraron durante el entrenamiento.
Durante la fase posterior del aprendizaje refuerzo, el uso de herramientas recibió un factor de bonificación cada vez que una ejecución incluía al menos un comando directo, aunque la recompensa todavía dependía de si la tarea se completaba realmente. Se aplicaban penalizaciones cuando el agente reportaba un éxito que no era real. Estas interfaces existen solo en las aplicaciones simuladas por ahora, y los investigadores consideran este enfoque experimental.
Algunos resultados provienen de un benchmark personalizado que el equipo desarrolló con 215 tareas, de las cuales casi la mitad abarcan múltiples aplicaciones. La completación de las tareas no se juzga mediante un modelo de lenguaje, sino por un programa que compara los datos almacenados de la aplicación antes y después de cada ejecución. Los autores también verificaron la superposición entre las tareas de entrenamiento y de prueba y encontraron solo similitudes menores.
Microsoft Research ya había clasificado Agentes de API Mientras que los agentes más confiables y de interfaz gráfica visual son más flexibles en un estudio de 2025, las aplicaciones móviles representan un caso típico en el que no existen interfaces externas. Oppo sigue un camino diferente con su agente abierto X-OmniClaw, que funciona en dispositivos reales y reproduce los caminos mostrados anteriormente en aplicaciones como Taobao o Meituan a través de deeplinks, en lugar de hacer clic en menús una vez más. Entre los modelos cerrados, Google ha integrado el control del smartphone directamente Gemini 3.5 Flash.
Fuente: Arxiv