关键要点
- 开源的 OpenMobile-2 项目在包含超过 110 个模拟应用程序的环境中训练人工智能智能手机代理。
- 应用多样性比数据量更重要。在训练数据量相同的情况下，增加应用的数量使得未见过应用的成功率从 60.7% 提升到了 67.5%。
- 在真实的 Android 设备上，较大型号在 SPA-Bench 上的得分为 59.6 分，这是开放型号中最高的成绩。
仅有更多数据并不能使智能手机代理更好。在相同数据量下，最重要的是代理所训练的不同应用数量。
自主运行应用程序的 AI 代理主要通过实践来学习，但它们所需的数据大多被大型公司锁定。因此，开放模型相对落后。南京大学、AI 公司 SenseTime 以及几所其他大学的研究人员进行了相关研究。
OpenMobile-2 是他们的努力来缩小这一差距。他们发布了两个基于 Qwen3.5 的代理模型，拥有 90 亿参数，以及 Qwen3.6 模型，该模型拥有 270 亿参数，还包含完整的训练环境、数据及复现所有内容的说明。作者表示，他们的模型在当前智能手机代理中排名名列前茅。
为什么重新构建 110 个应用比在真实设备上训练更好
真实应用训练非常困难，因为登录、实际交易以及无法重置状态使得这一过程成本高昂且难以重复。因此，研究人员重新构建了35款主要在中国流行的应用，包括淘宝、京东、滴滴和美团，还有像Slack和Google Drive这样的全球常用服务。结合现有的模拟器和在Android模拟器上运行的应用，这些实践场景涵盖了超过110种应用。
人类审核人员将重新构建的应用程序与原始版本进行对比，并不断优化，直到工作流程和界面完全一致。订单、预算和旅行计划会在不同会话间保留，数据可以通过剪贴板在应用程序之间传递。每个模拟都会自动恢复到初始状态，而智能体只能看到屏幕截图，无法访问应用程序内部数据，以此模仿人们实际使用这些应用程序的方式。
根据这种设置，团队生成了约11,600个示例工作流和超过2,000个练习任务，并配备了自动成功检查功能。Google的Gemini 3.1 Pro作为生成示例的教学模型，这意味着OpenMobile-2实际上是在从封闭系统中学习。
真实手机的性能提升最大
两种模型在既定的基准测试中都取得了明显的提升。在 AndroidWorld 测试中，较大的模型得分从 67.1 点提升至 79.9 点，而较小的模型则从 54.3 点提升至 74 点。其前代产品 OpenMobile-1 在同一测试中的得分为 64.7 点。在难度更高的 MobileWorld 基准测试中，该测试涉及多个应用程序的长时间任务，较大的模型得分从 35.9 点提升至 50.4 点。
最大的提升出现在真正的 Android 设备上，其中较大的型号在 SPA-Bench 上的得分从 31.9 点上升到了 59.6 点。研究人员表示，这是开放模型中的最高分。
在此情况下，训练环境的多样性比数据量更为重要。研究人员保持数据量不变，仅增加智能体练习的应用数量，从而将未见过应用的成功率从 60.7% 提升到了 67.5%。在相同的数据预算下，应用种类更多优于从少数应用中获取额外示例。
强化学习虽然取得了一些效果，但主要仅在与训练设置相似的环境中表现良好。在 AndroidWorld 上，更大的模型最终得分略有下降，为 79.9 分而非 80.8 分。
直接命令让代理可以跳过菜单选择流程
该研究的实验部分超越了点击和滑动操作。超过 50 个模拟应用提供“加入购物车”等直接指令，因此智能体可以跳过菜单导航，并根据可用选项自由选择两种操作方式。
不过，单独来看，这并没有太大帮助，因为模型在缺乏针对性训练的情况下往往会忽略这些快捷方式。一旦在相关训练中掌握了这些快捷方式，代理程序就能很好地使用它们，完成任务的能力会提高 10.3 个百分点，而所需步骤则减少约 5 步。研究人员表示，这种能力也会应用到模型在训练过程中从未接触过的工具上。
在后续的强化学习阶段中，每当一次运行包含至少一个直接命令时，工具使用就会获得额外奖励，不过奖励仍取决于任务是否真正完成。当智能体报告出真实不成立的成功结果时，则会产生惩罚。目前这些界面仅存在于模拟应用中，研究人员认为这种方法仍处于实验阶段。
一些结果来自团队开发的自定义基准测试，该测试包含 215 项任务，其中近一半涉及多个应用。任务完成情况不是由语言模型来评判，而是由一个程序在每次运行前后对比应用的存储数据来判定。作者们还检查了训练任务与测试任务之间的重叠情况，发现只有轻微的相似性。
Microsoft Research 已经对它们进行了分类 API 代理 在2025年的研究中，更可靠的GUI代理和更灵活的代理更为常见，其中移动应用是外部接口不存在的典型案例。Oppo则选择了不同的路径，采用开放代理方式。 X-OmniClaw该功能可在真实设备上运行，可通过 Deeplink 在淘宝或美团等应用中重新播放之前展示的路径，而无需再次点击菜单。在封闭模式下，谷歌已将智能手机控制直接集成其中 Gemini 3.5 Flash.
来源：Arxiv