重要点
- オープンソースのOpenMobile-2プロジェクトは、110以上のシミュレーションされたアプリが存在する環境でAIスマートフォンエージェントを訓練します。
- アプリの多様性はデータ量よりも重要です。同じ量のトレーニングデータで、アプリの数を増やすと、見たことのないアプリにおける成功率が60.7％から67.5％に上昇します。
- 実際のAndroidデバイスでは、より大きなモデルがSPA-Benchで59.6点を獲得し、オープンモデルの中で最高の結果となった。
単にデータが多いからといって、スマートフォンエージェントがより優れているわけではありません。同じ量のデータがある場合、重要なのはエージェントがどれだけの異なるアプリを学習しているかです。
AIエージェントは、自らアプリを動作させるが、主に実践を通じて学習する。しかし、必要なデータは大企業に保管されている。その結果、オープンモデルは遅れが生じる。これは南京大学、AI企業SenseTime、および他のいくつかの大学の研究者たちによる研究結果である。
OpenMobile-2は、そのギャップを埋めるための試みです。彼らは、Qwen3.5で90億のパラメータを持つ2つのエージェントモデルと、Qwen3.6で270億パラメータを持つモデルを公開しています。また、完全なトレーニング環境、データ、そしてすべてを再現するための手順も提供されています。著者たちによると、彼らのモデルは現在のスマートフォンエージェントの中でトップクラスにランクインすると言います。
110アプリを再構築するのが、実際のアプリを訓練するよりも優れている理由
実際のアプリでのトレーニングは困難です。ログインや実際の購入、状態のリセットができないため、プロセスが高コストで繰り返しが難しいからです。そのため、研究者たちは中国で主に利用されている淘宝、JD、DiDi、美团の35種類のアプリや、SlackやGoogle Driveのような世界的に利用されるサービスを再構築しました。既存のシミュレーションやAndroidエミュレーター上で動作するアプリと合わせることで、実践場面は110以上のアプリをカバーします。
人間のレビュアーは、再構築されたアプリケーションを元のアプリケーションと比較し、ワークフローやインターフェースが一致するまで継続的に改善した。注文、予算、旅行計画はセッション間で保持され、データはクリップボードを通じてアプリケーション間で共有できる。各シミュレーションは自動的に初期状態に戻るが、エージェントはスクリーンショットのみを見るだけで、内部のアプリケーションデータにはアクセスできず、これは人が実際に利用する様子を模倣している。
この設定により、チームは約11,600件のワークフロー例と2,000件以上の練習タスクを、自動化された成功チェック機能を持って生成した。GoogleのGemini 3.1 Proが例を生成する教師モデルとして機能し、これによりOpenMobile-2は閉じたシステムから効果的に学習していることになる。
実際の電話の性能が最も上昇する
2つのモデルは既存のベンチマークで明確な向上を示しています。AndroidWorldでは、大きい方のモデルが67.1点から79.9点へ、小さい方のモデルが54.3点から74点へと上昇しました。前代のOpenMobile-1は同じテストで64.7点を記録しました。複数のアプリを含む長いタスクを対象とする難しいMobileWorldベンチマークでは、大きい方のモデルが35.9点から50.4点へ改善しました。
最大の上昇は実際のAndroidデバイスで見られ、より大きなモデルはSPA-Benchで31.9点から59.6点へと上昇した。研究者たちによると、これがオープンモデルの中で最高のスコアだという。
ここでは、データ量よりもトレーニング環境の多様性が重要です。研究者たちはデータ量を一定に保ち、エージェントが実行するアプリの数だけを増やしました。その結果、見たことのないアプリの成功率が60.7％から67.5％に上昇しました。同じデータ予算で、アプリの多様性の方が、わずかなアプリの追加例よりも優れています。
強化学習は、主にトレーニング環境に似た環境でのみ限定的な効果がありました。AndroidWorldでは、より大きなモデルは実際に点数がわずかに低くなり、80.8点から79.9点になりました。
直接コマンドを使うと、エージェントはメニュー迷路を飛ばすことができる
研究の実験的な部分は、タップやスワイプを超えています。50以上のシミュレーションアプリでは「カートに追加」といった直接コマンドが提供されており、エージェントはメニューを操作する手間を省くことができ、利用可能なものに応じて両方の方法を自由に切り替えることができます。
しかし、単独で見るとあまり役立たない。なぜなら、モデルは特定のトレーニングがなければショートカットを無視する傾向があるからだ。一度それらのショートカットを学習した後、エージェントはそれをうまく利用し、タスクを解決する際に5ステップ少なくなるだけで、10.3パーセントポイント多くのタスクを解決できるようになる。研究者によると、この能力は、モデルがトレーニング中に遭遇したことのないツールにも適用されるという。
後期の強化学習段階では、実行が少なくとも1つの直接コマンドを含む場合にツール使用に対するボーナス因子が与えられたが、報酬は依然としてタスクが実際に完了したかどうかに依存していた。エージェントが実際ではない成功を報告した場合にはペナルティが適用された。これらのインターフェースは現時点ではシミュレーションアプリ内にのみ存在し、研究者たちはこのアプローチを実験的なものと見なしている。
一部の結果は、チームが215個のタスクで作成したカスタムベンチマークから得られたもので、そのうちほぼ半分は複数のアプリケーションに関連しています。タスクの完了度は言語モデルによってではなく、各実行前後でアプリケーションが保存するデータを比較するプログラムによって判断されます。著者たちは訓練タスクとテストタスクの重複を調べた結果、わずかな類似点しか見つかりませんでした。
マイクロソフト・リサーチは既に分類していた APIエージェント 2025年の研究では、より信頼性の高いGUIエージェントが、より柔軟であることが示されています。外部インターフェースが存在しない典型的なケースとしてモバイルアプリが挙げられます。Oppoはオープンエージェントを採用することで異なるアプローチを取ります。 X-OmniClaw実際のデバイス上で動作し、TaobaoやMeituanなどのアプリで以前に表示されたパスを、メニューを再びクリックする代わりにdeeplinksを通じて再生できる。閉鎖されたモデルの中で、Googleはスマートフォン操作を直接構築している ジェミニ3.5フラッシュ.
出典：Arxiv ```