Schlüsselpunkte
- Das Open-Source-Projekt OpenMobile-2 trainiert AI-Smartphone-Agenten in einer Umgebung mit mehr als 110 simulierten Apps.
- Die Vielfalt der Apps ist wichtiger als das Volumen an Daten. Bei derselben Menge an Trainingsdaten erhöht die Zunahme der Anzahl der Apps den Erfolgsgrad bei unbekannten Anwendungen von 60,7 auf 67,5 Prozent.
- Auf echten Android-Geräten erreichte das größere Modell 59,6 Punkte bei SPA-Bench, das höchste Ergebnis unter den offenen Modellen.
Mehr Daten allein machen Smartphone-Agenten nicht besser. Bei derselben Menge an Daten ist es am wichtigsten, wie viele verschiedene Apps der Agent trainiert.
AI-Agenten, die selbst Apps betreiben, lernen hauptsächlich durch Übung, doch die benötigten Daten sind meist in großen Unternehmen gespeichert. Infolgedessen liegen offene Modelle hinterher. Dies haben Forscher von der Nanjing University, dem AI-Unternehmen SenseTime und mehreren anderen Universitäten berichtet.
OpenMobile-2 ist ihr Versuch, diesen Unterschied zu schließen. Sie veröffentlichen zwei Agent-Modelle, die auf Qwen3.5 mit 9 Milliarden und Qwen3.6 mit 27 Milliarden Parametern basieren, sowie das vollständige Trainingsumfeld, die Daten und die Anleitungen, um alles wiederzugeben. Die Autoren sagen, ihr Modell erreiche in der Rangliste der aktuellen Smartphone-Agenten einen hohen Platz.
Warum die Wiederherstellung von 110 Apps besser ist als das Trainieren auf echten Apps
Die Ausbildung an echten Apps ist schwierig, weil Anmeldevorgänge, tatsächliche Kaufaktionen und die fehlende Möglichkeit, den Zustand zu resetten, den Prozess kostspielig und schwer wiederholbar machen. Daher haben die Forscher 35 Apps neu aufgebaut, die hauptsächlich in China verbreitet sind, darunter Taobao, JD, DiDi und Meituan, sowie globale Dienste wie Slack und Google Drive. Zusammen mit bestehenden Simulationen und Apps, die in einem Android-Emulator laufen, umfasst das Übungsfeld mehr als 110 Anwendungen.
Menschliche Überprüfer verglichen die neu erstellten Apps mit den ursprünglichen und verbesserten sie weiter, bis die Arbeitsabläufe und die Benutzeroberflächen übereinstimmten. Bestellungen, Budgets und Reisepläne bleiben über alle Sitzungen erhalten, und Daten können zwischen den Apps über den Clipboard übertragen werden. Jede Simulation setzt sich automatisch in den Ausgangszustand zurück, während der Agent nur Screenshots sieht und keinen Zugang zu den internen Daten der Apps hat – so wie eine Person sie tatsächlich verwenden würde.
Aus dieser Einrichtung erstellte das Team etwa 11.600 Beispielworkflows und mehr als 2.000 Übungstasken mit automatisierten Erfolgsprüfungen. Google’s Gemini 3.1 Pro diente als Lehrmodell, das die Beispiele erzeugte, was bedeutet, dass OpenMobile-2 effektiv aus einem geschlossenen System lernt.
Die Leistung des echten Telefons steigt am meisten
Beide Modelle zeigen klare Verbesserungen bei etablierten Benchmarks. Auf AndroidWorld steigt das größere Modell von 67,1 auf 79,9 Punkte, während das kleinere Modell von 54,3 auf 74 Punkte steigt. Das Vorgängermodell OpenMobile-1 erreichte bei demselben Test 64,7 Punkte. Auf dem schwierigeren MobileWorld-Benchmark, der längere Aufgaben über mehrere Apps umfasst, verbessert das größere Modell sich von 35,9 auf 50,4 Punkte.
Der größte Sprung ist auf echten Android-Geräten zu erkennen, wo das größere Modell von 31,9 auf 59,6 Punkte im SPA-Bench steigt. Die Forscher sagen, dass dies der beste Wert unter den offenen Modellen ist.
Die Vielfalt der Trainingsumgebung ist hier wichtiger als der reine Datenvolumen. Die Forscher hielten die Menge an Daten konstant und erhöhten nur die Anzahl der Apps, mit denen der Agent trainiert wurde, wodurch die Erfolgsrate bei unbekannten Apps von 60,7 auf 67,5 Prozent stieg. Bei demselben Datenaspekt ist die Vielfalt an Apps wichtiger als zusätzliche Beispiele aus wenigen Apps.
Reinforcement learning brachte nur begrenzte Vorteile, hauptsächlich in Umgebungen, die der Trainingsumgebung ähnelten. Auf AndroidWorld erzielte das größere Modell anschließend etwas schlechtere Ergebnisse, mit 79,9 statt 80,8 Punkten.
Direkte Befehle lassen die Agenten den Menüwirrwarr übergehen
Ein experimenteller Teil der Studie geht über das Tippen und Schwenken hinaus. Mehr als 50 simulierte Apps bieten direkte Befehle wie „in den Warenkorb legen“, sodass der Agent die Navigation durch Menüs vermeiden kann und frei zwischen beiden Ansätzen wechseln kann, je nachdem, was verfügbar ist.
Allerdings hilft das allein nicht viel, da die Modelle ohne gezielte Training oft die Kurzschlüsse ignorieren. Sobald sie mit ihnen trainiert wurden, nutzen die Agenten sie gut und lösen bis zu 10,3 Prozentpunkte mehr Aufgaben, während sie etwa fünf weniger Schritte benötigen. Die Forscher sagen, dass diese Fähigkeit auch auf Tools übertragen wird, mit denen die Modelle während des Trainings nie in Berührung kamen.
In der späteren Phase des Reinforcement-Learning-Prozesses erhielt das Tool-Verwendung einen Bonusfaktor, wenn eine Ausführung mindestens einen direkten Befehl enthielt, obwohl die Belohnung immer noch von der Tatsächlichkeit der Aufgabe abhängte. Strafen traten ein, wenn der Agent einen Erfolg meldete, der nicht echt war. Diese Interfaces existieren vorerst nur in den simulierten Apps, und die Forscher bezeichnen den Ansatz selbst als experimentell.
Einige Ergebnisse stammen von einem benutzerdefinierten Benchmark, den das Team mit 215 Aufgaben erstellt hat – fast die Hälfte dieser Aufgaben umfasst mehrere Apps. Die Erfüllung der Aufgaben wird nicht durch ein Sprachmodell bewertet, sondern durch ein Programm, das die gespeicherten Daten der App vor und nach jeder Ausführung vergleicht. Die Autoren überprüften auch die Überschneidungen zwischen Trainings- und Testaufgaben und fanden nur geringfügige Ähnlichkeiten.
Microsoft Research hatte bereits die Klassifizierung vorgenommen API-Agenten Je zuverlässiger und flexibler die GUI-Agenten sind, desto besser ist das in einer Studie von 2025. Dabei werden mobile Apps als typisches Beispiel genannt, bei dem keine externe Schnittstellen existieren. Oppo geht einen anderen Weg mit seinem offenen Agenten. X-OmniClaw, das auf echten Geräten läuft und bereits gezeigte Pfade in Apps wie Taobao oder Meituan durch Deeplinks wiederholt, anstatt durch Menüs zu klicken. Unter den geschlossenen Modellen hat Google die Steuerung des Smartphones direkt integriert Gemini 3.5 Flash.
Quelle: Arxiv