주요 내용
- 오픈소스 OpenMobile-2 프로젝트는 110개가 넘는 시뮬레이션된 앱이 있는 환경에서 AI 스마트폰 에이전트를 훈련시킵니다.
- 앱의 다양성은 데이터량보다 더 중요합니다. 동일한 훈련 데이터량에서 앱의 수를 늘리면, 아직 테스트되지 않은 앱의 성공률이 60.7%에서 67.5%로 증가합니다.
- 실제 안드로이드 기기에서 더 큰 모델은 SPA-Bench에서 59.6점을 얻었으며, 이는 개방형 모델 중 최고의 결과입니다.
더 많은 데이터만으로는 스마트폰 에이전트를 더 나은 것으로 만들 수 없습니다. 동일한 양의 데이터가 있다면, 에이전트가 어떤 다양한 앱을 훈련시키는지가 가장 중요합니다.
스스로 앱을 운영하는 AI 에이전트는 주로 연습을 통해 학습하지만, 그들이 필요로 하는 데이터는 대부분 대기업에 보관되어 있습니다. 그 결과 개방형 모델은 뒤처지게 되는데, 이는 난징대학교, AI 회사인 센세타임, 그리고 여러 다른 대학의 연구원들이 작성한 것입니다.
OpenMobile-2는 그들이 그 격차를 좁히려는 시도입니다. 그들은 Qwen3.5에 기반한 90억 개의 파라미터를 가진 두 가지 에이전트 모델과 Qwen3.6에 기반한 270억 개의 파라미터를 가진 모델을 출시했습니다. 또한 전체 훈련 환경, 데이터, 그리고 모든 것을 재현하는 지침도 제공됩니다. 저자들은 그들의 모델이 현재 스마트폰 에이전트 중 상위권에 속한다고 말합니다.
왜 실제 앱을 훈련하는 것보다 110개의 앱을 재구축하는 것이 더 낫는지
실제 앱을 통한 훈련은 고통스럽습니다. 로그인, 실제 구매, 그리고 상태를 재설정할 수 없는 방식 때문에 과정이 비용이 많이 들고 반복하기 어렵기 때문입니다. 그래서 연구자들은 중국에서 주로 사용되는 탑바오, JD, 디디, 메이투안 등 35개의 앱과 슬랙, 구글 드라이브와 같은 전 세계적으로 사용되는 서비스를 재구성했습니다. 기존의 시뮬레이션과 안드로이드 에뮬레이터에서 실행되는 앱들과 함께, 이 훈련 환경은 110개 이상의 앱을 포함합니다.
인간 리뷰어들은 재구성된 앱들을 원본 앱들과 비교하여 워크플로우와 인터페이스가 일치할 때까지 계속해서 조정했습니다. 주문, 예산, 여행 계획은 세션 간에도 유지되며, 데이터는 클립보드를 통해 앱들 사이에 전달될 수 있습니다. 모든 시뮬레이션은 자동으로 시작 상태로 재설정되며, 에이전트는 스크린샷만을 볼 수 있고 내부 앱 데이터에 접근할 수 없으며, 이는 사람이 실제로 사용하는 방식을 모방한 것입니다.
이 설정 하에서 팀은 약 11,600개의 예시 워크플로우와 2,000개 이상의 연습 작업을 자동화된 성공 검사와 함께 생성했습니다. Google의 Gemini 3.1 Pro는 예시를 생성하는 교사 모델로 작용했으며, 이는 OpenMobile-2가 폐쇄된 시스템으로부터 학습하고 있다는 것을 의미합니다.
실제 전화 성능이 가장 많이 향상됨
두 모델 모두 기존 벤치마크에서 명확한 향상을 보였습니다. AndroidWorld에서 더 큰 모델은 67.1점에서 79.9점으로 증가했으며, 더 작은 모델은 54.3점에서 74점으로 증가했습니다. 이전 모델인 OpenMobile-1은 같은 테스트에서 64.7점을 기록했습니다. 여러 앱을 포함하는 더 긴 작업을 다루는 더 어려운 MobileWorld 벤치마크에서는 더 큰 모델이 35.9점에서 50.4점으로 향상되었습니다.
가장 큰 점수 상승은 실제 안드로이드 기기에서 나타나며, 더 큰 모델은 SPA-Bench에서 31.9점에서 59.6점으로 상승합니다. 연구자들은 이 점수가 개방형 모델 중 최고점이라고 말합니다.
여기서는 데이터의 양보다 훈련 환경의 다양성이 더 중요합니다. 연구자들은 데이터의 양을 일정하게 유지한 채로 에이전트가 연습하는 앱의 수만 늘였습니다. 그 결과, 전혀 경험하지 못한 앱에서 성공률이 60.7%에서 67.5%로 상승했습니다. 동일한 데이터 예산 하에서 앱의 다양성이 몇 가지 앱에 대한 추가 예제보다 더 효과적입니다.
강화 학습은 주로 훈련 환경과 유사한 환경에서만 제한된 성과를 보였습니다. AndroidWorld에서는 더 큰 모델이 실제로 약간 더 나쁜 점수를 기록하여 80.8점 대신 79.9점에 도달했습니다.
직접적인 명령은 에이전트가 메뉴의 복잡한 구조을 건너뛸 수 있게 해줍니다
연구의 실험적인 부분은 탭하기와 스와이프하기를 넘어선다. 50개가 넘는 시뮬레이션된 앱들은 "장바구니에 추가"와 같은 직접적인 명령을 제공하여, 에이전트가 메뉴를 조회하는 과정을 건너뛸 수 있게 하고, 에이전트는 이용 가능한 정보에 따라 두 가지 방식을 자유롭게 바꿔 사용한다.
하지만 이로는 별로 도움이 되지 않습니다. 왜냐하면 모델들은 목적이 있는 훈련 없이는 단축법을 무시하는 경향이 있기 때문입니다. 단축법에 대한 훈련을 받으면 에이전트들은 그 단축법을 잘 활용하여 작업을 해결하는 데 10.3퍼센타일 포인트 더 많은 성과를 내며, 단계 수는 약 5개 줄어듭니다. 연구자들에 따르면 이 능력은 모델이 훈련 중에 만난 적 없는 도구에도 적용됩니다.
후기 강화 학습 단계에서, 도구 사용은 최소 한 개의 직접적인 명령이 포함된 실행에 대해 보너스 요인을 받았지만, 보상은 여전히 작업이 실제로 완료되었는지에 따라 결정되었다. 실제로 성공한 것처럼 보고되었지만 사실이 아닌 경우에는 페널티가 부과되었다. 이러한 인터페이스는 현재까지는 시뮬레이션 앱에서만 존재하며, 연구자들은 이 접근법을 실험적인 것으로 간주한다.
일부 결과는 팀이 215개의 작업을 사용하여 만든 맞춤형 벤치마크에서 나왔으며, 그 중 거의 절반은 여러 앱에 걸쳐 있습니다. 작업 완료는 언어 모델로 판단되지 않고, 각 실행 전후에 앱이 저장한 데이터를 비교하는 프로그램으로 판단됩니다. 저자들은 훈련 작업과 테스트 작업 간의 중복 여부도 확인했으며, 약간의 유사점만 발견했습니다.
마이크로소프트 리서치는 이미 분류를 완료했습니다. API 에이전트 2025년 연구에 따르면 더 신뢰할 수 있고 유연한 GUI 에이전트가 더 많은데, 외부 인터페이스가 존재하지 않는 경우의 전형적인 사례로 모바일 앱이 있다. 오포는 개방형 에이전트를 통해 다른 방식으로 접근하고 있다. X-OmniClaw실제 기기에서 실행되며, 탑오바오나 메이투안과 같은 앱에서 이전에 보여준 경로를 다시 메뉴를 클릭하지 않고 디플링크를 통해 재생할 수 있다. 폐쇄된 모델 중에서는 구글이 스마트폰 제어 기능을 직접 구현했다. Gemini 3.5 Flash.
출처: Arxiv