IT之家 11월 11일 소식에 따르면, 구글 공식 계정 Android Developers(@AndroidDev)은 어제(11월 10일) X 플랫폼에서 트윗을 발표하여 OpenAI GPT-6.1 Terra, Kimi K3.1 Pro 및 DeepSeek V4.1 Flash 세 가지 모델의 Android Bench 벤치마크 점수를 처음으로 공개했습니다.
IT之家 주: Android Bench는 Google이 Android 개발 환경을 대상으로 출시한 AI 프로그래밍 기준입니다. 이 기준은 모델이 애플리케이션 생성, 기능 개발, 코드 마이그레이션 및 애플리케이션 변환과 같은 실제 엔지니어링 작업을 수행하는 능력을 중점적으로 평가합니다.
이번에 새로 추가된 Kimi K3.1 Pro는 kimi-code 스마트체를 사용하여 30개의 장거리 작업 중 24.0%의 통과율을 달성했으며, 평균 완료율은 82.3%, 평균 소요 시간은 27.4시간이었습니다. 단일 기준 운영 비용은 317.4달러로, 현재 환율로는 약 2,123위안에 해당합니다.
가로 비교를 보면, Kimi K3.1 Pro의 성능은 GPT 6 Astra, Claude Fable 5.1, Gemini 4 Argon보다 높지만, GPT 6.1 Terra의 28.7%보다 낮습니다.
DeepSeek V4.1 Flash 1017은 opencode 스마트체로 평가에 참여하여 17.3%의 통과율, 71.2%의 평균 완성도, 12.0시간의 평균 소요 시간, 그리고 9.9달러(현 환율 기준 약 66.2위안)의 단일 기준 운영 비용을 달성했습니다. Kimi K3.1 Pro보다 통과율은 낮지만 속도와 비용 측면에서 우위가 뚜렷하여 예산과 응답 시간에 민감한 개발 팀에게 적합합니다.