IT之家 10 月 28 日付の報道によると、グーグルは AI モデルのAndroidプログラミング支援能力を評価するための Android Bench ランキングを更新し、Gemini 4 Argon の成績は最新版の Claude および GPT シリーズのモデルに大幅に後れを取った。
Android Bench は今年初めに導入され、Android 開発者がグーグルのこのテスト基準を素早く参照し、Android コード開発支援に最適な AI モデルを選べるようにしたものだ。テストでは Android 開発特有のユースケースや Android 開発のベストプラクティスが評価される。グーグルはテストを継続的に実施し新モデルをランキングに加えるとともに、平均呼び出しコストもベンチマーク指標に組み込み、開発者が自身のニーズに合わせて選択できるようにしている。
10 月 26 日の今回の更新で、グーグルは各モデルが採用している推論レベルの新たな表記を追加するとともに、OpenAI の GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5、そしてグーグル自社の Gemini 4 Argon を含む複数モデルのテスト結果を補充した。
現在のランキング 1 位は Claude Sonnet 5.5 で、合格率 40%、完了率 80.9%。10 月初めにランキングに加わった Claude Opus 5.5 が 2 位となっている。
OpenAI の GPT-6.1 Sol は今回最も注目すべき追加モデルかもしれない。合格率は 29.3%、完了率は 82.8% だが、呼び出しコストはわずか 99.50 米ドル（IT之家注：現在のレートで約 664.8 人民元）だ。それに比べ、1 位の Claude の呼び出しコストは 1,574.90 米ドル（現在のレートで約 10,522 人民元）に達する。
一方、グーグル自社の Gemini 4 Argon はデビュー戦で精彩を欠き、5 位に留まった。他のフロンティアモデルに明らかに後れを取り、Claude Fable 5.1 にも及ばず、合格率はわずか 21.3%、完了率は 81.8%、平均呼び出しコストは 267.70 米ドル（現在のレートで約 1,789 人民元）だった。
グーグルが Gemini 4 Argon を公式発表した直後、このモデルは「一部のプログラミングタスクを処理するのが難しい」という内部情報が流れたが、グーグルは依然としてその能力を認めている。