IT之家 10月20日の報道によると、AI競技場Arenaは本日、DeepSeek-V4.1-Flash-1017を発表し、Agent ArenaおよびCode Arena: WebDevオープンソースモデルランキングでトップに立ち、総合順位11位となったと発表した。
エージェントアリーナのランキング表によると、DeepSeek-V4.1-Flash-20261017（Max）はオープンソースモデルの中で第1位、全体的なランキングでは第11位に位置しています。ランキングデータによると、このモデルは7498回の実際の使用会話に基づき、5.13%の総合的な純改善指標を達成しており、単一タスクのコストの中央値は約0.18米ドルです（IT之家注：現在の為替レートで約1.2人民元）。
具体的な指標に関しては、このモデルのタスクの成功確認、ユーザーの正負フィードバック、Bashコマンド実行の信頼性が、オープンソースモデルの中で第1位になりました。その中で、タスクの成功確認指標は11.54％で総ランキング第8位、ユーザーの正負フィードバック指標は5.89％で総ランキング第11位、Bashコマンド実行の信頼性指標は5.42％で総ランキング第12位です。導入可能性指標は2.46％で総ランキング第13位となり、これもオープンソースモデルの中で第1位です。
アリーナのランキングでは、そのモデルのツール幻想指標が0.48％であることが示されています。この指標は、モデルが持っていないとされるツールを測定するために使用され、数値が低いほどそのような問題が少ないことを意味します。この指標によると、そのモデルはランキングで7位に位置しています。
コストに関しては、DeepSeek-V4.1-Flash-20261017（Max）の単一タスクコストの中央値は約0.18から0.19ドルであり、さまざまなランキングページに表示されるデータには若干の差異がある。
アリーナは、このモデルを性能とタスクコストのパレート最前線にも含めている。つまり、この評価で用いられた指標において、性能とコストの両方で他の選ばれたモデルに追い越されることはないモデルの一つであるということだ。
関連読書：