Kimi K3.1 Proは、エージェント型サイバー防御において公開利用可能なモデルとして新たに第1位となり、Artificial Analysis Cyber IndexではトラステッドアクセスモデルのGPT-6 Sol (Daybreak Blue)にのみ後れを取っています
@Kimi_MoonshotのKimi K3.1 Proは、Artificial Analysis Cyber Indexで64%を獲得し、これまで首位だった公開利用可能モデルDeepSeek V4.1 Flash 1017 (57%)を7ポイント上回り、OpenAIのトラステッドアクセスプログラムを通じてのみ利用可能なGPT-6 Sol (Daybreak Blue、max、69%)には5ポイント及ばない結果となりました。K3.1 Proのウェイトが公開されれば、K3.1 Proはサイバー防御においても主要なオープンウェイトモデルとなります。
Artificial Analysis Cyber Indexは、エージェント型サイバー防御タスクにおける能力を測定するもので、CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの3つのベンチマークで構成されています。このインデックスは主に公開アクセス可能なAPIを通じてモデルを評価し、開発者が利用できるサイバー能力を反映しています。
OpenAI、Anthropic、Googleのプロプライエタリモデルはより強力なサイバー能力を持つ可能性がありますが、安全上の拒否によってポイントを失います。OpenAIのトラステッドアクセスプログラムを通じて利用可能なGPT-6 Sol (Daybreak Blue、max)は、公開版のモデルより32ポイント高いスコアを記録しています。Kimi K3.1 Proは安全上の拒否に一切遭っていません。
主な結果:
➤ 公開利用可能モデル第1位、全体で第2位: Kimi K3.1 Proは64%を獲得し、Kimi K3 (41%)から23ポイント向上し、DeepSeek V4.1 Flash 1017 (57%)を上回りました。これを上回るのは、トラステッドアクセスのGPT-6 Sol (Daybreak Blue、max、69%)のみです
➤ 全モデル中最高のCyberGym-E2E-AAスコア: K3.1 ProはCyberGym-E2E-AAで95%を獲得し、GPT-6 Sol (Daybreak Blue、93%)および次点の公開利用可能モデルMistral Large 4 (82%)を上回りました。DeepsecBench-AAでは、K3.1 Proは37%で、GPT-6 Sol (Daybreak Blue、48%)およびGPT-6 Sol (46%)を下回っています。CWE-Bench-AAでは61%を獲得し、GPT-6 Sol (Daybreak Blue、65%)に4ポイント及ばず、DeepSeek V4.1 Flash 1017が69%で首位です
➤ トークン価格の低下にもかかわらずタスクあたりコストが15%増加: K3.1 Proのタスクあたりコストは$2.81で、GPT-6 Sol (Daybreak Blue、max、$1.77)やDeepSeek V4.1 Flash 1017 ($0.42)を上回っています。Kimi K3.1 ProはトークンあたりKimi K3より33%安い(1M入力/出力トークンあたり$3/$15に対し$2/$10)ものの、入力トークンを約2倍使用するため、タスクあたりコストは15%高くなっています($2.81対$2.45)