Artificial Analysis · X来源发布时间

Kimi K3.1 Pro 是开放式可用模型中智能体网络防御领域的新晋第1名,仅次于可信访问模型 GPT-6 Sol (Daybreak Blue)……

Kimi K3.1 Pro 是开放式可用模型中智能体网络防御领域的新晋第1名,在 Artificial Analysis Cyber Index 上仅次于可信访问模型 GPT-6 Sol (Daybreak Blue)

Kimi K3.1 Pro 是开放式可用模型中智能体网络防御领域的新晋第1名,在 Artificial Analysis Cyber Index 上仅次于可信访问模型 GPT-6 Sol (Daybreak Blue)

@Kimi_Moonshot 的 Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%,领先此前领先的开放式可用模型 DeepSeek V4.1 Flash 1017(57%)7 分,落后 GPT-6 Sol (Daybreak Blue, max, 69%) 5 分,后者仅通过 OpenAI 的可信访问计划提供。一旦 K3.1 Pro 的权重发布,K3.1 Pro 也将成为网络防御领域领先的开源权重模型。

Artificial Analysis Cyber Index 衡量智能体网络防御任务的能力,由三个基准组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该指数主要通过模型公开可访问的 API 进行评估,反映开发者可获得的网络能力。

OpenAI、Anthropic 和 Google 的专有模型可能拥有更强的网络能力,但因安全拒绝而失分:通过 OpenAI 可信访问计划提供的 GPT-6 Sol (Daybreak Blue, max) 比其公开版本高出 32 分。Kimi K3.1 Pro 没有遇到任何安全拒绝。

主要结果:

➤ 开放式可用模型第1名、总体第2名:Kimi K3.1 Pro 得分 64%,比 Kimi K3(41%)提高 23 分,领先 DeepSeek V4.1 Flash 1017(57%)。只有可信访问的 GPT-6 Sol (Daybreak Blue, max, 69%) 得分更高

➤ 所有模型中最高的 CyberGym-E2E-AA 得分:K3.1 Pro 在 CyberGym-E2E-AA 上得分 95%,领先 GPT-6 Sol (Daybreak Blue, 93%) 和下一个开放式可用模型 Mistral Large 4(82%)。在 DeepsecBench-AA 上,K3.1 Pro 得分 37%,落后于 GPT-6 Sol (Daybreak Blue, 48%) 和 GPT-6 Sol(46%)。在 CWE-Bench-AA 上它得分 61%,落后 GPT-6 Sol (Daybreak Blue, 65%) 4 分,DeepSeek V4.1 Flash 1017 以 69% 领先

➤ 尽管代币价格更低,每任务成本仍增加 15%:K3.1 Pro 的每任务成本为 2.81美元,高于 GPT-6 Sol (Daybreak Blue, max, 1.77美元) 和 DeepSeek V4.1 Flash 1017(0.42美元)。Kimi K3.1 Pro 每代币价格比 Kimi K3 便宜 33%(每 1M 输入/输出代币 2美元/10美元 对 3美元/15美元),但输入代币使用量约多 2 倍,导致每任务成本高出 15%(2.81美元 对 2.45美元)

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准