DeepSeek V4.1 Flash 1017 是 Artificial Analysis Cyber Index 中新的排名第 1 的公开可用模型。其他专有模型可能提供更好的网络防御性能,但属于受限访问
@deepseek_ai 最近发布了 DeepSeek V4.1 Flash 1017,这是对其旗舰开放权重模型 DeepSeek V4.1 Flash 的一次更新。凭借 57% 的 Artificial Analysis Cyber Index 得分,DeepSeek V4.1 Flash 1017 是网络防御能力方面排名第 1 的公开可用模型。
Artificial Analysis Cyber Index 衡量模型在代理式网络防御任务上的能力,由三个基准测试组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。Cyber Index 主要通过模型公开可访问的 API 进行评估,反映开发者可获得的网络能力。
许多模型,尤其是来自 OpenAI、Anthropic 和 Google 的专有模型,可能拥有更强的防御性网络能力,但会遇到安全拒答,从而降低其整体得分。通过 OpenAI 可信访问计划提供的 GPT-6 Sol (Daybreak Blue, max) 领跑该指数,由于拒答更少,其得分比其公开版本高出 32 分。DeepSeek V4.1 Flash 1017 没有遇到任何安全拒答。
主要结果:
➤ 在 Artificial Analysis Cyber Index 上,DeepSeek V4.1 Flash 1017 在公开可用模型中得分最高,总体排名第 2。DeepSeek V4.1 Flash 1017 (max) 得分为 57%,领先此前领先的公开可用模型 Grok 4.7 (xhigh) 和 MiMo-V2.6-Pro 1 分。它总体排名第 2,可信访问模型 GPT-6 Sol (Daybreak Blue, max) 以 69% 的得分领先 12 分
➤ DeepSeek V4.1 Flash 1017 比其前代 DeepSeek V4.1 Flash 提高了 16 分。DeepSeek V4.1 Flash 1017 (max) 从 41% 提升到 57% 的 16 分提升,主要源于其在 CyberGym-E2E-AA 上从 23% 到 76% 的大幅 53 分提升。在 CWE-Bench-AA 和 DeepsecBench-AA 上,它分别得分为 69% 和 25%,而 DeepSeek V4.1 Flash (max) 分别为 68% 和 31%
➤ DeepSeek V4.1 Flash 1017 的每任务成本为 0.42 美元,处于能力与成本帕累托前沿。DeepSeek V4.1 Flash 1017 每个任务成本为 0.42 美元,是每任务 0.18 美元的 MiMo-V2.6-Pro (56%) 的 2 倍多,但比每任务 1.77 美元的 GPT-6 Sol (Daybreak Blue, max, 69%) 便宜 4 倍