DeepSeek V4.1 Flash 1017は、Artificial Analysis Cyber Indexにおいて新たにオープンに利用可能なモデルの第1位となりました。他の専有モデルはサイバー防御性能で上回る可能性がありますが、アクセスが制限されています
@deepseek_aiは最近、フラッグシップのオープンウェイトモデルDeepSeek V4.1 Flashの更新版であるDeepSeek V4.1 Flash 1017をリリースしました。Artificial Analysis Cyber Indexのスコア57%により、DeepSeek V4.1 Flash 1017はサイバー防御能力においてオープンに利用可能なモデルの第1位です。
Artificial Analysis Cyber Indexはエージェント型のサイバー防御タスクにおける能力を測定し、CWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの3つのベンチマークで構成されています。Cyber Indexは主に公開APIを通じてモデルを評価し、開発者が利用できるサイバー能力を反映しています。
多くのモデル、特にOpenAI、Anthropic、Googleの専有モデルは、より強力な防御サイバー能力を持つ可能性がありますが、安全性による拒否に遭遇し、総合スコアが低下します。OpenAIのtrusted-accessプログラムを通じて利用可能なGPT-6 Sol (Daybreak Blue, max)がインデックスを首位でリードしており、拒否の少なさにより公開版を32ポイント上回っています。DeepSeek V4.1 Flash 1017は安全性による拒否に一切遭っていません。
主な結果:
➤ DeepSeek V4.1 Flash 1017は、Artificial Analysis Cyber Indexにおいて公開されているモデルの中で最高スコアを獲得し、全体では第2位です。DeepSeek V4.1 Flash 1017 (max)は57%を記録し、以前の公開モデルの首位だったGrok 4.7 (xhigh)とMiMo-V2.6-Proを1ポイント上回りました。全体では第2位で、trusted-accessモデルのGPT-6 Sol (Daybreak Blue, max)が69%のスコアで12ポイントの差をつけて首位です
➤ DeepSeek V4.1 Flash 1017は前世代のDeepSeek V4.1 Flashから16ポイント向上しました。DeepSeek V4.1 Flash 1017 (max)の41%から57%への16ポイントの向上は、CyberGym-E2E-AAにおいて23%から76%へと53ポイントという大幅な向上によるものです。CWE-Bench-AAおよびDeepsecBench-AAでは、DeepSeek V4.1 Flash (max)の68%と31%に対して、69%と25%を記録しています
➤ タスクあたりのコストが$0.42であるDeepSeek V4.1 Flash 1017は、能力対コストのパレートフロンティア上に位置しています。DeepSeek V4.1 Flash 1017のタスクあたりのコストは$0.42で、タスクあたり$0.18のMiMo-V2.6-Pro (56%)の2倍以上ですが、タスクあたり$1.77のGPT-6 Sol (Daybreak Blue, max, 69%)より4分の1と安価です