DeepSeek V4.1 Flash 1017는 Artificial Analysis Cyber Index에서 새로운 공개 이용 가능 1위 모델입니다. 다른 독점 모델들은 더 나은 사이버 방어 성능을 제공할 수 있지만 접근이 제한됩니다
@deepseek_ai가 최근 자사의 플래그십 오픈 웨이트 모델인 DeepSeek V4.1 Flash의 업데이트 버전인 DeepSeek V4.1 Flash 1017를 출시했습니다. Artificial Analysis Cyber Index 점수 57%를 기록하며, DeepSeek V4.1 Flash 1017는 사이버 방어 역량 면에서 공개 이용 가능 1위 모델입니다.
Artificial Analysis Cyber Index는 에이전트형 사이버 방어 작업에서의 역량을 측정하며, CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA의 세 가지 벤치마크로 구성됩니다. Cyber Index는 주로 공개적으로 접근 가능한 API를 통해 모델을 평가하여 개발자가 이용할 수 있는 사이버 역량을 반영합니다.
특히 OpenAI, Anthropic, Google의 독점 모델 등 많은 모델들이 더 강력한 방어적 사이버 역량을 보유할 수 있지만, 안전 관련 거부에 부딪혀 전체 점수가 낮아질 수 있습니다. OpenAI의 신뢰 접근 프로그램을 통해 이용할 수 있는 GPT-6 Sol (Daybreak Blue, max)는 Index를 선도하며, 거부가 적어 공개 대응 모델보다 32점 높은 점수를 기록합니다. DeepSeek V4.1 Flash 1017는 안전 관련 거부에 전혀 부딪히지 않습니다.
주요 결과:
➤ DeepSeek V4.1 Flash 1017는 Artificial Analysis Cyber Index에서 공개 이용 가능 모델 중 최고 점수를 기록했으며 전체 2위에 위치합니다. DeepSeek V4.1 Flash 1017 (max)는 57%를 기록하며 이전까지 선도하던 공개 이용 가능 모델인 Grok 4.7 (xhigh)와 MiMo-V2.6-Pro를 1점 차로 앞섭니다. 전체적으로는 2위로, 신뢰 접근 모델인 GPT-6 Sol (Daybreak Blue, max)가 69% 점수로 12점 차로 앞서 있습니다.
➤ DeepSeek V4.1 Flash 1017는 이전 버전인 DeepSeek V4.1 Flash 대비 16점 향상되었습니다. DeepSeek V4.1 Flash 1017 (max)의 41%에서 57%로의 16점 향상은 CyberGym-E2E-AA에서 23%에서 76%로의 53점이라는 상당한 향상에 기인합니다. CWE-Bench-AA와 DeepsecBench-AA에서는 각각 69%와 25%를 기록한 반면, DeepSeek V4.1 Flash (max)는 68%와 31%를 기록했습니다.
➤ 작업당 비용 $0.42로, DeepSeek V4.1 Flash 1017는 역량 대비 비용 파레토 경계선에 위치합니다. DeepSeek V4.1 Flash 1017는 작업당 $0.42로, 작업당 $0.18인 MiMo-V2.6-Pro (56%)보다 2배 이상 비싸지만, 작업당 $1.77인 GPT-6 Sol (Daybreak Blue, max, 69%)보다는 4배 저렴합니다.