DeepSeek V4.1 Flash 1017 est le nouveau modèle n°1 librement disponible dans l'Artificial Analysis Cyber Index. D'autres modèles propriétaires peuvent offrir de meilleures performances en cyberdéfense mais sont à accès restreint
@deepseek_ai a récemment publié DeepSeek V4.1 Flash 1017, une mise à jour de leur modèle phare à poids ouverts DeepSeek V4.1 Flash. Avec un score de 57% à l'Artificial Analysis Cyber Index, DeepSeek V4.1 Flash 1017 est le modèle n°1 librement disponible en matière de capacités de cyberdéfense.
L'Artificial Analysis Cyber Index mesure la capacité sur des tâches de cyberdéfense agentiques et se compose de trois benchmarks : CWE-Bench-AA, DeepsecBench-AA et CyberGym-E2E-AA. Le Cyber Index évalue principalement les modèles via leurs API accessibles publiquement, reflétant les capacités cyber disponibles pour les développeurs.
De nombreux modèles, en particulier les modèles propriétaires d'OpenAI, d'Anthropic et de Google, peuvent avoir des capacités de cyberdéfense plus fortes mais rencontrent des refus de sécurité qui réduisent leurs scores globaux. GPT-6 Sol (Daybreak Blue, max), disponible via le programme d'accès de confiance d'OpenAI, domine l'Index, avec 32 points d'avance sur son homologue public grâce à moins de refus. DeepSeek V4.1 Flash 1017 ne rencontre aucun refus de sécurité.
Résultats clés :
➤ DeepSeek V4.1 Flash 1017 obtient le score le plus élevé parmi les modèles publiquement disponibles sur l'Artificial Analysis Cyber Index et se classe n°2 au niveau global. DeepSeek V4.1 Flash 1017 (max) obtient 57%, devançant de 1 point les précédents modèles publiquement disponibles en tête, Grok 4.7 (xhigh) et MiMo-V2.6-Pro. Il se place n°2 au niveau global, le modèle à accès de confiance GPT-6 Sol (Daybreak Blue, max) le devançant de 12 points avec un score de 69%
➤ DeepSeek V4.1 Flash 1017 améliore son prédécesseur DeepSeek V4.1 Flash de 16 points. L'amélioration de 16 points de DeepSeek V4.1 Flash 1017 (max), passant de 41% à 57%, est portée par une amélioration substantielle de 53 points sur CyberGym-E2E-AA, passant de 23% à 76%. Sur CWE-Bench-AA et DeepsecBench-AA, il obtient 69% et 25%, contre 68% et 31% pour DeepSeek V4.1 Flash (max)
➤ Avec un coût par tâche de $0.42, DeepSeek V4.1 Flash 1017 se situe sur la frontière de Pareto capacité/coût. DeepSeek V4.1 Flash 1017 coûte $0.42 par tâche, soit plus de 2x MiMo-V2.6-Pro (56%) à $0.18 par tâche mais 4x moins cher que GPT-6 Sol (Daybreak Blue, max, 69%) à $1.77 par tâche