Kimi K3.1 Pro est le nouveau modèle n°1 librement disponible pour la cyberdéfense agentique, derrière seulement le modèle à accès contrôlé GPT-6 Sol (Daybreak Blue) sur l'Artificial Analysis Cyber Index
Le Kimi K3.1 Pro de @Kimi_Moonshot obtient un score de 64% sur l'Artificial Analysis Cyber Index, avec 7 points d'avance sur le précédent modèle librement disponible le mieux classé, DeepSeek V4.1 Flash 1017 (57%), et 5 points de retard sur GPT-6 Sol (Daybreak Blue, max, 69%), qui n'est disponible que par le biais du programme d'accès contrôlé d'OpenAI. Une fois les poids de K3.1 Pro publiés, K3.1 Pro sera également le modèle à poids ouverts leader pour la cyberdéfense.
L'Artificial Analysis Cyber Index mesure la capacité sur des tâches de cyberdéfense agentique et se compose de trois benchmarks : CWE-Bench-AA, DeepsecBench-AA et CyberGym-E2E-AA. L'Index évalue principalement les modèles via leurs API accessibles publiquement, reflétant les capacités cyber disponibles pour les développeurs.
Les modèles propriétaires d'OpenAI, d'Anthropic et de Google peuvent avoir des capacités cyber plus fortes mais perdent des points à cause de refus de sécurité : GPT-6 Sol (Daybreak Blue, max), disponible par le biais du programme d'accès contrôlé d'OpenAI, obtient 32 points de plus que son homologue public. Kimi K3.1 Pro ne rencontre aucun refus de sécurité.
Résultats clés :
➤ Modèle n°1 librement disponible et n°2 au classement général : Kimi K3.1 Pro obtient un score de 64%, en hausse de 23 points par rapport à Kimi K3 (41%) et devant DeepSeek V4.1 Flash 1017 (57%). Seul le modèle à accès contrôlé GPT-6 Sol (Daybreak Blue, max, 69%) obtient un score supérieur
➤ Meilleur score CyberGym-E2E-AA de tous les modèles : K3.1 Pro obtient 95% sur CyberGym-E2E-AA, se plaçant devant GPT-6 Sol (Daybreak Blue, 93%) et le prochain modèle librement disponible, Mistral Large 4 (82%). Sur DeepsecBench-AA, K3.1 Pro obtient 37%, derrière GPT-6 Sol (Daybreak Blue, 48%) et GPT-6 Sol (46%). Sur CWE-Bench-AA, il obtient 61%, avec 4 points de retard sur GPT-6 Sol (Daybreak Blue, 65%), DeepSeek V4.1 Flash 1017 menant à 69%
➤ Augmentation de 15% du Cost per Task malgré des prix par token plus bas : K3.1 Pro a un Cost per Task de 2.81 $, supérieur à celui de GPT-6 Sol (Daybreak Blue, max, 1.77 $) et de DeepSeek V4.1 Flash 1017 (0.42 $). Kimi K3.1 Pro est 33% moins cher par token que Kimi K3 (2 $/10 $ contre 3 $/15 $ par 1M de tokens d'entrée/sortie), mais utilise ~2x plus de tokens d'entrée, ce qui entraîne un Cost per Task supérieur de 15% (2.81 $ contre 2.45 $)