IT之家 – Selon un rapport du 20 octobre, AI Arena a annoncé aujourd’hui que le modèle DeepSeek-V4.1-Flash-1017, récemment publié par DeepSeek, occupe la première place dans les deux listes : Agent Arena et Code Arena: WebDev, et se classe 11e sur le classement général.
Agent Arena classement des performances : DeepSeek-V4.1-Flash-20261017 (Max) occupe la première place parmi les modèles open source, à la 11e position du classement général. Selon les données du classement, ce modèle a obtenu un indice de amélioration nette globale de 5,13 % grâce à 7498 sessions d'utilisation réelles, et le coût moyen pour une seule tâche est d'environ 0,18 dollar (Note de IT Home : à l’taux de change actuel, cela équivaut à environ 1,2 yuan).
En ce qui concerne les indicateurs spécifiques, la tâche du modèle a été confirmée avec succès, ainsi que les retours positifs et négatifs des utilisateurs et la fiabilité de l'exécution des commandes Bash, tous classés en première position parmi les modèles open source. Le indicateur de confirmation du succès de la tâche est de 11,54 %, ce qui lui permet d'être 8e sur la liste globale ; l'indicateur des retours positifs et négatifs des utilisateurs est de 5,89 %, lui permettant d'être 11e sur la liste globale ; l'indicateur de fiabilité de l'exécution des commandes Bash est de 5,42 %, lui permettant d'être 12e sur la liste globale. L'indicateur de guidabilité est de 2,46 %, lui permettant d'être 13e sur la liste globale, et il est également en première position parmi les modèles open source.
La liste d’Arena indique également que le indicateur de fausses hallucinations des outils du modèle est de 0,48 %. Cet indicateur permet de mesurer les outils que le modèle ne possède pas, et un chiffre plus faible signifie moins de problèmes de ce type. Selon cet indicateur, le modèle occupe la 7e place sur la liste.
En ce qui concerne les coûts, le coût médian pour une seule tâche de DeepSeek-V4.1-Flash-20261017 (Max) est d’environ 0,18 à 0,19 dollars, avec des variations légères selon les pages de classement.
Arena a également inclus ce modèle dans la frontière Pareto en termes de performance et de coûts de tâche, ce qui signifie qu’il fait partie des modèles qui ne peuvent pas être dépassés par d’autres modèles sélectionnés à la fois en termes de performance et de coût, selon les indicateurs utilisés dans cette évaluation.
Lire également :