Grande nouvelle : DeepSeek-V4.1-Flash-20261017 (Max) de @deepseek_ai est maintenant le modèle ouvert n°1 dans l’Agent Arena ! Il se place actuellement à la 11e position globale, avec une amélioration nette de +5.1% après +7.5K sessions en environnement réel.
Cette performance transforme également la frontière Pareto d’Agent Arena ! Tous les modèles supérieurs à V4.1-Flash 20261017 en termes de performance sont propriétaires et coûtent beaucoup plus cher. Avec un coût médian de 0,20 $ par tâche, cela représente environ 37 % de l’amélioration de GPT-6.1 Sol pour près de 27 % du coût total.
Par signal, cette mise à jour atteint :
- #8 dans Confirmed Success avec +11,5 % (#1 ouvert)
- #11 dans Praise vs. Complaint avec +5,9 % (#1 ouvert)
- #12 dans Bash Reliability avec +5,4 % (#1 ouvert)
- #13 dans Steerability avec +2,5 % (#1 ouvert)
- Aucun problème avec Tool Hallucination
Trouvez plus d'informations sur les signaux via le lien dans la discussion sur Agent Arena.
Félicitations à l’équipe de @deepseek_ai pour cette sortie !
