IT之家 El 20 de octubre, AI Arena anunció hoy que el modelo DeepSeek-V4.1-Flash-1017, publicado por DeepSeek, se posicionó en el primer lugar en ambas listas: Agent Arena y Code Arena: WebDev, ocupando el puesto 11 en la lista general.
En el ranking de Agent Arena, DeepSeek-V4.1-Flash-20261017 (Max) ocupa el primer lugar entre los modelos abiertos y está en el puesto 11 del total. Según los datos del ranking, este modelo logró un indicador de mejora neta general del 5.13% basado en 7498 sesiones de uso real, y el costo mediano por tarea es de aproximadamente 0.18 dólares (Nota de IT Home: en el tipo de cambio actual, equivale a unos 1.2 yuanes).
En cuanto a los indicadores específicos, la tarea del modelo se confirmó con éxito, la retroalimentación positiva y negativa de los usuarios y la fiabilidad de la ejecución de comandos Bash ocupan el primer lugar entre los modelos abiertos. De ellos, el indicador de confirmación del éxito de la tarea es del 11.54%, lo que le permite ocupar el 8º lugar en la lista general; el indicador de retroalimentación positiva y negativa de los usuarios es del 5.89%, lo que le lleva al 11º lugar en la lista general; el indicador de fiabilidad de la ejecución de comandos Bash es del 5.42%, lo que le sitúa en el 12º lugar en la lista general. El indicador de orientabilidad es del 2.46%, lo que le lleva al 13º lugar en la lista general, también ocupando el primer lugar entre los modelos abiertos.
La lista de Arena también muestra que el indicador de ilusión de herramientas del modelo es del 0.48%. Este indicador se utiliza para medir situaciones en las que el modelo se inventa herramientas que no posee; cuanto menor sea el valor, menos problemas de este tipo hay. Según este indicador, el modelo ocupa el puesto 7 en la lista.
En cuanto a los costos, el costo medio para una sola tarea de DeepSeek-V4.1-Flash-20261017 (Max) es de aproximadamente 0.18 a 0.19 dólares, con ligeras diferencias según los datos mostrados en las diferentes páginas de las listas.
Arena también incluye este modelo en la vanguardia de Pareto en términos de rendimiento y costos de tarea, lo que significa que, según los indicadores utilizados en esta evaluación, es uno de los modelos que no puede ser superado por otros modelos seleccionados tanto en términos de rendimiento como de costos.
Leer también: