IT之家 Noticia del 23 de octubre: el Instituto de Inteligencia Artificial de la Academia China de Investigación de Tecnologías de la Información y las Comunicaciones (abreviado como "中国信通院"), el Laboratorio Clave del Ministerio de Industria y Tecnología de la Información para la Evaluación de Grandes Modelos de Inteligencia Artificial y de Software y Hardware, y la Alianza China para el Desarrollo de la Industria de la Inteligencia Artificial publicaron hoy (23 de octubre) de forma conjunta el "Informe de Monitoreo del Rendimiento de los Servicios de Tokens de Grandes Modelos (2026)".
El informe afirma que, con la rápida iteración de la tecnología de los grandes modelos, los servicios de tokens (Token) se han convertido en el punto clave para pasar de la tecnología a la aplicación, y la cantidad diaria de llamadas de tokens en nuestro país continúa aumentando:en junio de 2026 (6/2026), el consumo diario de tokens en el país fue de aproximadamente 500 billones, casi 4 veces el de diciembre de 2025 (12/2025)。
Cada vez más proveedores de plataformas MaaS (Model as a Service, modelo como servicio) en la industria ofrecen servicios de tokens de grandes modelos mediante API de nube pública. Sin embargo, los usuarios carecen de una base de juicio intuitiva sobre el rendimiento de los servicios de tokens,y enfrentan diversos problemas como dificultades de selección。
Basado en los datos de monitoreo de enero a agosto de 2026 (1-8/2026), el informe realiza un análisis en torno a dimensiones como la tasa de éxito de las llamadas al servicio de tokens de cada plataforma, la velocidad de rendimiento, la latencia de la primera palabra, la estabilidad, el precio y la ventana de contexto, comparando las plataformas oficiales de los grandes modelos originales y las diferencias de rendimiento de los cuatro modelos de código abierto DeepSeek, Qwen, GLM y Kimi en plataformas de terceros, analizando además los factores clave que influyen en el rendimiento de los servicios de tokens, resumiendo las observaciones centrales de la industria, definiendo el plan de trabajo para el siguiente paso, con el objetivo de proporcionar una referencia para la selección de los usuarios y una guía de dirección para que la industria optimice su capacidad de servicio.
1. El rendimiento por segundo de los servicios de tokens nacionales se duplicó respecto a 2025, pero sigue siendo inferior al del extranjero
El informe señala que en agosto el TPS promedio (tokens de salida por segundo) de los modelos nacionales alcanzó 78.23 (unidades / segundo),el doble de la media de 2025 de 38.25 (unidades / segundo). Pero en agosto (8) el TPS medio de los modelos extranjeros típicos fue de 112.82 (unidades / segundo), lo que también representa un aumento de más del doble en comparación con los 51.35 (unidades / segundo) de diciembre de 2025 (12/2025), siendo en general superior al nacional.
2. La latencia de los servicios de tokens ha aumentado, con una tendencia consistente dentro y fuera del país
El informe señala que, este año, el TTFT promedio (latencia de la primera palabra) de los modelos nacionales ha mostrado una tendencia de aumento continuo, alcanzando un promedio de 1.26 segundos en agosto,un aumento evidente en comparación con el promedio de 0.78 segundos de 2025. Al mismo tiempo, sin embargo, el TTFT promedio de los modelos extranjeros típicos en agosto (8) alcanzó 2.08 segundos, también un aumento evidente frente a los 1.04 segundos de abril (4).
Cabe señalar que el aumento del TTFT no es una simple degradación del rendimiento, sino el resultado simultáneo de múltiples factores como el aumento del número de parámetros del modelo, el aumento de la longitud del contexto y el aumento del volumen de llamadas.
3. En 2026 los precios de los servicios de tokens mostraron un claro repunte
El informe señala que, tras la guerra de precios de los últimos dos años, en 2026 los precios de los servicios de modelos dentro y fuera del país aumentaron notablemente.El precio medio normalizado en el país en el segundo semestre de 2025 fue de 6.8 yuanes, mientras que este año el precio medio ha sido de 13.46 yuanes, un aumento cercano a 1 vez. Sin embargo, los precios extranjeros siguen siendo más altos que los nacionales: el precio medio normalizado de los modelos típicos lanzados desde 2026 es de aproximadamente 117.8 yuanes.
4. La longitud del contexto de los modelos se expande continuamente hacia el nivel del millón
El informe señala que, entre los modelos monitoreados, la proporción de aquellos con longitud de contexto de 1M (1 millón de tokens) alcanzó el 47.8%, y los de 200K o más sumaron el 95.7%, un aumento de más de 76 puntos porcentuales respecto a la proporción a finales de 2025, mientras que la proporción de modelos con menos de 200K continúa disminuyendo.
5. Los modelos de código abierto muestran una mejora significativa en el rendimiento del servicio de tokens, con grandes fluctuaciones de rendimiento entre plataformas para el mismo modelo
El informe señala que en mayo se actualizaron y comenzaron a monitorearse nuevas versiones de 4 modelos de código abierto; los resultados muestran que el TPS mejora continuamente y la latencia TTFT se reduce sin cesar. Por ejemplo, en agosto, el TPS de DeepSeek-V4-Pro ya alcanzó 2 veces el de DeepSeek-V3.2.
En cuanto a la latencia, tras la renovación y actualización de los principales modelos en mayo, el TTFT experimentó un incremento generalizado de forma temporal; con la implementación de medidas de optimización de inferencia, los indicadores de latencia regresaron gradualmente a los niveles previos a la renovación.
Al mismo tiempo,los 4 modelos muestran rendimientos desiguales en TPS, TTFT y tasa de éxito de llamadas en las distintas plataformas. El rendimiento de algunas plataformas de terceros es claramente superior al del servicio de modelos ofrecido por las plataformas oficiales, y la brecha de TPS del mismo modelo entre distintas plataformas puede acercarse a un factor de 2. Las diferencias entre plataformas en aceleración de inferencia, estrategias de optimización y control de costos del mismo modelo son la causa principal de esta divergencia de rendimiento.