IT之家 AIPublicación de la fuente

Moonshot AI libera los pesos de Kimi K3.1 Pro con 2.8 billones de parámetros, que encabeza el ranking de modelos de código abierto de Agent…

IT之家 Mensaje del 5 de noviembre: cumpliendo la promesa hecha en su lanzamiento el 24 de octubre, Moonshot AI (月之暗面) publicó hoy los pesos del modelo Kimi K3.1 Pro en la plataforma Hugging Face.

Gracias al usuario de IT之家 软媒用户1053564、咩咩洋 por el envío de la pista!

IT之家 Mensaje del 5 de noviembre: cumpliendo la promesa hecha en su lanzamiento el 24 de octubre, Moonshot AI (月之暗面) publicó hoy los pesos del modelo Kimi K3.1 Pro en la plataforma Hugging Face.

En el ranking de agentes Agent Arena operado por Arena, Kimi K3.1 Pro (Max) se sitúa primero entre los modelos de pesos abiertos y en el puesto 13 entre todos los modelos evaluados, además de ocupar el primer lugar entre los modelos abiertos en las tres categorías: trabajo, programación y chat.

El método de evaluación de Agent Arena difiere de las pruebas ciegas por pares tradicionales. No pide a los usuarios votar entre dos respuestas, sino que extrae señales de sesiones de agentes de usuarios reales, incluidas las confirmaciones explícitas de tareas por parte de los usuarios, elogios y quejas, instrucciones de corrección y errores en la ejecución de comandos Shell, y luego estima, mediante un método de inferencia aleatorizado que Arena denomina “seguimiento causal”, la tasa de mejora neta de cada modelo respecto al promedio.

El ranking de Kimi K3.1 Pro se basa en más de 1.75 万 sesiones reales de tareas de agentes de largo plazo por usuarios de todo el mundo, con una tasa de mejora neta de +5.1%, un aumento de 4.2 puntos porcentuales respecto al +0.9% de la generación anterior K3 (Max).

Las métricas por categorías muestran mejoras más concretas. Bash Reliability, que mide la fiabilidad de la ejecución de comandos Shell, pasó del -4.5% de K3 (puesto 13) a +7.9%, ocupando el primer lugar entre los modelos abiertos; la métrica Praise vs Complaint, que refleja la satisfacción del usuario, subió de +1.3% a +7.7%; la métrica Steerability, que mide la capacidad del modelo para ajustar la dirección de ejecución según los comentarios del usuario, alcanzó +6.5%, también primera entre los modelos abiertos. Confirmed Success, que mide la confirmación explícita de la finalización de la tarea por el usuario, fue de +3.9%, cuarto entre los modelos abiertos.

Kimi K3.1 Pro adopta una arquitectura de mezcla de expertos, con 2.8 billones de parámetros totales, unos 104.0 mil millones de parámetros activados por inferencia, y admite una ventana de contexto de aproximadamente 1 millón de tokens.

En comparación con K3, K3.1 Pro partió de K3 como base para un post-entrenamiento de aprendizaje por refuerzo conjunto a gran escala, que abarca cientos de dominios aguas abajo, y reemplazó parte de las capas de atención completa por capas de atención dispersa con compuerta, para reducir el costo del modelado de contexto largo.

Cabe destacar que existe una distancia significativa entre “descargable” y “ejecutable localmente” en los pesos de código abierto. Los archivos de pesos de los 2.8 billones de parámetros almacenados en precisión BF16 ocupan unos 5.6 TB, e incluso con cuantización INT4 se necesita aún unos 1.4 TB, por lo que una sola máquina con tarjetas gráficas de consumo básicamente no tiene posibilidad de desplegarlo.

En el benchmark de agentes de terminal Terminal-Bench 4.0, K3.1 Pro obtuvo 65.7%, superior al 58.2% de GPT-6 Astra y a menos de 1 punto porcentual del 66.4% de Claude Opus 5.5.

BenchmarkKimi K3.1 Pro
(max)
Claude Fable 5.1
(max, w/ fallback)
GPT-6 Astra
(max, w/ fallback)
Claude Opus 5.5
(max, w/ fallback)
DeepSeek-V4.1-Flash-1017
(max)
GLM-5.3
(max)
Programación
Terminal-Bench 4.065.757.958.266.442.341.8
Terminal-Bench-Science 0.138.140.068.163.315.78.1
SWE Marathon v1.151.745.642.546.340.042.5
BenchCAD sin herramientas72.860.6—73.041.2—
BenchCAD con herramientas92.792.695.996.281.6—
Program Bench31.553.550.065.029.119.0
DeepSWE v1.175.567.474.174.277.066.9
PostTrain Bench v1.236.544.641.943.830.534.5
Kimi Code Bench 2.0 (Interno)77.1———76.161.7
Kimi Code Bench 3.0 Long-horizon (Interno)61.258.866.558.551.545.5
Agéntico
HLE-Full w/ tools70.065.657.267.758.862.5
BrowseComp92.1—91.590.8——
BioMysteryBench80.681.678.981.980.079.6
CharXiv (RQ) w/ python93.492.792.893.885.6—
MMMU-Pro w/ python90.088.487.889.882.5—
GDP.pdf w/ python85.783.885.583.973.0—
ChartoGraphy w/ python90.288.491.089.083.0—
BabyVision w/ python95.495.196.697.792.5—
ZeroBench_main w/ python (pass@5)63.059.058.061.051.0—
Agents' Last Exam (ALL)43.2—41.842.637.726.2
Agents' Last Exam (CLI)44.2—44.240.736.029.4
Automation Bench-AA73.359.468.569.566.662.2
GDPval-AA v2.1 (puntuación Elo)184617541573186617461650
AA-Briefcase v1.1 (puntuación Elo)167816721569180315701507
APEX-Agents69.468.664.773.569.856.6
OfficeQA Pro v264.454.554.462.240.431.1
OfficeQA Pro67.468.666.2—62.458.6
Frontier Finance58.660.845.056.754.557.5
Harvey Legal Agent23.719.1——21.0—
HANDBOOK.md44.638.8—41.528.920.8
OSWorld V2.179.680.775.881.869.3—
Business Operation (Interno)37.830.732.3—8.918.6
DECK-Arena (Interno, puntuación Elo)1456—1423125312311119
Design Bench (Interno, puntuación Elo)957—1076927863718
Kimi Hallu Bench Hard w/ tools (Interno, menor es mejor)8.323.35.515.023.322.6
Razonamiento & Conocimiento & Multimodal
GDP.pdf34.627.634.230.617.211.2
HLE-Full51.157.653.659.842.643.0*
HLE-Diamond39.455.165.860.921.625.1*
GPQA-Diamond94.293.796.193.992.291.7
CharXiv (RQ)89.088.890.092.177.0—
MMMU-Pro84.186.386.987.780.6—
ZeroBench_main (avg@5 / pass@5)29.8 / 39.023.0 / 35.043.2 / 52.035.0 / 43.011.8 / 23.0—
PerceptionBench68.363.077.672.147.7—
Kimi Hallu Bench w/o tools (Interno, menor es mejor)5.411.44.26.813.114.8
Ciberseguridad
ExploitBench74.783.010091.0—54.4
ExploitGym20.730.442.434.5—15.0
xdev-bench-hard (Interno)81.0———85.757.1

Lecturas relacionadas:

Fuente original

IT之家 AI

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original