IT之家 Mensaje del 5 de noviembre: cumpliendo la promesa hecha en su lanzamiento el 24 de octubre, Moonshot AI (月之暗面) publicó hoy los pesos del modelo Kimi K3.1 Pro en la plataforma Hugging Face.
En el ranking de agentes Agent Arena operado por Arena, Kimi K3.1 Pro (Max) se sitúa primero entre los modelos de pesos abiertos y en el puesto 13 entre todos los modelos evaluados, además de ocupar el primer lugar entre los modelos abiertos en las tres categorías: trabajo, programación y chat.
El método de evaluación de Agent Arena difiere de las pruebas ciegas por pares tradicionales. No pide a los usuarios votar entre dos respuestas, sino que extrae señales de sesiones de agentes de usuarios reales, incluidas las confirmaciones explícitas de tareas por parte de los usuarios, elogios y quejas, instrucciones de corrección y errores en la ejecución de comandos Shell, y luego estima, mediante un método de inferencia aleatorizado que Arena denomina “seguimiento causal”, la tasa de mejora neta de cada modelo respecto al promedio.
El ranking de Kimi K3.1 Pro se basa en más de 1.75 万 sesiones reales de tareas de agentes de largo plazo por usuarios de todo el mundo, con una tasa de mejora neta de +5.1%, un aumento de 4.2 puntos porcentuales respecto al +0.9% de la generación anterior K3 (Max).
Las métricas por categorías muestran mejoras más concretas. Bash Reliability, que mide la fiabilidad de la ejecución de comandos Shell, pasó del -4.5% de K3 (puesto 13) a +7.9%, ocupando el primer lugar entre los modelos abiertos; la métrica Praise vs Complaint, que refleja la satisfacción del usuario, subió de +1.3% a +7.7%; la métrica Steerability, que mide la capacidad del modelo para ajustar la dirección de ejecución según los comentarios del usuario, alcanzó +6.5%, también primera entre los modelos abiertos. Confirmed Success, que mide la confirmación explícita de la finalización de la tarea por el usuario, fue de +3.9%, cuarto entre los modelos abiertos.
Kimi K3.1 Pro adopta una arquitectura de mezcla de expertos, con 2.8 billones de parámetros totales, unos 104.0 mil millones de parámetros activados por inferencia, y admite una ventana de contexto de aproximadamente 1 millón de tokens.
En comparación con K3, K3.1 Pro partió de K3 como base para un post-entrenamiento de aprendizaje por refuerzo conjunto a gran escala, que abarca cientos de dominios aguas abajo, y reemplazó parte de las capas de atención completa por capas de atención dispersa con compuerta, para reducir el costo del modelado de contexto largo.
Cabe destacar que existe una distancia significativa entre “descargable” y “ejecutable localmente” en los pesos de código abierto. Los archivos de pesos de los 2.8 billones de parámetros almacenados en precisión BF16 ocupan unos 5.6 TB, e incluso con cuantización INT4 se necesita aún unos 1.4 TB, por lo que una sola máquina con tarjetas gráficas de consumo básicamente no tiene posibilidad de desplegarlo.
En el benchmark de agentes de terminal Terminal-Bench 4.0, K3.1 Pro obtuvo 65.7%, superior al 58.2% de GPT-6 Astra y a menos de 1 punto porcentual del 66.4% de Claude Opus 5.5.
| Benchmark | Kimi K3.1 Pro (max) | Claude Fable 5.1 (max, w/ fallback) | GPT-6 Astra (max, w/ fallback) | Claude Opus 5.5 (max, w/ fallback) | DeepSeek-V4.1-Flash-1017 (max) | GLM-5.3 (max) |
|---|---|---|---|---|---|---|
| Programación | ||||||
| Terminal-Bench 4.0 | 65.7 | 57.9 | 58.2 | 66.4 | 42.3 | 41.8 |
| Terminal-Bench-Science 0.1 | 38.1 | 40.0 | 68.1 | 63.3 | 15.7 | 8.1 |
| SWE Marathon v1.1 | 51.7 | 45.6 | 42.5 | 46.3 | 40.0 | 42.5 |
| BenchCAD sin herramientas | 72.8 | 60.6 | — | 73.0 | 41.2 | — |
| BenchCAD con herramientas | 92.7 | 92.6 | 95.9 | 96.2 | 81.6 | — |
| Program Bench | 31.5 | 53.5 | 50.0 | 65.0 | 29.1 | 19.0 |
| DeepSWE v1.1 | 75.5 | 67.4 | 74.1 | 74.2 | 77.0 | 66.9 |
| PostTrain Bench v1.2 | 36.5 | 44.6 | 41.9 | 43.8 | 30.5 | 34.5 |
| Kimi Code Bench 2.0 (Interno) | 77.1 | — | — | — | 76.1 | 61.7 |
| Kimi Code Bench 3.0 Long-horizon (Interno) | 61.2 | 58.8 | 66.5 | 58.5 | 51.5 | 45.5 |
| Agéntico | ||||||
| HLE-Full w/ tools | 70.0 | 65.6 | 57.2 | 67.7 | 58.8 | 62.5 |
| BrowseComp | 92.1 | — | 91.5 | 90.8 | — | — |
| BioMysteryBench | 80.6 | 81.6 | 78.9 | 81.9 | 80.0 | 79.6 |
| CharXiv (RQ) w/ python | 93.4 | 92.7 | 92.8 | 93.8 | 85.6 | — |
| MMMU-Pro w/ python | 90.0 | 88.4 | 87.8 | 89.8 | 82.5 | — |
| GDP.pdf w/ python | 85.7 | 83.8 | 85.5 | 83.9 | 73.0 | — |
| ChartoGraphy w/ python | 90.2 | 88.4 | 91.0 | 89.0 | 83.0 | — |
| BabyVision w/ python | 95.4 | 95.1 | 96.6 | 97.7 | 92.5 | — |
| ZeroBench_main w/ python (pass@5) | 63.0 | 59.0 | 58.0 | 61.0 | 51.0 | — |
| Agents' Last Exam (ALL) | 43.2 | — | 41.8 | 42.6 | 37.7 | 26.2 |
| Agents' Last Exam (CLI) | 44.2 | — | 44.2 | 40.7 | 36.0 | 29.4 |
| Automation Bench-AA | 73.3 | 59.4 | 68.5 | 69.5 | 66.6 | 62.2 |
| GDPval-AA v2.1 (puntuación Elo) | 1846 | 1754 | 1573 | 1866 | 1746 | 1650 |
| AA-Briefcase v1.1 (puntuación Elo) | 1678 | 1672 | 1569 | 1803 | 1570 | 1507 |
| APEX-Agents | 69.4 | 68.6 | 64.7 | 73.5 | 69.8 | 56.6 |
| OfficeQA Pro v2 | 64.4 | 54.5 | 54.4 | 62.2 | 40.4 | 31.1 |
| OfficeQA Pro | 67.4 | 68.6 | 66.2 | — | 62.4 | 58.6 |
| Frontier Finance | 58.6 | 60.8 | 45.0 | 56.7 | 54.5 | 57.5 |
| Harvey Legal Agent | 23.7 | 19.1 | — | — | 21.0 | — |
| HANDBOOK.md | 44.6 | 38.8 | — | 41.5 | 28.9 | 20.8 |
| OSWorld V2.1 | 79.6 | 80.7 | 75.8 | 81.8 | 69.3 | — |
| Business Operation (Interno) | 37.8 | 30.7 | 32.3 | — | 8.9 | 18.6 |
| DECK-Arena (Interno, puntuación Elo) | 1456 | — | 1423 | 1253 | 1231 | 1119 |
| Design Bench (Interno, puntuación Elo) | 957 | — | 1076 | 927 | 863 | 718 |
| Kimi Hallu Bench Hard w/ tools (Interno, menor es mejor) | 8.3 | 23.3 | 5.5 | 15.0 | 23.3 | 22.6 |
| Razonamiento & Conocimiento & Multimodal | ||||||
| GDP.pdf | 34.6 | 27.6 | 34.2 | 30.6 | 17.2 | 11.2 |
| HLE-Full | 51.1 | 57.6 | 53.6 | 59.8 | 42.6 | 43.0* |
| HLE-Diamond | 39.4 | 55.1 | 65.8 | 60.9 | 21.6 | 25.1* |
| GPQA-Diamond | 94.2 | 93.7 | 96.1 | 93.9 | 92.2 | 91.7 |
| CharXiv (RQ) | 89.0 | 88.8 | 90.0 | 92.1 | 77.0 | — |
| MMMU-Pro | 84.1 | 86.3 | 86.9 | 87.7 | 80.6 | — |
| ZeroBench_main (avg@5 / pass@5) | 29.8 / 39.0 | 23.0 / 35.0 | 43.2 / 52.0 | 35.0 / 43.0 | 11.8 / 23.0 | — |
| PerceptionBench | 68.3 | 63.0 | 77.6 | 72.1 | 47.7 | — |
| Kimi Hallu Bench w/o tools (Interno, menor es mejor) | 5.4 | 11.4 | 4.2 | 6.8 | 13.1 | 14.8 |
| Ciberseguridad | ||||||
| ExploitBench | 74.7 | 83.0 | 100 | 91.0 | — | 54.4 |
| ExploitGym | 20.7 | 30.4 | 42.4 | 34.5 | — | 15.0 |
| xdev-bench-hard (Interno) | 81.0 | — | — | — | 85.7 | 57.1 |
Lecturas relacionadas: