IT之家 Le 5 novembre : conformément à la promesse faite lors de sa publication le 24 octobre, Moonshot AI (月之暗面) a ouvert aujourd'hui sur la plateforme Hugging Face les poids du modèle Kimi K3.1 Pro.
Dans le classement d'agents Agent Arena exploité par Arena, Kimi K3.1 Pro (Max) se classe premier des modèles à poids ouverts et 13e de tous les modèles évalués, et occupe la première place parmi les modèles ouverts dans les trois catégories : travail, programmation et discussion.
La méthode d'évaluation de l'Agent Arena diffère des tests aveugles par paires traditionnels. Elle ne demande pas aux utilisateurs de voter entre deux réponses, mais extrait des signaux des sessions d'agents de vrais utilisateurs, incluant les confirmations explicites de tâches par les utilisateurs, les compliments et les plaintes, les instructions de correction ainsi que les erreurs d'exécution de commandes Shell ; elle estime ensuite, via une méthode d'inférence randomisée appelée « traçage causal » par Arena, le taux d'amélioration nette de chaque modèle par rapport à la moyenne.
Kimi K3.1 Pro : ce classement est basé sur plus de 1.75 万 sessions réelles de tâches d'agents intelligents à long terme menées par des utilisateurs du monde entier, avec un taux d'amélioration nette de +5.1 %, soit une hausse de 4.2 points de pourcentage par rapport au +0.9 % de la génération précédente K3 (Max).
Les indicateurs détaillés montrent des améliorations plus concrètes. La Bash Reliability, qui mesure la fiabilité d'exécution des commandes Shell, est passée de -4,5 % (13e place) pour le K3 à +7,9 %, première parmi les modèles ouverts ; l'indicateur Praise vs Complaint, qui reflète la satisfaction des utilisateurs, est passé de +1,3 % à +7,7 % ; l'indicateur Steerability, qui mesure la capacité du modèle à ajuster sa direction d'exécution selon les retours des utilisateurs, atteint +6,5 %, également en tête des modèles ouverts. Le Confirmed Success, où les utilisateurs confirment explicitement l'achèvement de la tâche, est de +3,9 %, quatrième des modèles ouverts.
Kimi K3.1 Pro adopte une architecture de mélange d'experts avec un total de 2,8 trillions de paramètres, environ 104 milliards de paramètres activés par inférence, et prend en charge une fenêtre de contexte d'environ 1 million de tokens.
Par rapport au K3, le K3.1 Pro, bâti sur la base du K3, a bénéficié d'un post-entraînement par apprentissage par renforcement conjoint à grande échelle couvrant des centaines de domaines aval, et a remplacé certaines couches d'attention complète par des couches d'attention clairsemée avec gating, afin de réduire le coût de la modélisation de longs contextes.
Il convient de noter qu'il existe un écart considérable entre « téléchargeable » et « exécutable localement » pour les poids ouverts. Les fichiers de poids des 2,8 trillions de paramètres stockés en précision BF16 pèsent environ 5,6 To ; même avec une quantification INT4, il en faut encore environ 1,4 To, rendant le déploiement sur une carte graphique grand public en machine unique pratiquement impossible.
Sur le benchmark d'agents terminaux Terminal-Bench 4.0, le K3.1 Pro obtient 65,7 %, supérieur aux 58,2 % de GPT-6 Astra et à moins de 1 point de pourcentage des 66,4 % de Claude Opus 5.5.
| Benchmark | Kimi K3.1 Pro (max) | Claude Fable 5.1 (max, w/ fallback) | GPT-6 Astra (max, w/ fallback) | Claude Opus 5.5 (max, w/ fallback) | DeepSeek-V4.1-Flash-1017 (max) | GLM-5.3 (max) |
|---|---|---|---|---|---|---|
| Coding | ||||||
| Terminal-Bench 4.0 | 65.7 | 57.9 | 58.2 | 66.4 | 42.3 | 41.8 |
| Terminal-Bench-Science 0.1 | 38.1 | 40.0 | 68.1 | 63.3 | 15.7 | 8.1 |
| SWE Marathon v1.1 | 51.7 | 45.6 | 42.5 | 46.3 | 40.0 | 42.5 |
| BenchCAD sans outils | 72.8 | 60.6 | — | 73.0 | 41.2 | — |
| BenchCAD avec outils | 92.7 | 92.6 | 95.9 | 96.2 | 81.6 | — |
| Program Bench | 31.5 | 53.5 | 50.0 | 65.0 | 29.1 | 19.0 |
| DeepSWE v1.1 | 75.5 | 67.4 | 74.1 | 74.2 | 77.0 | 66.9 |
| PostTrain Bench v1.2 | 36.5 | 44.6 | 41.9 | 43.8 | 30.5 | 34.5 |
| Kimi Code Bench 2.0 (interne) | 77.1 | — | — | — | 76.1 | 61.7 |
| Kimi Code Bench 3.0 Long-horizon (interne) | 61.2 | 58.8 | 66.5 | 58.5 | 51.5 | 45.5 |
| Agentique | ||||||
| HLE-Full w/ tools | 70.0 | 65.6 | 57.2 | 67.7 | 58.8 | 62.5 |
| BrowseComp | 92.1 | — | 91.5 | 90.8 | — | — |
| BioMysteryBench | 80.6 | 81.6 | 78.9 | 81.9 | 80.0 | 79.6 |
| CharXiv (RQ) w/ python | 93.4 | 92.7 | 92.8 | 93.8 | 85.6 | — |
| MMMU-Pro w/ python | 90.0 | 88.4 | 87.8 | 89.8 | 82.5 | — |
| GDP.pdf w/ python | 85.7 | 83.8 | 85.5 | 83.9 | 73.0 | — |
| ChartoGraphy w/ python | 90.2 | 88.4 | 91.0 | 89.0 | 83.0 | — |
| BabyVision w/ python | 95.4 | 95.1 | 96.6 | 97.7 | 92.5 | — |
| ZeroBench_main w/ python (pass@5) | 63.0 | 59.0 | 58.0 | 61.0 | 51.0 | — |
| Agents' Last Exam (ALL) | 43.2 | — | 41.8 | 42.6 | 37.7 | 26.2 |
| Agents' Last Exam (CLI) | 44.2 | — | 44.2 | 40.7 | 36.0 | 29.4 |
| Automation Bench-AA | 73.3 | 59.4 | 68.5 | 69.5 | 66.6 | 62.2 |
| GDPval-AA v2.1 (score Elo) | 1846 | 1754 | 1573 | 1866 | 1746 | 1650 |
| AA-Briefcase v1.1 (score Elo) | 1678 | 1672 | 1569 | 1803 | 1570 | 1507 |
| APEX-Agents | 69.4 | 68.6 | 64.7 | 73.5 | 69.8 | 56.6 |
| OfficeQA Pro v2 | 64.4 | 54.5 | 54.4 | 62.2 | 40.4 | 31.1 |
| OfficeQA Pro | 67.4 | 68.6 | 66.2 | — | 62.4 | 58.6 |
| Frontier Finance | 58.6 | 60.8 | 45.0 | 56.7 | 54.5 | 57.5 |
| Harvey Legal Agent | 23.7 | 19.1 | — | — | 21.0 | — |
| HANDBOOK.md | 44.6 | 38.8 | — | 41.5 | 28.9 | 20.8 |
| OSWorld V2.1 | 79.6 | 80.7 | 75.8 | 81.8 | 69.3 | — |
| Business Operation (Interne) | 37.8 | 30.7 | 32.3 | — | 8.9 | 18.6 |
| DECK-Arena (Interne, score Elo) | 1456 | — | 1423 | 1253 | 1231 | 1119 |
| Design Bench (Interne, score Elo) | 957 | — | 1076 | 927 | 863 | 718 |
| Kimi Hallu Bench Hard w/ tools (Interne, plus bas est meilleur) | 8.3 | 23.3 | 5.5 | 15.0 | 23.3 | 22.6 |
| Raisonnement & Connaissances & Multimodal | ||||||
| GDP.pdf | 34.6 | 27.6 | 34.2 | 30.6 | 17.2 | 11.2 |
| HLE-Full | 51.1 | 57.6 | 53.6 | 59.8 | 42.6 | 43.0* |
| HLE-Diamond | 39.4 | 55.1 | 65.8 | 60.9 | 21.6 | 25.1* |
| GPQA-Diamond | 94.2 | 93.7 | 96.1 | 93.9 | 92.2 | 91.7 |
| CharXiv (RQ) | 89.0 | 88.8 | 90.0 | 92.1 | 77.0 | — |
| MMMU-Pro | 84.1 | 86.3 | 86.9 | 87.7 | 80.6 | — |
| ZeroBench_main (avg@5 / pass@5) | 29.8 / 39.0 | 23.0 / 35.0 | 43.2 / 52.0 | 35.0 / 43.0 | 11.8 / 23.0 | — |
| PerceptionBench | 68.3 | 63.0 | 77.6 | 72.1 | 47.7 | — |
| Kimi Hallu Bench sans outils (interne, plus bas est meilleur) | 5.4 | 11.4 | 4.2 | 6.8 | 13.1 | 14.8 |
| Cybersécurité | ||||||
| ExploitBench | 74.7 | 83.0 | 100 | 91.0 | — | 54.4 |
| ExploitGym | 20.7 | 30.4 | 42.4 | 34.5 | — | 15.0 |
| xdev-bench-hard (interne) | 81.0 | — | — | — | 85.7 | 57.1 |
Lectures complémentaires :