IT之家 AIPublication de la source

Moonshot AI ouvre les poids de Kimi K3.1 Pro à 2,8 trillions de paramètres, qui domine le classement des modèles open source de l'Agent…

IT之家 Le 5 novembre : conformément à la promesse faite lors de sa publication le 24 octobre, Moonshot AI (月之暗面) a ouvert aujourd'hui sur la plateforme Hugging Face les poids du modèle Kimi K3.1 Pro.

Merci au netizen d'IT之家 utilisateur Ruanmei 1053564、Miemie Yang pour l'envoi de cette information !

IT之家 Le 5 novembre : conformément à la promesse faite lors de sa publication le 24 octobre, Moonshot AI (月之暗面) a ouvert aujourd'hui sur la plateforme Hugging Face les poids du modèle Kimi K3.1 Pro.

Dans le classement d'agents Agent Arena exploité par Arena, Kimi K3.1 Pro (Max) se classe premier des modèles à poids ouverts et 13e de tous les modèles évalués, et occupe la première place parmi les modèles ouverts dans les trois catégories : travail, programmation et discussion.

La méthode d'évaluation de l'Agent Arena diffère des tests aveugles par paires traditionnels. Elle ne demande pas aux utilisateurs de voter entre deux réponses, mais extrait des signaux des sessions d'agents de vrais utilisateurs, incluant les confirmations explicites de tâches par les utilisateurs, les compliments et les plaintes, les instructions de correction ainsi que les erreurs d'exécution de commandes Shell ; elle estime ensuite, via une méthode d'inférence randomisée appelée « traçage causal » par Arena, le taux d'amélioration nette de chaque modèle par rapport à la moyenne.

Kimi K3.1 Pro : ce classement est basé sur plus de 1.75 万 sessions réelles de tâches d'agents intelligents à long terme menées par des utilisateurs du monde entier, avec un taux d'amélioration nette de +5.1 %, soit une hausse de 4.2 points de pourcentage par rapport au +0.9 % de la génération précédente K3 (Max).

Les indicateurs détaillés montrent des améliorations plus concrètes. La Bash Reliability, qui mesure la fiabilité d'exécution des commandes Shell, est passée de -4,5 % (13e place) pour le K3 à +7,9 %, première parmi les modèles ouverts ; l'indicateur Praise vs Complaint, qui reflète la satisfaction des utilisateurs, est passé de +1,3 % à +7,7 % ; l'indicateur Steerability, qui mesure la capacité du modèle à ajuster sa direction d'exécution selon les retours des utilisateurs, atteint +6,5 %, également en tête des modèles ouverts. Le Confirmed Success, où les utilisateurs confirment explicitement l'achèvement de la tâche, est de +3,9 %, quatrième des modèles ouverts.

Kimi K3.1 Pro adopte une architecture de mélange d'experts avec un total de 2,8 trillions de paramètres, environ 104 milliards de paramètres activés par inférence, et prend en charge une fenêtre de contexte d'environ 1 million de tokens.

Par rapport au K3, le K3.1 Pro, bâti sur la base du K3, a bénéficié d'un post-entraînement par apprentissage par renforcement conjoint à grande échelle couvrant des centaines de domaines aval, et a remplacé certaines couches d'attention complète par des couches d'attention clairsemée avec gating, afin de réduire le coût de la modélisation de longs contextes.

Il convient de noter qu'il existe un écart considérable entre « téléchargeable » et « exécutable localement » pour les poids ouverts. Les fichiers de poids des 2,8 trillions de paramètres stockés en précision BF16 pèsent environ 5,6 To ; même avec une quantification INT4, il en faut encore environ 1,4 To, rendant le déploiement sur une carte graphique grand public en machine unique pratiquement impossible.

Sur le benchmark d'agents terminaux Terminal-Bench 4.0, le K3.1 Pro obtient 65,7 %, supérieur aux 58,2 % de GPT-6 Astra et à moins de 1 point de pourcentage des 66,4 % de Claude Opus 5.5.

BenchmarkKimi K3.1 Pro
(max)
Claude Fable 5.1
(max, w/ fallback)
GPT-6 Astra
(max, w/ fallback)
Claude Opus 5.5
(max, w/ fallback)
DeepSeek-V4.1-Flash-1017
(max)
GLM-5.3
(max)
Coding
Terminal-Bench 4.065.757.958.266.442.341.8
Terminal-Bench-Science 0.138.140.068.163.315.78.1
SWE Marathon v1.151.745.642.546.340.042.5
BenchCAD sans outils72.860.6—73.041.2—
BenchCAD avec outils92.792.695.996.281.6—
Program Bench31.553.550.065.029.119.0
DeepSWE v1.175.567.474.174.277.066.9
PostTrain Bench v1.236.544.641.943.830.534.5
Kimi Code Bench 2.0 (interne)77.1———76.161.7
Kimi Code Bench 3.0 Long-horizon (interne)61.258.866.558.551.545.5
Agentique
HLE-Full w/ tools70.065.657.267.758.862.5
BrowseComp92.1—91.590.8——
BioMysteryBench80.681.678.981.980.079.6
CharXiv (RQ) w/ python93.492.792.893.885.6—
MMMU-Pro w/ python90.088.487.889.882.5—
GDP.pdf w/ python85.783.885.583.973.0—
ChartoGraphy w/ python90.288.491.089.083.0—
BabyVision w/ python95.495.196.697.792.5—
ZeroBench_main w/ python (pass@5)63.059.058.061.051.0—
Agents' Last Exam (ALL)43.2—41.842.637.726.2
Agents' Last Exam (CLI)44.2—44.240.736.029.4
Automation Bench-AA73.359.468.569.566.662.2
GDPval-AA v2.1 (score Elo)184617541573186617461650
AA-Briefcase v1.1 (score Elo)167816721569180315701507
APEX-Agents69.468.664.773.569.856.6
OfficeQA Pro v264.454.554.462.240.431.1
OfficeQA Pro67.468.666.2—62.458.6
Frontier Finance58.660.845.056.754.557.5
Harvey Legal Agent23.719.1——21.0—
HANDBOOK.md44.638.8—41.528.920.8
OSWorld V2.179.680.775.881.869.3—
Business Operation (Interne)37.830.732.3—8.918.6
DECK-Arena (Interne, score Elo)1456—1423125312311119
Design Bench (Interne, score Elo)957—1076927863718
Kimi Hallu Bench Hard w/ tools (Interne, plus bas est meilleur)8.323.35.515.023.322.6
Raisonnement & Connaissances & Multimodal
GDP.pdf34.627.634.230.617.211.2
HLE-Full51.157.653.659.842.643.0*
HLE-Diamond39.455.165.860.921.625.1*
GPQA-Diamond94.293.796.193.992.291.7
CharXiv (RQ)89.088.890.092.177.0—
MMMU-Pro84.186.386.987.780.6—
ZeroBench_main (avg@5 / pass@5)29.8 / 39.023.0 / 35.043.2 / 52.035.0 / 43.011.8 / 23.0—
PerceptionBench68.363.077.672.147.7—
Kimi Hallu Bench sans outils (interne, plus bas est meilleur)5.411.44.26.813.114.8
Cybersécurité
ExploitBench74.783.010091.0—54.4
ExploitGym20.730.442.434.5—15.0
xdev-bench-hard (interne)81.0———85.757.1

Lectures complémentaires :

Source originale

IT之家 AI

À propos du contenu

La publication originale et les droits appartiennent à la source.

Traduction automatique · Consultez l’original