IT之家 Nachricht vom 5. November: Wie beim Release am 24. Oktober versprochen, hat Moonshot AI (月之暗面) heute die Modellgewichte von Kimi K3.1 Pro auf der Hugging-Face-Plattform veröffentlicht.
Im von Arena betriebenen Agent-Arena-Ranking belegt Kimi K3.1 Pro (Max) den ersten Platz unter den Open-Weight-Modellen und den 13. Platz unter allen bewerteten Modellen, und in allen drei Kategorien Arbeit, Programmierung und Chat führt es die offenen Modelle an.
Die Bewertungsmethode von Agent Arena unterscheidet sich von herkömmlichen paarweisen Blindtests. Anstatt Nutzer über zwei Antworten abstimmen zu lassen, extrahiert sie Signale aus echten Agent-Sitzungen echter Nutzer, darunter explizite Bestätigungen des Nutzers zur Aufgabe, Lob und Beschwerden, Korrekturanweisungen sowie Fehler bei der Ausführung von Shell-Befehlen, und schätzt anschließend mittels einer von Arena als „kausale Nachverfolgung“ bezeichneten randomisierten Inferenzmethode die Nettoverbesserungsrate jedes Modells gegenüber dem Durchschnittsniveau.
Das Ranking von Kimi K3.1 Pro basiert auf über 1.75 万 (17.500) echten langfristigen Agent-Aufgabensitzungen globaler Nutzer mit einer Nettoverbesserungsrate von +5.1%, was gegenüber den +0.9% des Vorgängers K3 (Max) eine Steigerung um 4.2 Prozentpunkte darstellt.
Die Teilmetriken zeigen konkretere Verbesserungen. Die Bash Reliability, die die Zuverlässigkeit der Shell-Befehlsausführung misst, stieg von -4.5% (Platz 13) bei K3 auf +7.9% und belegt damit den ersten Platz unter den offenen Modellen; die Metrik Praise vs Complaint, die die Nutzerzufriedenheit widerspiegelt, stieg von +1.3% auf +7.7%; die Metrik Steerability, die misst, wie gut das Modell die Ausführungsrichtung nach Nutzerfeedback anpasst, erreichte +6.5% und liegt ebenfalls an der Spitze der offenen Modelle. Confirmed Success, bei dem Nutzer die Erledigung der Aufgabe explizit bestätigen, liegt bei +3.9%, Platz vier unter den offenen Modellen.
Kimi K3.1 Pro verwendet eine Mixture-of-Experts-Architektur mit insgesamt 2.8 Billionen Parametern, wobei pro Inferenz etwa 104 Milliarden Parameter aktiviert werden, und unterstützt ein Kontextfenster von etwa 1 Million Token.
Im Vergleich zu K3 wurde K3.1 Pro auf Basis von K3 mit einem groß angelegten gemeinsamen Reinforcement-Learning-Post-Training über hunderte Downstream-Domänen hinweg trainiert, wobei teilweise Full-Attention-Schichten durch gated sparse attention Schichten ersetzt wurden, um den Aufwand der Langkontext-Modellierung zu senken.
Erwähnenswert ist, dass zwischen den „herunterladbaren“ und den „lokal ausführbaren“ Open-Weight-Modellen eine erhebliche Distanz besteht. Die bei BF16-Präzision gespeicherten Gewichtsdateien der 2.8 Billionen Parameter umfassen etwa 5.6TB, und selbst mit INT4-Quantisierung werden noch etwa 1.4TB benötigt – eine Bereitstellung auf Consumer-Grafikkarten eines einzelnen Rechners ist praktisch nicht möglich.
Im Terminal-Agenten-Benchmark Terminal-Bench 4.0 erreichte K3.1 Pro 65.7%, höher als GPT-6 Astra mit 58.2% und nur weniger als 1 Prozentpunkt hinter Claude Opus 5.5 mit 66.4%.
| Benchmark | Kimi K3.1 Pro (max) | Claude Fable 5.1 (max, w/ fallback) | GPT-6 Astra (max, w/ fallback) | Claude Opus 5.5 (max, w/ fallback) | DeepSeek-V4.1-Flash-1017 (max) | GLM-5.3 (max) |
|---|---|---|---|---|---|---|
| Coding | ||||||
| Terminal-Bench 4.0 | 65.7 | 57.9 | 58.2 | 66.4 | 42.3 | 41.8 |
| Terminal-Bench-Science 0.1 | 38.1 | 40.0 | 68.1 | 63.3 | 15.7 | 8.1 |
| SWE Marathon v1.1 | 51.7 | 45.6 | 42.5 | 46.3 | 40.0 | 42.5 |
| BenchCAD w/o tools | 72.8 | 60.6 | — | 73.0 | 41.2 | — |
| BenchCAD w/ tools | 92.7 | 92.6 | 95.9 | 96.2 | 81.6 | — |
| Program Bench | 31.5 | 53.5 | 50.0 | 65.0 | 29.1 | 19.0 |
| DeepSWE v1.1 | 75.5 | 67.4 | 74.1 | 74.2 | 77.0 | 66.9 |
| PostTrain Bench v1.2 | 36.5 | 44.6 | 41.9 | 43.8 | 30.5 | 34.5 |
| Kimi Code Bench 2.0 (intern) | 77.1 | — | — | — | 76.1 | 61.7 |
| Kimi Code Bench 3.0 Long-horizon (intern) | 61.2 | 58.8 | 66.5 | 58.5 | 51.5 | 45.5 |
| Agentic | ||||||
| HLE-Full mit Tools | 70.0 | 65.6 | 57.2 | 67.7 | 58.8 | 62.5 |
| BrowseComp | 92.1 | — | 91.5 | 90.8 | — | — |
| BioMysteryBench | 80.6 | 81.6 | 78.9 | 81.9 | 80.0 | 79.6 |
| CharXiv (RQ) mit Python | 93.4 | 92.7 | 92.8 | 93.8 | 85.6 | — |
| MMMU-Pro mit Python | 90.0 | 88.4 | 87.8 | 89.8 | 82.5 | — |
| GDP.pdf mit Python | 85.7 | 83.8 | 85.5 | 83.9 | 73.0 | — |
| ChartoGraphy mit Python | 90.2 | 88.4 | 91.0 | 89.0 | 83.0 | — |
| BabyVision mit Python | 95.4 | 95.1 | 96.6 | 97.7 | 92.5 | — |
| ZeroBench_main mit Python (pass@5) | 63.0 | 59.0 | 58.0 | 61.0 | 51.0 | — |
| Agents' Last Exam (ALL) | 43.2 | — | 41.8 | 42.6 | 37.7 | 26.2 |
| Agents' Last Exam (CLI) | 44.2 | — | 44.2 | 40.7 | 36.0 | 29.4 |
| Automation Bench-AA | 73.3 | 59.4 | 68.5 | 69.5 | 66.6 | 62.2 |
| GDPval-AA v2.1 (Elo-Score) | 1846 | 1754 | 1573 | 1866 | 1746 | 1650 |
| AA-Briefcase v1.1 (Elo-Score) | 1678 | 1672 | 1569 | 1803 | 1570 | 1507 |
| APEX-Agents | 69.4 | 68.6 | 64.7 | 73.5 | 69.8 | 56.6 |
| OfficeQA Pro v2 | 64.4 | 54.5 | 54.4 | 62.2 | 40.4 | 31.1 |
| OfficeQA Pro | 67.4 | 68.6 | 66.2 | — | 62.4 | 58.6 |
| Frontier Finance | 58.6 | 60.8 | 45.0 | 56.7 | 54.5 | 57.5 |
| Harvey Legal Agent | 23.7 | 19.1 | — | — | 21.0 | — |
| HANDBOOK.md | 44.6 | 38.8 | — | 41.5 | 28.9 | 20.8 |
| OSWorld V2.1 | 79.6 | 80.7 | 75.8 | 81.8 | 69.3 | — |
| Business Operation (intern) | 37.8 | 30.7 | 32.3 | — | 8.9 | 18.6 |
| DECK-Arena (intern, Elo-Score) | 1456 | — | 1423 | 1253 | 1231 | 1119 |
| Design Bench (intern, Elo-Score) | 957 | — | 1076 | 927 | 863 | 718 |
| Kimi Hallu Bench Hard mit Tools (intern, niedriger ist besser) | 8.3 | 23.3 | 5.5 | 15.0 | 23.3 | 22.6 |
| Reasoning & Knowledge & Multimodal | ||||||
| GDP.pdf | 34.6 | 27.6 | 34.2 | 30.6 | 17.2 | 11.2 |
| HLE-Full | 51.1 | 57.6 | 53.6 | 59.8 | 42.6 | 43.0* |
| HLE-Diamond | 39.4 | 55.1 | 65.8 | 60.9 | 21.6 | 25.1* |
| GPQA-Diamond | 94.2 | 93.7 | 96.1 | 93.9 | 92.2 | 91.7 |
| CharXiv (RQ) | 89.0 | 88.8 | 90.0 | 92.1 | 77.0 | — |
| MMMU-Pro | 84.1 | 86.3 | 86.9 | 87.7 | 80.6 | — |
| ZeroBench_main (avg@5 / pass@5) | 29.8 / 39.0 | 23.0 / 35.0 | 43.2 / 52.0 | 35.0 / 43.0 | 11.8 / 23.0 | — |
| PerceptionBench | 68.3 | 63.0 | 77.6 | 72.1 | 47.7 | — |
| Kimi Hallu Bench w/o tools (intern, niedriger ist besser) | 5.4 | 11.4 | 4.2 | 6.8 | 13.1 | 14.8 |
| Cyber Security | ||||||
| ExploitBench | 74.7 | 83.0 | 100 | 91.0 | — | 54.4 |
| ExploitGym | 20.7 | 30.4 | 42.4 | 34.5 | — | 15.0 |
| xdev-bench-hard (intern) | 81.0 | — | — | — | 85.7 | 57.1 |
Weiterführende Lektüre: