IT之家 AIVeröffentlichung der Quelle

Moonshot AI veröffentlicht die Modellgewichte von Kimi K3.1 Pro mit 2.8 Billionen Parametern, Platz 1 der Open-Weight-Modelle im…

IT之家 Nachricht vom 5. November: Wie beim Release am 24.

Dank an den IT之家-Nutzer für den Hinweis 软媒-Nutzer 1053564、咩咩洋 für die Einsendung!

IT之家 Nachricht vom 5. November: Wie beim Release am 24. Oktober versprochen, hat Moonshot AI (月之暗面) heute die Modellgewichte von Kimi K3.1 Pro auf der Hugging-Face-Plattform veröffentlicht.

Im von Arena betriebenen Agent-Arena-Ranking belegt Kimi K3.1 Pro (Max) den ersten Platz unter den Open-Weight-Modellen und den 13. Platz unter allen bewerteten Modellen, und in allen drei Kategorien Arbeit, Programmierung und Chat führt es die offenen Modelle an.

Die Bewertungsmethode von Agent Arena unterscheidet sich von herkömmlichen paarweisen Blindtests. Anstatt Nutzer über zwei Antworten abstimmen zu lassen, extrahiert sie Signale aus echten Agent-Sitzungen echter Nutzer, darunter explizite Bestätigungen des Nutzers zur Aufgabe, Lob und Beschwerden, Korrekturanweisungen sowie Fehler bei der Ausführung von Shell-Befehlen, und schätzt anschließend mittels einer von Arena als „kausale Nachverfolgung“ bezeichneten randomisierten Inferenzmethode die Nettoverbesserungsrate jedes Modells gegenüber dem Durchschnittsniveau.

Das Ranking von Kimi K3.1 Pro basiert auf über 1.75 万 (17.500) echten langfristigen Agent-Aufgabensitzungen globaler Nutzer mit einer Nettoverbesserungsrate von +5.1%, was gegenüber den +0.9% des Vorgängers K3 (Max) eine Steigerung um 4.2 Prozentpunkte darstellt.

Die Teilmetriken zeigen konkretere Verbesserungen. Die Bash Reliability, die die Zuverlässigkeit der Shell-Befehlsausführung misst, stieg von -4.5% (Platz 13) bei K3 auf +7.9% und belegt damit den ersten Platz unter den offenen Modellen; die Metrik Praise vs Complaint, die die Nutzerzufriedenheit widerspiegelt, stieg von +1.3% auf +7.7%; die Metrik Steerability, die misst, wie gut das Modell die Ausführungsrichtung nach Nutzerfeedback anpasst, erreichte +6.5% und liegt ebenfalls an der Spitze der offenen Modelle. Confirmed Success, bei dem Nutzer die Erledigung der Aufgabe explizit bestätigen, liegt bei +3.9%, Platz vier unter den offenen Modellen.

Kimi K3.1 Pro verwendet eine Mixture-of-Experts-Architektur mit insgesamt 2.8 Billionen Parametern, wobei pro Inferenz etwa 104 Milliarden Parameter aktiviert werden, und unterstützt ein Kontextfenster von etwa 1 Million Token.

Im Vergleich zu K3 wurde K3.1 Pro auf Basis von K3 mit einem groß angelegten gemeinsamen Reinforcement-Learning-Post-Training über hunderte Downstream-Domänen hinweg trainiert, wobei teilweise Full-Attention-Schichten durch gated sparse attention Schichten ersetzt wurden, um den Aufwand der Langkontext-Modellierung zu senken.

Erwähnenswert ist, dass zwischen den „herunterladbaren“ und den „lokal ausführbaren“ Open-Weight-Modellen eine erhebliche Distanz besteht. Die bei BF16-Präzision gespeicherten Gewichtsdateien der 2.8 Billionen Parameter umfassen etwa 5.6TB, und selbst mit INT4-Quantisierung werden noch etwa 1.4TB benötigt – eine Bereitstellung auf Consumer-Grafikkarten eines einzelnen Rechners ist praktisch nicht möglich.

Im Terminal-Agenten-Benchmark Terminal-Bench 4.0 erreichte K3.1 Pro 65.7%, höher als GPT-6 Astra mit 58.2% und nur weniger als 1 Prozentpunkt hinter Claude Opus 5.5 mit 66.4%.

BenchmarkKimi K3.1 Pro
(max)
Claude Fable 5.1
(max, w/ fallback)
GPT-6 Astra
(max, w/ fallback)
Claude Opus 5.5
(max, w/ fallback)
DeepSeek-V4.1-Flash-1017
(max)
GLM-5.3
(max)
Coding
Terminal-Bench 4.065.757.958.266.442.341.8
Terminal-Bench-Science 0.138.140.068.163.315.78.1
SWE Marathon v1.151.745.642.546.340.042.5
BenchCAD w/o tools72.860.6—73.041.2—
BenchCAD w/ tools92.792.695.996.281.6—
Program Bench31.553.550.065.029.119.0
DeepSWE v1.175.567.474.174.277.066.9
PostTrain Bench v1.236.544.641.943.830.534.5
Kimi Code Bench 2.0 (intern)77.1———76.161.7
Kimi Code Bench 3.0 Long-horizon (intern)61.258.866.558.551.545.5
Agentic
HLE-Full mit Tools70.065.657.267.758.862.5
BrowseComp92.1—91.590.8——
BioMysteryBench80.681.678.981.980.079.6
CharXiv (RQ) mit Python93.492.792.893.885.6—
MMMU-Pro mit Python90.088.487.889.882.5—
GDP.pdf mit Python85.783.885.583.973.0—
ChartoGraphy mit Python90.288.491.089.083.0—
BabyVision mit Python95.495.196.697.792.5—
ZeroBench_main mit Python (pass@5)63.059.058.061.051.0—
Agents' Last Exam (ALL)43.2—41.842.637.726.2
Agents' Last Exam (CLI)44.2—44.240.736.029.4
Automation Bench-AA73.359.468.569.566.662.2
GDPval-AA v2.1 (Elo-Score)184617541573186617461650
AA-Briefcase v1.1 (Elo-Score)167816721569180315701507
APEX-Agents69.468.664.773.569.856.6
OfficeQA Pro v264.454.554.462.240.431.1
OfficeQA Pro67.468.666.2—62.458.6
Frontier Finance58.660.845.056.754.557.5
Harvey Legal Agent23.719.1——21.0—
HANDBOOK.md44.638.8—41.528.920.8
OSWorld V2.179.680.775.881.869.3—
Business Operation (intern)37.830.732.3—8.918.6
DECK-Arena (intern, Elo-Score)1456—1423125312311119
Design Bench (intern, Elo-Score)957—1076927863718
Kimi Hallu Bench Hard mit Tools (intern, niedriger ist besser)8.323.35.515.023.322.6
Reasoning & Knowledge & Multimodal
GDP.pdf34.627.634.230.617.211.2
HLE-Full51.157.653.659.842.643.0*
HLE-Diamond39.455.165.860.921.625.1*
GPQA-Diamond94.293.796.193.992.291.7
CharXiv (RQ)89.088.890.092.177.0—
MMMU-Pro84.186.386.987.780.6—
ZeroBench_main (avg@5 / pass@5)29.8 / 39.023.0 / 35.043.2 / 52.035.0 / 43.011.8 / 23.0—
PerceptionBench68.363.077.672.147.7—
Kimi Hallu Bench w/o tools (intern, niedriger ist besser)5.411.44.26.813.114.8
Cyber Security
ExploitBench74.783.010091.0—54.4
ExploitGym20.730.442.434.5—15.0
xdev-bench-hard (intern)81.0———85.757.1

Weiterführende Lektüre:

Originalquelle

IT之家 AI

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten