Kimi K3.1 Pro ist das neue #1-Modell unter den offen verfügbaren Modellen für agentische Cyberverteidigung, nur noch hinter dem Trusted-Access-Modell GPT-6 Sol (Daybreak Blue) auf dem Artificial Analysis Cyber Index
@Kimi_Moonshots Kimi K3.1 Pro erreicht 64% auf dem Artificial Analysis Cyber Index, 7 Punkte vor dem bisher führenden offen verfügbaren Modell, DeepSeek V4.1 Flash 1017 (57%), und 5 Punkte hinter GPT-6 Sol (Daybreak Blue, max, 69%), das nur über OpenAIs Trusted-Access-Programm verfügbar ist. Sobald die Gewichte von K3.1 Pro veröffentlicht werden, wird K3.1 Pro auch das führende Open-Weights-Modell für Cyberverteidigung sein.
Der Artificial Analysis Cyber Index misst die Fähigkeit bei agentischen Cyberverteidigungsaufgaben und besteht aus drei Benchmarks: CWE-Bench-AA, DeepsecBench-AA und CyberGym-E2E-AA. Der Index bewertet Modelle hauptsächlich über ihre öffentlich zugänglichen APIs und spiegelt so die für Entwickler verfügbaren Cyber-Fähigkeiten wider.
Proprietäre Modelle von OpenAI, Anthropic und Google mögen stärkere Cyber-Fähigkeiten haben, verlieren aber Punkte durch Sicherheitsverweigerungen: GPT-6 Sol (Daybreak Blue, max), verfügbar über OpenAIs Trusted-Access-Programm, liegt 32 Punkte über seinem öffentlichen Gegenstück. Kimi K3.1 Pro trifft auf keine Sicherheitsverweigerungen.
Wichtige Ergebnisse:
➤ #1-Modell unter den offen verfügbaren Modellen und #2 insgesamt: Kimi K3.1 Pro erreicht 64%, 23 Punkte mehr als Kimi K3 (41%) und vor DeepSeek V4.1 Flash 1017 (57%). Nur das Trusted-Access-Modell GPT-6 Sol (Daybreak Blue, max, 69%) schneidet besser ab
➤ Höchster CyberGym-E2E-AA-Score aller Modelle: K3.1 Pro erreicht 95% auf CyberGym-E2E-AA und liegt damit vor GPT-6 Sol (Daybreak Blue, 93%) und dem nächstbesten offen verfügbaren Modell, Mistral Large 4 (82%). Auf DeepsecBench-AA erreicht K3.1 Pro 37%, hinter GPT-6 Sol (Daybreak Blue, 48%) und GPT-6 Sol (46%). Auf CWE-Bench-AA erreicht es 61%, 4 Punkte hinter GPT-6 Sol (Daybreak Blue, 65%), während DeepSeek V4.1 Flash 1017 mit 69% führt
➤ 15% Anstieg der Cost per Task trotz niedrigerer Tokenpreise: K3.1 Pro hat eine Cost per Task von $2.81, höher als GPT-6 Sol (Daybreak Blue, max, $1.77) und DeepSeek V4.1 Flash 1017 ($0.42). Kimi K3.1 Pro ist 33% günstiger pro Token als Kimi K3 ($2/$10 vs. $3/$15 pro 1M Eingabe-/Ausgabe-Token), verwendet aber ~2x mehr Eingabe-Token, was zu einer 15% höheren Cost per Task führt ($2.81 vs. $2.45)