IT之家 – Bericht vom 11. November: Die offizielle Google-Konto Android Developers-Seite (@AndroidDev) veröffentlichte gestern (10. November) auf der X-Plattform einen Tweet, in dem erstmals die Benchmark-Ergebnisse für die drei Modelle OpenAI GPT-6.1 Terra, Kimi K3.1 Pro und DeepSeek V4.1 Flash auf Android Bench angegeben wurden.
IT Home Anmerkung: Android Bench ist ein AI-ProgrammierBenchmark von Google für Android-Entwicklungsumgebungen. Es untersucht insbesondere die Fähigkeit von Modellen, echte ingenieurtechnische Aufgaben wie die Erstellung von Anwendungen, die Entwicklung von Funktionen, den Code-Übertragungsprozess und Anwendungsumwandlungen zu bewältigen.
Die neu hinzugefügte Kimi K3.1 Pro nutzt den kimi-code Agenten und erreicht bei 30 langfristigen Aufgaben eine Passgenauigkeit von 24,0 %, eine durchschnittliche Erfüllungsrate von 82,3 % und eine durchschnittliche Zeit von 27,4 Stunden. Der Kostenpunkt für eine einzelne Standardausführung beträgt 317,4 US-Dollar (im aktuellen Wechselkurs etwa 2.123 RMB).
Im horizontalen Vergleich liegen die Leistungen von Kimi K3.1 Pro höher als die von GPT 6 Astra, Claude Fable 5.1 und Gemini 4 Argon, aber niedriger als 28.7% von GPT 6.1 Terra.
DeepSeek V4.1 Flash 1017 nimmt an der Bewertung durch den opencode Intelligenzmodus teil und erreicht eine Passgenauigkeit von 17,3 %, eine Durchlaufrate von 71,2 % und eine durchschnittliche Laufzeit von 12,0 Stunden. Der einzelne Benchmark-Kostenaufwand beträgt 9,9 US-Dollar (entspricht nach aktuellem Wechselkurs etwa 66,2 Yuan). Obwohl die Passgenauigkeit niedriger ist als bei Kimi K3.1 Pro, zeigen sich eine bessere Geschwindigkeit und niedrigere Kosten – ideal für Entwicklungsteams, die auf Budget und Reaktionszeit achten.