IT之家 Bericht vom 20. Oktober: Die AI Arena Arena hat heute bekanntgegeben, dass das neu veröffentlichte DeepSeek-V4.1-Flash-1017 die Agent Arena sowie die Code Arena: WebDev-Open-Source-Modell-Liste anführt und auf dem 11. Platz der Gesamtliste steht.
Die Rangliste der Agent Arena zeigt, dass DeepSeek-V4.1-Flash-20261017 (Max) den ersten Platz in der Open-Source-Modell-Rangliste und den 11. Platz insgesamt belegt. Laut den Daten der Rangliste erzielte dieses Modell aufgrund von 7498 echten Nutzungssitzungen eine Gesamtnutzenverbesserung von 5,13 %, und die Mediankosten für ein einzelnes Aufgabe ist etwa 0,18 US-Dollar (IT Home Hinweis: im aktuellen Wechselkurs entspricht das etwa 1,2 RMB).
Im Bereich der spezifischen Indikatoren belegt das Modell in allen Bereichen den ersten Platz: die Bestätigung des Aufgabeneffekts, die positive und negative Nutzerfeedback sowie die Zuverlässigkeit der Ausführung von Bash-Befehlen. Dabei beträgt der Indikator für die Bestätigung des Aufgabeneffekts 11,54 % und erreicht den 8. Platz in der Gesamtliste; der Indikator für das positive und negative Nutzerfeedback liegt bei 5,89 % und belegt den 11. Platz; der Indikator für die Zuverlässigkeit der Bash-Befehle beträgt 5,42 % und erreicht den 12. Platz. Der Indikator für die Erklärbarkeit liegt bei 2,46 % und belegt ebenfalls den 13. Platz – er ist ebenfalls der erste Platz unter den Open-Source-Modellen.
Die Rangliste von Arena zeigt auch, dass der Werkzeug-Illusion-Index des Modells 0,48% beträgt. Dieser Index dient dazu, Situationen zu messen, in denen das Modell Werkzeuge vorgibt zu besitzen, die es nicht hat. Ein niedrigerer Wert bedeutet weniger solche Probleme. Nach diesem Indikator belegt das Modell den 7. Platz in der Rangliste.
Was die Kosten angeht, beträgt das mittlere Durchschnittskosten für eine einzelne Aufgabe von DeepSeek-V4.1-Flash-20261017 (Max) etwa 0,18 bis 0,19 US-Dollar, wobei die Daten auf den verschiedenen Liste-Seiten leicht variieren.
Arena fügt dem Modell gleichzeitig die Pareto-Front für Leistung und Kosten hinzu, was bedeutet, dass es unter den verwendeten Metriken des Tests zu einem der Modelle gehört, die weder in Bezug auf Leistung noch in Bezug auf Kosten von anderen ausgewählten Modellen übertroffen werden können.
Relevante Lektüre: