CritPt v2 ist auf Artificial Analysis gestartet: Die CritPt-Autoren haben alle 70 Herausforderungen auf Forschungsniveau aus der Physik überprüft, und Modelle lösen sie nun mit einem Code-Ausführungs-Tool
Nach Feedback aus der Forschungscommunity hat das CritPt-Team zusammen mit Physik-Experten jede Herausforderung überprüft, unpräzise Formulierungen, Fehler und Tippfehler korrigiert und die Stabilität des Graders verbessert. Wir betreiben CritPt v2 nun agentisch: Modelle können Code in einer Offline-Sandbox mit Rechen-Tools schreiben und ausführen.
Wir werden den Intelligence Index Ende Oktober aktualisieren, einschließlich Änderungen an CritPt.
Die wichtigsten Erkenntnisse:
➤ Aktuelle OpenAI-Veröffentlichungen führen die Rangliste an: GPT-6 Astra (max) und GPT-6.1 Sol (max) erzielen mit 83% und 82% die höchsten Werte, gefolgt von Claude Opus 5.5 (max with fallback) mit 78% und GPT-5.6 Sol (max) mit 75%
➤ CritPt v2 zeigt den rasanten Fortschritt an der Spitze bei Physik auf Forschungsniveau: GPT-5 (high), veröffentlicht im August 2025, erreicht 29% auf CritPt v2, 54 Punkte unter GPT-6 Astra (max)
Dank an @MiniHui_zhu, @MinyangTian1, @haopeng_uiuc und das gesamte CritPt-Team für ihre Arbeit an dieser Überarbeitung und die anhaltende Zusammenarbeit