GPT-6-Astra löst 49 von 50 physikalischen Forschungsproblemen für 2,40 US-Dollar pro Problem.

GPT-6-Astra löst 49 von 50 physikalischen Forschungsproblemen für 2,40 US-Dollar pro Problem.

Eine neue Benchmark zeigt, dass die besten AI-Agenten theoretische Physikrechnungen genauso präzise lösen können wie führende Experten in jedem Teilbereich. Die Forscher hinter dieser Studie sagen, dass ein fehlender „Geschmack“ einer der Gründe dafür ist, warum bisher keine Durchbrüche erreicht wurden.

Fünfundzwanzig Forscher aus Institutionen wie dem Internationalen Zentrum für Theoretische Wissenschaften (ICTS), der Harvard-Universität, KU Leuven und Google DeepMind haben TheoPhysEval veröffentlicht. Das Benchmark enthält 50 unveröffentlichte Forschungsprobleme in der theoretischen Physik mit verifizierbaren Lösungen. Nach Angaben der Autoren würde ein führender Experte in diesem Bereich etwa einen Tag oder weniger benötigen, um ein typisches Problem ohne KI-Unterstützung zu lösen. Spezialisten aus angrenzenden Fachgebieten bräuchten deutlich mehr Zeit.

Das Team testete kommerziell verfügbare AI-Agenten und gab ihnen keine menschlichen Anweisungen. GPT-6-Astra, der im Codex-Umfeld von OpenAI läuft, war am erfolgreichsten. Er löste 49 von 50 Problemen zu 98 Prozent, bei einer durchschnittlichen Kostenstelle von unter 3 US-Dollar pro Problem und knapp unter 116 US-Dollar für das gesamte Benchmark.

Die Benchmark-Tests dienen der Routineforschung, nicht den großen Herausforderungen

Die Sammlung lässt bewusst wichtige offene Fragen weg und konzentriert sich auf die von den Autoren als „Turn-the-crank“-Probleme bezeichneten Aufgaben, bei denen Forscher bekannte Methoden auf eine leicht veränderte Frage anwenden. Die Mitwirkenden haben oft einige Werte in einer Berechnung aus ihren eigenen aktuellen Arbeiten angepasst, sodass das neue Ergebnis nicht aus dem alten Ergebnis abgeleitet werden kann. Laut den Forschern werden solche Probleme häufig als erster Schritt für Doktoranden in die Forschung eingesetzt.

Ein Beispiel aus der Forschung über Schwarze Löcher zeigt, wie anspruchsvoll diese Probleme immer noch sind. Die Lösung bedeutet, ein älteres Paper zu finden, seine Gleichungen von einem fünfdimensionalen in einen vierdimensionalen Raumzeit zu übernehmen und anschließend das Ergebnis mit einem speziellen Programm zu berechnen. Der Koordinator Suvrat Raju, ein Mitautor des älteren Papers, benötigte etwa einen Tag. Die Autoren schätzen, dass vor dem Erscheinen der modernen Agenten nur wenige Experten über das physikalische Wissen und die Erfahrung in diesen computergestützten Methoden verfügten. Selbst diese hätten mehrere Tage benötigt.

Die Probleme erstrecken sich auf elf Unterbereiche der theoretischen Physik – von Flüssigkeitsströmen und biologischen Prozessen bis hin zu Teilchenphysik und Kosmologie. Jeder Agent führte den Test zweimal durch: einmal unter realistischen Bedingungen mit Web-Suchfunktion und einmal isoliert ohne Internetzugang.

Anthropics Opus 5.5, das in Claude Code läuft, erreichte mit 92 Prozent den zweiten Platz. Google’s Gemini 3.8 Flash erzielte 68 Prozent, während die offenen-Modell-Versionen DeepSeek-V4.1-Flash und GLM 5.3 jeweils 54 und 42 Prozent erreichen. Die schwächeren Modelle machten manchmal Fehler, die ein Experte sofort erkennen würde. Bei dem Problem mit der Schwarzen Loch-Problematik kopierten Gemini und GLM die Formeln aus dem älteren Artikel unverändert während des Web-Suchvorgangs. Diese Formeln gelten für fünf Dimensionen, nicht für die erforderlichen vier.

Der Internetzugang machte überraschend wenig Unterschied. Ohne Web-Suche erzielten Astra und Opus jeweils 92 Prozent. Viele Probleme hängen von Formeln aus Forschungsartikeln ab, die die Modelle normalerweise nicht erhalten haben. Die Autoren betrachten dies als Zeichen dafür, dass führende Sprachmodelle einen großen Teil der theoretischen Physikliteratur effektiv memorisiert haben.

Mit der Web-Suche gelang es Astra, alles zu lösen – außer einem Problem, das alle Modelle behinderte. Es ging um eine Gleichung, die eine bestimmte Kurve erzeugt. Die Lösung der Experten basiert auf besonderen mathematischen Formen, die im weiteren Sinne als die erforderliche Differentialgleichung gelten. Die Autoren geben zu, dass das Problem „unfair“ erscheinen könnte, aber sie halten es realistisch, da Forscher oft den zugrunde liegenden Physikmechanismus aus ungenauen Daten ableiten müssen.

Mehrere AI-Fehler erwiesen sich als Fehler im Antwortkey

Für mehrere Probleme zeigten die Rückfragen mit den Experten kleine, schwer zu erkennende Fehler in ihren Referenzlösungen. Sobald diese behoben wurden, war Astras Antwort jedes Mal korrekt.

Dieses Muster könnte auch eine scheinbare Widersprüchlichkeit erklären. Die Agenten erreichen bei TheoPhysEval bessere Ergebnisse als bei einigen anderen Physik-Testkriterien, wie z. B. CritPt, obwohl die Autoren ihre eigenen Probleme im Durchschnitt als schwieriger einstufen. Eine jüngste Studie zeigte, dass einige theoretische Physik-Testkriterien falsch bewertet wurden und in manchen Fällen das, was die Modelle leisten können, falsch unterschätzt werden.

Jeder, der die Ergebnisse überprüfen möchte, kann die Aufgaben und die Testumgebung als Datenpaket auf Hugging Face herunterladen.

Warum haben starke Berechnungen keine physikalischen Durchbrüche gebracht

Die Autoren schreiben, dass einige der stärksten aktuellen Modelle bereits die besten menschlichen Forscher in konkreten Berechnungen übertroffen haben, sogar in spezialisierten Bereichen. Sie bezeichnen dies als einen wichtigen Meilenstein.

Der Einfluss ist noch deutlicher in der Mathematik, so die Autoren, wo AI-Agenten bereits wichtige offene Probleme gelöst haben. Laut OpenAI umfasst dies das Navier-Stokes-Problem bezüglich der Gleichungen, die den Fluidfluss beschreiben, eines der berühmten Millennium-Prize-Probleme. In der theoretischen Physik hat es bisher keinen vergleichbaren Durchbruch gegeben.

Die Autoren erklären, dass eine konkrete Berechnung mit einem verifizierbaren Ergebnis erst am Ende des Forschungsprozesses erfolgt. Vorher muss jemand eine Theorie aufbauen und die „richtigen“ Fragen stellen. Wenn ein Problem zu schwierig ist, wechselt ein guter Forscher zu einem ähnlichen, einfacheren und genauso interessanten Problem. Aktuelle Agenten sind dafür nicht geeignet.

Physiker teilen auch ein gemeinsames, wenn nicht einheitliches Verständnis dafür, was ein Problem interessant macht. Die Agenten haben diese „Geschmackskraft“ noch nicht. Wenn sie gebeten werden, neue Probleme zu entwickeln, verlieren sie sich in Details, die für einen Menschen langweilig wären.

Die Forscher betonen, dass diese Beobachtungen nicht quantifizierbar sind und keine Vorhersage darüber geben, wohin die KI unterwegs sein wird. Sie glauben, dass KI-Agenten in naher Zukunft selbst auf höherem Niveau forschen könnten, aber das erfordert mehr als nur die Fähigkeit, Probleme zu lösen.

Die KI verändert bereits die Art und Weise, wie Physiker ausgebildet werden und wer konkurrieren kann.

Die Autoren erkennen bereits die Konsequenzen für das Training. Bis vor kurzem hätten einige Benchmarkaufgaben als erste Forschungsprojekte für Forscher in der Anfangsphase gut funktioniert. Das ist jetzt nicht mehr angemessen, es sei denn, das Ziel ist explizit nur darin bestehend, das Material zu durchlaufen.

Sie weisen auch auf ein strukturelles Problem hin: Die theoretische Physik hat historisch gesehen viel weniger Geld benötigt als die experimentelle Forschung, wodurch die Chancen im Bereich relativ gleichmäßig waren. Fähige KI-Agenten könnten das ändern. Die Benchmark-probleme sind noch günstig zu lösen, und der gesamte Betriebskosten von Astra betragen etwa 116 US-Dollar. Für schwierigere Probleme erwarten die Autoren jedoch eine stark steigende Ressourcenbedarf. An diesem Punkt könnte das Budget einer Forschungsgruppe mehr Einfluss darauf haben, was sie erreichen kann – sogar in der theoretischen Physik. Die Autoren sagen, dass dies Fragen bezüglich des Zugangs und der gleichen Chancen im Bereich aufwerfe.

Mathematik führt bereits solche Debatten durch, beispielsweise bezüglich der Leiden-Deklaration. Die Autoren argumentieren, dass die theoretische Physik ebenfalls solche Debatten haben sollte, bevor die KI das Feld umstellt. Mindestens eine Denkschule in der Physik hat bisher Forscher dazu aufgefordert, „still zu sein und zu rechnen“. Wenn Geschmack und Vision immer wichtiger werden, müssen die Physiker vielleicht stattdessen „aufhören und nachdenken“.

AI-News ohne Hype – von Menschen zusammengestellt

Abonnieren Sie THE DECODER, um ohne Werbung zu lesen, ein wöchentliches AI-Bulletin, unseren exklusiven „AI Radar“-Bericht sechsmal pro Jahr, Zugang zum vollständigen Archiv und Zugang zur Kommentarsektion.

Lesen Sie weiter für das volle Bild.
Abonnieren, um eine ohne Hype-Übersicht zu erhalten.

• Vollzugriff auf jedes Artikel auf THE DECODER
• Keine Anzeigen
• Teilen Sie Ihre Kommentare und diskutieren Sie in der Community
• Wöchentlicher Überblick über AI-News per E-Mail
• 6x/Jahr: „AI Radar“ – tiefgehende Einblicke in die wichtigsten Themen der KI
• Tägliche AI-Meldungen, immer aktuell
• Unsere volle zehnjährige Archivdatenbank
• Von einem Team mit mehr als 10 Jahren Erfahrung im Bereich KI abgedeckt