IT之家 Nachricht vom 17. Oktober: OpenAI hat im September dieses Jahres einen 166-seitigen Beweis im Zusammenhang mit den Navier-Stokes-Gleichungen (Navier–Stokes equations) veröffentlicht und behauptet, sein internes KI-System habe die Lösung dieses Millenniumsproblems in etwa 88 Stunden vollbracht.
Doch während die mathematische Fachwelt die Arbeit weiter prüft, äußern Forscher zunehmend Zweifel an der im Beweis verwendeten Methode, an dessen Verhältnis zu bestehender Forschung sowie daran, wie groß der tatsächliche Beitrag der massenhaft eingesetzten KI-Agenten war.
Der Mathematiker Gonzalo Cao-Labora wies daraufhin,OpenAI habe die Arbeit möglicherweise vorschnell veröffentlicht, ohne sie selbst verstanden zu haben。
Er erklärte, die Details von OpenAIs Beweis zeigten einen anderen Weg als die zuvor von den spanischen Mathematikern Diego Córdoba und Luis Martínez-Zoroa vorgeschlagene Methode; die Ähnlichkeiten dürften eher oberflächlicher Natur sein.
Mehrere an der Durchsicht beteiligte Expertengruppen erklärten gegenüber Scientific American, es gebe zunehmend Anzeichen dafür, dass OpenAIs Beweis dem „spanischen Weg“ nicht gefolgt sei. Das bedeutet, dass OpenAI die Leistung offenbar nicht vollständig verstanden hatte, als sie das Ergebnis veröffentlichte.
Hinweis von IT之家: Die Navier-Stokes-Gleichungen beschreiben Fluidbewegungen und zählen zu den vom Clay Mathematics Institute ausgelobten Millennium-Problemen. OpenAI veröffentlichte die entsprechende Forschung am 8. September und behauptete, sein internes Modell habe den mathematischen Beweis erbracht; zugleich wurde der in der formalen Verifikationssprache Lean verfasste Beweis öffentlich zugänglich gemacht. OpenAI erklärte, sein Forschungsteam habe rund 10.000 KI-Agenten eingesetzt und nach etwa 88 Stunden das Ergebnis erhalten; anschließend habe die Formalisierung und Verifikation etwa 17 Stunden gedauert.
Lean kann überprüfen, ob die logischen Ableitungen in einem formalen Beweis den festgelegten Regeln entsprechen, doch eine bestandene formale Verifikation bedeutet weder, dass das vom Beweis gelöste Problem tatsächlich dem wissenschaftlichen Problem entspricht, das die Forscher ursprünglich im Blick hatten, noch, dass der Beweisgedanke für Menschen leicht verständlich ist. Der von OpenAI veröffentlichte Beweis umfasst 166 Seiten; die mathematische Fachwelt prüft derzeit noch die konkrete Methode und die Schlussfolgerungen.
Einer der Streitpunkte besteht darin, wie stark OpenAIs Forschung tatsächlich mit dem zuvor von Córdoba und Martínez-Zoroa verfolgten Forschungsweg zusammenhängt.
Scientific American merkte an, OpenAIs Beweis nutze das Term für externe Kräfte in den Navier-Stokes-Gleichungen und konstruiere ein Szenario, in dem die Fluidgeschwindigkeit in endlicher Zeit unbegrenzt wächst.
Mathematiker bewerten die Bedeutung dieses Ergebnisses unterschiedlich: Es entspricht einem von der ursprünglichen Problemformulierung des Clay Mathematics Institute erlaubten Szenario, löst jedoch nicht die beachttere Frage, ob die Lösungen der dreidimensionalen Navier-Stokes-Gleichungen ohne äußere Kräfte stets glatt bleiben.
Hinsichtlich der Zuschreibung der Forschungsergebnisse äußerte der Mathematiker der New York University, Tristan Buckmaster, den Verdacht, OpenAIs Forschung könnte von seinen eigenen Arbeiten mit dem Anthropic-Mitarbeiter Levent Alpöge unter Verwendung öffentlich verfügbarer Modelle profitiert haben.
OpenAI dementierte die Verwendung relevanter Daten von Buckmaster und erklärte in einer am 10. September aktualisierten offiziellen Mitteilung, nach Untersuchungen könnten die von Buckmaster in den zwei Monaten zuvor in Codex eingegebenen Prompts diese Forschung auf keinerlei Weise beeinflusst haben, auch nicht durch Modelltraining. Doch bislang bestehen die beiden Parteien weiterhin uneinig über das Verhältnis zwischen Forschungsmethoden und Ergebnissen.
Eine weitere Frage, die noch keine eindeutige Antwort gefunden hat, ist, wie viel die Zusammenarbeit dieser Agenten tatsächlich beigetragen hat. OpenAI erklärte offiziell, die Forschung habe etwa 10.000 parallel laufende Agenten umfasst, die insgesamt rund 2,7 Millionen Nachrichten versendet und etwa 130 Milliarden Ausgabe-Token verwendet hätten. Diese Zahlen spiegeln jedoch nur den Rechenaufwand und den Ablauf wider und belegen nicht direkt den tatsächlichen Beitrag der Multi-Agenten-Architektur zum Endergebnis.
Auch der OpenAI-Forscher Noam Brown wies darauf hin, dass den Forschern derzeit unklar sei, welchen zusätzlichen Nutzen ein derart groß angelegter Agenten-Schwarm tatsächlich bringe. Da systematische Kontrollexperimente mit Tausenden Agenten sehr kostspielig sind, haben die Forscher bislang nicht ausreichend verglichen, wie lange ein einzelner Agent für dieselbe Aufgabe benötigt, und es ist schwer genau zu bemessen, welchen Vorteil 10.000 Agenten gegenüber 1000 Agenten haben.Brown schätzte, dass der Beitrag der Multi-Agenten-Kollaborationsarchitektur zu diesem Erfolg möglicherweise weniger als 10% beträgt。
Seiner Ansicht nach erhalten KI-Agenten wegen ihrer Neuheit und der großen öffentlichen Aufmerksamkeit leicht mehr Anerkennung, als ihrem tatsächlichen Beitrag entspricht; entscheidend dürften vielmehr die Fähigkeiten der zugrunde liegenden Modelle selbst sowie deren Eigenschaft sein, Aufgaben über lange Zeiträume kontinuierlich bearbeiten und parallel mehrere Lösungsansätze erkunden zu können.
Anfang des 10. Monats veröffentlichte OpenAI zudem etwa 400 mathematische Forschungsergebnisse.Die mathematische Fachwelt erklärte übereinstimmend, allein die Aufarbeitung dieser Inhalte werde Jahre dauern。
Diese Ergebnisse wurden in relativ loser Form gesammelt auf GitHub veröffentlicht, was erneut Unmut among einem Teil der Mathematikforschenden auslöste. Sie befürchten, dass die gebündelte Veröffentlichung einer großen Menge an Ergebnissen ohne ausreichende Erklärung, Aufbereitung und wissenschaftlichen Austausch die Lesbarkeit mathematischer Forschungsergebnisse mindern und zudem den Unterschied zwischen rigoroser Forschungsvalidierung und massenhaft automatisch generierten Resultaten verwischen könnte.
Derzeit bewertet die mathematische Fachwelt die einschlägige Forschung von OpenAI noch. Bei dem Streit geht es nicht nur darum, ob KI formalisierte Beweise erzeugen kann, sondern auch darum, ob die Forschungsmethode das Zielproblem tatsächlich gelöst hat, wie die Ergebnisse zuzuordnen sind und wie der tatsächliche Beitrag von Multi-Agenten-Systemen gemessen werden sollte.
Verwandte Lektüre: