Eine neue Benchmark namens TasteVal misst, wie gut KI-Systeme selbst Experimente entwerfen und die Ergebnisse interpretieren. Die Erkenntnisse zeigen eine außergewöhnlich steile Verbesserungskurve.
Laut Jack Clark, Co-Gründer von Anthropic, hat diese Fähigkeit seit Dezember 2025 alle drei Monate etwa das Doppelte erreicht. Das Forschungslabor P-Zero Research nennt es „Forschungsgeschmack“, was bedeutet, dass man die richtigen Experimente auswählen und aus ihnen die richtigen Schlussfolgerungen ziehen kann. Das beste Modell, das getestet wurde, übertrifft eine Vergleichsgruppe von 24 menschlichen Experten bei einem Bruchteil der Kosten.
Clark war Mitbegründer von Anthropic und schreibt den Import AI Newsletter. Basierend auf den Zahlen glaubt er jetzt, dass rekursives Selbstverbesserungsverfahren (RSI), bei dem KI-Systeme ihre eigenen Nachfolger entwickeln, bereits im Jahr 2027 möglich sein könnte. Zuvor hatte er 2028 als Zeitpunkt erwartet.
Der Benchmark beweist nicht, dass die KI-Systeme bereits sich selbst verbessern, da er nur einen begrenzten Teil der wissenschaftlichen Arbeit abdeckt. Doch zeigt er, in welche Richtung die Debatte geht – weg von der reinen Leistung des Modells und hin zur Frage, wie viel unabhängige Forschungsarbeit die Sprachmodelle tatsächlich übernehmen können.
TasteVal misst nur einen Teil der Situation
P-Zero Research definiert den Forschungsgeschmack als drei Fähigkeiten: die Identifizierung von Forschungsthemen, die es wert sind, erforscht zu werden, die Gestaltung von Experimenten zur Beantwortung dieser Themen sowie die korrekte Interpretation der Ergebnisse. TasteVal testet nur die letzten beiden. Die Wahl der vielversprechendsten Forschungsrichtung gilt oft als Kern der wissenschaftlichen Intuition – doch bei TasteVal wird diese Entscheidung bereits für das Modell getroffen.
Jede der acht Aufgaben legt einen festen Forschungsziel aus dem Entwickeln von KI-Modellen fest, zusammen mit einer messbaren Punktzahl. Die Aufgaben umfassen Bereiche wie die Auswahl von Trainingsdaten, das Vortraining und das Feinjustieren von Sprachmodellen, das Training auf menschlichen Präferenzen sowie der Schutz vor antagonistischen Anfragen.
Das Modell entscheidet, welches Experiment als nächstes ausgeführt wird, und nutzt die Ergebnisse, um den nächsten Schritt zu bestimmen. Um die Programmierfähigkeiten nicht beeinflussen zu lassen, führt ein feste Programmierer Agent alle Experimente auf einer einzigen Nvidia H100-GPU aus. Jede Ausführung endet nach 40 GPU-Stunden oder 120 Stunden wall-clock Zeit.
Die menschliche Baseline entstand aus 24 Experten, die kürzlich bei Unternehmen wie OpenAI, Google DeepMind, Nvidia und Microsoft Research gearbeitet hatten. Sie übernahmen dieselben Aufgaben, wobei mindestens zwei Personen pro Aufgabe beteiligt waren. Die beste menschliche Leistung für jede Aufgabe diente als Benchmark.
Forschung zum Geschmack gemessen an der Rechenleistung
Um die Forschung als messbaren Ergebnis zu machen, übersetzt P-Zero Research sie in Rechenleistung. Der Grund dafür ist, dass die Rechenzeit in der KI-Forschung knapp ist. Deshalb bedeutet die Auswahl der richtigen Experimente und die korrekte Analyse ihrer Ergebnisse weniger Durchläufe und mehr Fortschritt mit dem gleichen Budget.
Das Labor nutzt sein „AI Futures Modell“, das vorhersagt, dass die Rechenleistung für Experimente zum größten Engpass wird, sobald das Programmieren automatisiert wird. So misst TasteVal, wie viel Rechenleistung ein Modell benötigt, um die Bewertungen der Experten zu erreichen. Ein Modell, das mit der Hälfte der Rechenleistung dorthin kommt, hat durch diese Definition das Doppelte Forschungsinteresse. P-Zero Research nennt dieses Verhältnis den Rechenleistungsmultiplikator.
Das Top-Modell, Anthropics Opus 5.5, erreichte einen Rechenmultiplikator von 2,3 und erzielte Ergebnisse auf Expertenniveau – mit weniger als der Hälfte des benötigten Rechenaufwands. Der statistische Bereich erstreckt sich jedoch von 1,15 bis 4,37. Am unteren Ende würde das Modell kaum überlegen sein. Ein einzelner Versuch kostete etwa ein Drittel des Durchschnittsoffenspiels eines Experten.
Über mehrere Modellgenerationen hat sich der Rechenmultiplikator alle drei Monate seit Dezember 2025 etwa verdoppelt. Die Unsicherheit ist auch hier groß, da die gemeldete Verdoppelungszeit zwischen 1,7 und 5,0 Monaten liegt.
In den Vorjahren veränderte sich der Forschungsgeschmack der Modelle viel langsamer. Die Kurve wurde erst um die Wende von 2025 auf 2026 steiler. Ob das eine dauerhafte Tendenz ist, lässt sich nicht anhand eines einzigen Indikators feststellen, und die Autoren selbst geben zu, dass ihre Ergebnisse möglicherweise übertreiben könnten, „wie schnell der Forschungsgeschmack verbessert wird“. Die Aufgaben können schnell und kostengünstig überprüft werden, und das ist die Art von Aufgabe, die AI-Labore am einfachsten für die Optimierung finden. Der Vergleichsgruppe waren auch keine Top-Researcherinnen und -ernährte dabei.
Clark zieht seine Zeitlinie vorwärts
Clark hat seit langem Kreativität als entscheidenden Faktor dargestellt, wie schnell AI-Systeme sich selbst verbessern können. Anfangs dieses Jahr schrieb er, dass die Modelle diese Fähigkeit nicht auf eine bahnbrechende Ebene gezeigt hätten. Nun weist er auf Fortschritte in mathematischen Durchbrüchen und Benchmarks wie TasteVal hin, als Zeichen dafür, dass sich das ändert.
In einem langen Artikel im Mai hatte Clark vorsichtige Zahlen angegeben. Er schätzte die Chancen eines Systems, das unabhängig einen stärkeren Nachfolger ausbildet, auf etwa 60 Prozent bis Ende 2028 und 30 Prozent bis 2027. Diese Prognose stammt von jemandem, der zusammen mit einem Unternehmen gegründet hat, dessen Modell den Benchmark anführt – was eine Ebene von Voreingenommenheit in die Vorhersage einbringt.
Kritiker haben genau an dieser Fähigkeit eine Grenze gezogen
TasteVal ist wichtig, weil es die genaue Fähigkeit misst, die die Skeptiker als Hindernis für einen großen AI-Fortschritt identifiziert hatten. Der AI-Forscher Herbie Bradley widersprach Clark’s Mai-essay und argumentierte, dass zwar Modelle vermutlich die Arbeit junger Forscher übernehmen könnten, aber anspruchsvollere Fähigkeiten wie Forschungsgeschmack, Kreativität und kohärentes langfristiges Forschungsplanen waren nicht in Sicht.
Wenn es um die Planung und Bewertung von Experimenten geht, setzt TasteVal gegen diese Bewertung an, obwohl es nichts über die Auswahl einer langfristigen Forschungsagenda sagt.
Wie groß der praktische Unterschied bleibt, zeigt eine Studie über die Entwicklung von KI-Agenten, die von einem Team an der Fudan-Universität durchgeführt wurde. Die Forscher analysierten die Entwicklung ihres eigenen Modells und stellten fest, dass KI-Agenten bis zu 55 Prozent der Methodenvorschläge lieferten, aber Menschen trafen noch immer über 85 Prozent der endgültigen Entscheidungen. Die Autoren bemerkten, dass es unklar bleibt, wie KI vielfältige Forschungsrichtungen generieren und deren Wert bevor die Ergebnisse vorliegen bewerten kann – und genau das ist es, was TasteVal mit den Modellen macht.
Die Debatte verändert sich
Der Benchmark kommt mitten in einer Debatte, die die großen KI-Labore selbst ausgelöst haben. Im Juni schrieb Anthropic, dass die rekursive Selbstverbesserung noch nicht erreicht wurde, aber „könnte früher als die meisten Institutionen erwarten“ geschehen. Anthropic-CEO Dario Amodei ruft jetzt um eine kontrollierte Verlangsamung der KI-Entwicklung, während OpenAI erkennt, dass vollautonome RSI noch nicht stattfinden und sagt, dass sie nur verfolgt werden sollten, wenn eine menschliche Überwachung gewährleistet ist.
TasteVal ändert, was als Fortschritt gilt. Lange Zeit lag der Fokus darauf, wie gut Modelle klare Aufgaben wie Mathematikaufgaben oder Programmierherausforderungen lösen, aber jetzt geht es immer mehr darum, ob sie Entscheidungen treffen können, die die Forschung vorantreiben.
Wenn die von P-Zero Research gemessene Tendenz in anderen Tests bestehen bleibt, haben die Auswirkungen beide Seiten. Die Entwicklung von KI würde schneller und kostengünstiger werden, aber gleichzeitig wird ein größerer Anteil der Forschung für Menschen schwieriger zu überprüfen sein, da die Modelle ihre eigenen Experimente planen und bewerten würden.