Der Google-Ingenieur Haydn Belfield erklärt, dass trotz kontinuierlich zunehmender Automatisierung von KI in der Modellentwicklung derzeit keine messbaren Belege dafür vorliegen, dass eine von KI autonom angetriebene Forschung an Geschwindigkeit gewinnt.
Belfield weist darauf hin, dass KI derzeit bereits über 75 % des Produktionscodes schreibt, etwa 88 % der Codeänderungen jedoch weiterhin menschlicher Aufsicht oder Überprüfung bedürfen und jede Änderung vor dem Einreichen von Menschen geprüft werden muss. Der Anteil der vollständig der KI überlassenen Codeänderungen stieg von 7,5 % auf 11,9 %. Bei den 1389 Testläufen des internen Argon-Agenten galt: Je höher die Aufgabenkomplexität, desto niedriger die Erfolgsquote der KI ohne menschliches Eingreifen.
Eine Umfrage unter 12 leitenden DeepMind-Forschenden zeigt ebenfalls, dass KI bei klar definierten und überprüfbaren Aufgaben einen hohen Automatisierungsgrad erreicht, bei kreativer Forschung, Experimentdesign, der Diagnose von Trainingsanomalien und langfristiger Planung aber weiterhin auf Menschen angewiesen ist.
Im RE-Bench-Benchmark mit 74 realen Machine-Learning-Engineering-Aufgaben löste Argon rund 50 % der Aufgaben und lag damit über den 27 % von Gemini 3.7 Flash, jedoch noch mit Abstand vor einer vollständigen Automatisierung.
Um die Veränderung der KI-Fähigkeiten zu verfolgen, erstellte das Forschungsteam einen General Capability Index (GCI), der 123 Modelle und 92 Benchmarks umfasst. Die Daten zeigen, dass die Fähigkeiten des Gemini-Modells stabil mit einer Geschwindigkeit von etwa 0. 1 GCI-Punkten pro Monat wachsen, wobei noch keine statistisch signifikanten Anzeichen einer Beschleunigung aufgetreten sind. Das Team ist der Ansicht, dass die leicht über der Wachstumstrendlinie liegende Leistung von Gemini 4 Argon hauptsächlich auf erhöhte Rechenleistung und organisatorische Investitionen zurückzuführen ist und nicht auf eine durch KI selbst vorangetriebene Beschleunigung der Forschung und Entwicklung.
Derzeit schätzt das Forschungsteam die Risiken der Automatisierung KI-getriebener Forschung als noch relativ begrenzt ein, arbeitet aber laufend an der Verbesserung des Überwachungssystems. Gleichzeitig warnen mehr als 20 Forschende, darunter Geoffrey Hinton, Yoshua Bengio und der OpenAI-Chefwissenschaftler Jakub Pachocki, dass KI in den kommenden Jahren Forschungs- und Entwicklungsarbeit möglicherweise weitgehend automatisieren und jahrelange Fortschritte auf Monate verdichten könnte. Diese unterschiedlichen Einschätzungen verdeutlichen, dass bezüglich der Fähigkeit von KI zur Selbstverbesserung und ihrer potenziellen Risiken weiterhin große Unsicherheit besteht.