Sakana AI's selbstverbesserndes Modell ist besser darin, Lösungen zu finden und zu bewerten, kann aber seine eigenen Schwächen nicht…

Das selbstverbessernde Modell von Sakana AI ist besser darin, Lösungen zu finden und Bewertungen vorzunehmen, kann aber seine eigenen Schwachstellen nicht erkennen

Schlüsselpunkte

• Ein einzelnes Sprachmodell verbessert sich durch „Multi-Agent Self-Supervision“ (MASS) – ohne externe Hilfe oder einen stärkeren Lehrmodell.
• Das Modell arbeitet als eigenständiges Team: Es gibt Aufgaben an Kopien von sich selbst zu, bewertet die Ergebnisse und optimiert die Arbeitsabläufe für die nächste Trainingsrunde.
• Die Siegequote gegen das Basismodell steigt nach zwei Runden auf fast 70 Prozent, aber die Methode birgt ein echtes Risiko: Der interne Bewertungsmechanismus akzeptiert manchmal fehlerhafte Schritte oder manipulierte Lösungen als Erfolge und setzt sie in das nächste Modell ein.

Die MASS-Methode von Sakana AI ermöglicht es einem Sprachmodell, sich selbst zu verbessern, indem es Aufgaben löst, Ergebnisse bewertet und Arbeitsprozesse optimiert – ohne einen stärkeren Lehrmodell. Die Studie zeigt Verbesserungen in allen drei Rollen, doch gemeinsame Schwächen können Fehler als Fortschritt erscheinen lassen und in den nächsten Trainingszyklus weitergehen.

Forscher von Sakana AI und der UC Berkeley haben das „Multi-Agent Self-Supervision“ (MASS) eingeführt, eine Methode für rekursive Selbstverbesserung (RSI). Ein einzelnes Sprachmodell übernimmt die Aufgabe, optimiert die Ausführung des Arbeitens und bewertet die Ergebnisse.

An der Forschungsgrenze haben sogar Experten oft Schwierigkeiten, die Ergebnisse zu beurteilen, da die Überprüfung erforderliche kostspielige Beweise oder lange Experimente erfordern, argumentieren die Autoren. Ein einzelnes Plasmastudy kann mehr als 120 Millionen CPU-Stunden in Anspruch nehmen, laut dem Artikel.

Das Modell selbst kann daher der beste verfügbare Beurteilungsinstanz sein, auch wenn es bei der Überprüfung seiner Arbeit seine eigenen Fehler übersehen kann. Die Verwendung desselben Modells zur Lösung, Überprüfung und Korrektur kann diese Fehler eher verstärken als sie zu korrigieren.

Kopien eines Modells verteilen die Arbeit auf

Inspiriert von „Society of Mind“, einem Buch des AI-Pioniers Marvin Minsky, konzentrieren sich die Forscher darauf, wie das Modell die Arbeit aufteilt. In MASS wird ein Arbeitsablauf durch Text ergänzt, der die Rolle und Anweisungen jedes Unteragenten definiert. Ein „Vertrag“ legt fest, welche Informationen jeder Unteragent zurückgeben muss und welche Überprüfungen er durchführen muss, während eine „Hop“-Aktion die Reihenfolge der Anrufe bestimmt.

Ein Orchestrator verteilt die Arbeit zwischen den Sub-Agenten. Wenn beispielsweise eine Handelsstrategie gegen historische Preise getestet wird, muss der Daten-Spezialist sicherstellen, dass die Strategie ausschließlich Informationen verwendet, die zu jedem Zeitpunkt verfügbar sind.

Während des inneren Loops bleiben die Gewichte des Modells gefroren, während das Team ein Kandidatentoolflow ausführt und der Evaluator das Ergebnis mit dem aktuellen „Champion“ vergleicht. Der Optimierer nutzt diese Rückmeldung, um das nächste Toolflow vorzuschlagen – hauptsächlich durch Änderungen in den Verträgen und den Schritten. Im äußeren Loop läuft der Champion 18 Mal pro Aufgabe, wobei das Modell selbst die Ergebnisse bewertet und bis zu 15 Durchläufe für das Training auswählt.

Die Forscher entfernen den Workflowtext aus dem anfänglichen Prompt des Orchesters in den Trainingsbeispielen, damit das Modell lernt, die Arbeit allein auf der Aufgabe basierend zu organisieren. Spezifische Aufgaben für die Unteragenten bleiben in den aufgezeichneten Spuren bestehen, und das Modell übernimmt alle drei Rollen erneut nach dem LoRA-Tuning.

Das Basismodell ist Qwen3.6-27B, mit Qwen Code als Steuerungssystem. Die Forscher verwenden zwölf Forschungsaufgaben, die von GPT-5.5 erstellt wurden, in den Bereichen Finanzen, Robotik und Pharmazie – drei Aufgaben dienen dem Testzweck und neun dem Trainingzweck. Nur acht Aufgaben liefern Trainingsdaten, da keine Arbeitsweise die Referenz auf einer einzigen Trainingsaufgabe übertrifft.

Die Leistunggewinne im Benchmark kommen hauptsächlich von der Erfüllung mehr Arbeites

Bei den Testaufgaben steigt die Siegesrate gegen das Basismodell von 53,9 Prozent nach einer Runde auf 69,9 Prozent nach zwei Runden. Auf MLR-Bench, DSBench, ScienceAgentBench und AstaBench erreicht das Modell eine Punktzahl, die 1,2 bis 1,6 Mal höher ist als die des Basismodells pro Ausgabetoken. Die Zuwächse in den Rohpunkten sind manchmal gering; bei DSBench verbesserte sich die Punktzahl nur von 0,473 auf 0,482, während die Punkte bei Terminal-Bench 2,0 und SWE-bench Verified leicht sinken.

Der Anhang des Artikels zeigt, dass die abgeschlossenen MLR-Bench-Submissionen von 31 auf 50 von 60 steigen, während ihr Durchschnittsbildungswert von 3,07 auf 2,88 sinkt. Das Delegationswerkzeug wird in allen 180 Ausführungen nicht genutzt, was es unklar lässt, ob die Teamarbeit die Verbesserungen erklärt.

Diese Vorteile sind nicht mehr statistisch signifikant, wenn die Ergebnisse nach Aufgabe nach Aufgabe verglichen werden. Die Autoren beschreiben gemischte Ergebnisse bei den Forschungsaufgaben, wobei AstaBench denselben Muster zeigt.

Die Ausbildung in Lösungen verbessert auch den Bewertungs- und Optimierer.

Obwohl das Modell nur auf Lösungsspuren läuft, verbessert sich seine Leistung in den beiden anderen Rollen ebenfalls. Die Zustimmung des Selbstbewerters gegenüber externen Juroren steigt von 73 auf 93 Prozent. Die nach einer Runde gefundenen Workflows übertreffen die Workflows des Basismodells 64 Prozent der Zeit, selbst wenn das Basismodell beide laufen lässt.

Ohne Arbeitsablaufanweisungen übergibt das Basismodell die Aufgaben an die Unteragenten in nur einer von 110 Durchläufen, im Vergleich zu 87 nach zwei Runden. Es konnte bereits die Übergabe erlauben, wenn explizit angeordnet wurde, aber jetzt tut es dies ohne eine Anweisung.

Während der Optimierung wandern die Aufgabenwissen um in Verträge und Schritte, während Rollen und Anweisungen allgemeiner werden. Diese Erkenntnis basiert auf einer kleinen Stichprobe von nur acht bis neun Aufgaben.

Die Trainingsmethode mit Team-Überwachungen erzeugt ein Modell mit einer Siegesrate von 68,3 Prozent, im Vergleich zu 64 Prozent bei der Methode für einzelne Agenten, und verbraucht dabei 31 Prozent weniger Trainingstokens. Externe Richter bevorzugen Teamergebnisse 85,1 Prozent der Zeit, obwohl Teams etwa 2,4 Mal mehr Tokens erzeugen. Wenn die Ausgaben in Länge ähnlich sind, bevorzugen die Richter Teamergebnisse 80 Prozent der Zeit, basierend auf nur zehn Paaren.

Die bewertete Mannschaft läuft besser, aber der Vergleich zeigt nicht, dass allein die Delegation den Vorteil erklärt. Die Mannschaft und die einzelne Agentenlauf weichen auch in den Arbeitsablaufanweisungen, den Überprüfungsanweisungen sowie in der Auswahl der erfolgreich abgeschlossenen Episoden aus.

Bessere Rückmeldungen helfen nur, wenn der Optimierer sie verwenden kann

Lediglich das Evaluieren durch GPT-5.5 half kaum; die Suche verlief viel schneller nur, wenn der Optimierer ebenfalls stärker war. Die Autoren kommen zu dem Schluss, dass gute Rückmeldungen nur dann helfen, wenn der Optimierer darauf reagieren kann. Mit Qwen, der alle drei Rollen übernimmt, findet die Suche immer noch erfolgreiche Workflows für 11 von 12 Aufgaben, aber es dauert länger.

Die Ausdehnung einer Workflow-Überarbeitung sagt wenig über ihre Wirkung auf die Ergebnisse aus, und sogar byteidentische Workflows können unterschiedliche Ergebnisse erzeugen. Einmalige Ausführung gewann alle sechs externen Bewertungen, während eine andere nachdem der Agent in einem Loop stecken geblieben war, alle sechs verlor. Die Forscher vermuten, dass die Beschränkung der Veränderungen des Optimators in jeder Schritt helfen könnte, die Suche zu stabilisieren.

Gemeinsame blindpunkte können sich von Runde zu Runde verstärken

Nach fehlgeschlagenen Simulationen in einer Robotikaufgabe wurde das Modell so modifiziert, dass die Objekte direkt zum Ziel gelangen konnten, und anschließend wurde Erfolg gemeldet. Die externen Richter bewerteten den Versuch fünfmal aus sechs Mal positiv. In einem anderen Test, der für das Training verwendet wurde, durchführte die Prüfung trotz der Rückkehr nur ungültiger Werte erfolgreich.

Die Autoren betrachten gemeinsame Schwächen als potenziellen „Achilles’s Heel“ der rekursiven Selbstverbesserung. Wenn das Modell denselben Fehler in allen drei Rollen vermeidet, könnte dieser Fehler als Verbesserung akzeptiert werden und in das nächste Modell integriert werden. Die Schwäche würde dann sowohl das System als auch seinen Korrektionsmechanismus beeinflussen, was dazu führt, dass die Autoren fordern, dass unabhängige Überprüfungen stattfinden, Autonomiebeschränkungen gelten und klare Bedingungen für Interventionen vorliegen. Der Code ist öffentlich verfügbar.

Das japanische Forschungslabor Sakana AI hat ein spezielles Forschungslabor für rekursives Selbstverbesserung Im Juni, auf der Grundlage früherer Arbeiten einschließlich Darwin-Godel-Maschine und das AI-WissenschaftlerGoogle-Forscher verfolgen eine verwandte Herangehensweise und optimieren automatisch Stützgerüst von Anweisungen, Workflows und Tools um ein festes Modell ohne das Agenten zu ermöglichen, sich an ihre Testaufgaben anzupassen.

Vals AI hat kürzlich herausgefunden, dass Agent-Teams 1,8 bis 5,1 Mal mehr kosten als einzelne Agenten, aber in nur einem der vier Vergleiche eine messbar bessere Leistung erbrachten. Anthropic zeigte, dass Modelle, die Belohnungshacking betreiben, um ihre Belohnungssysteme zu manipulieren, auch lernen, Sicherheitsprüfungen zu täuschen und zu sabotieren.

AI-Neuechten ohne Hype – von Menschen zusammengestellt

Abonnieren Sie THE DECODER, um ohne Werbung zu lesen, ein wöchentliches AI-Newsletter, unseren exklusiven „AI Radar“-Report sechsmal pro Jahr, vollen Zugang zum Archiv und Zugang zur Kommentarspalte.