Die Löschung des Chatverlaufs hilft den AI-Agenten, bessere Lösungen zu finden

Die Löschung des Chatverlaufs hilft den AI-Agenten, bessere Lösungen zu finden

Lange laufende AI-Forschungsagenten können trotz zusätzlicher Rechenleistung stagnieren, wie eine Studie von Microsoft Research zeigt. Die angesammelte Konversationsebene kann ihre Suche einschränken, sodass sie sich auf ähnliche Lösungen konzentrieren und nicht nach besseren Ansätzen suchen.

Microsoft-Forscher untersuchten die sogenannten „Autoresearch-Agenten“ – KI-Systeme, die wiederholt Lösungen vorschlagen, diese bewerten und anhand von Rückmeldungen weiter verbessern. Acht unabhängige Durchläufe desselben Agenten bei derselben Aufgabe erreichen deutlich unterschiedliche Leistungsniveaus; die Endpunkte reichten von 68,3 bis 100,0. Diese Unterschiede bestanden auch unter erheblich mehr Rechenleistung, wie das Paper zeigt.

Agenten bleiben in „Ideenbecken“ stecken

Die Forscher zeichneten die Lösungen aller Durchläufe auf eine zweidimensionale Karte, die ähnliche Lösungen in der Nähe zueinander platzierte, und verglichen sie anschließend. Die Lösungen aus einem einzigen Durchlauf blieben fast immer innerhalb eines kleinen Bereichs der Karte. Die Autoren nennen diese Bereiche „Ideebecken“.

Die Agenten verwenden einen großen Teil ihres verbleibenden Rechenbudgets dazu, Lösungen in einer weniger produktiven Region zu verbessern, anstatt bessere Ansätze zu finden, die durch andere Ausführungen entdeckt wurden. Dieses Muster besteht auch dann fort, wenn die Agenten ihre Gesprächsgeschichten periodisch komprimieren.

Das Löschen des Chatverlaufs ermöglicht es den Agenten, neue Ansätze auszuprobieren

Die vorgeschlagene Methode „Fork-and-Flush“ kombiniert zwei Mechanismen. Bei der „Forking“-Phase teilt sich das Agentenmodell in K parallelen Zweige auf, wobei jeder Zweig den vorherigen Arbeitsbereich sowie alle generierten Dateien erhält. Bei der „Flushing“-Phase verliert jeder Zweig seinen gesamten Chat-Kontext, behält aber den Arbeitsbereich bei, sodass er eine neue Konversation starten und auf frühere Arbeiten aufbauen kann.

Eine Branch, die den Chat-Kontext des Elternprozesses behält, neigt dazu, zu demselben Ideenbecken zurückzukehren, da der vorherige Gedankengang die nächsten Schritte bestimmt. Ein neuer Kontext erzeugt Vielfalt in der Suche. Die Gesprächshistorie geht verloren, aber der Code, die Dateien und gespeicherte Ergebnisse bleiben im Arbeitsbereich.

Ein 66-prozentiger höherer Normalisierter Durchschnittskoeffizient mit demselben Rechenbudget

Die Forscher haben Fork-and-Flush an 13 langwierigen Aufgaben getestet, darunter das Verpacken von Polyominos, die Planung von Arbeitsschichten und Kryptanalyse. Die Aufgaben umfassten auch die Komprimierung eines CIFAR-Klassifikators sowie die Optimierung eines VLIW-Kerns. Die einzelnen Durchläufe dauerten von mehreren Stunden bis über 100 Stunden. Die Agenten verwendeten GPT-5.6-terra und GPT-5.5 über die GitHub Copilot CLI.

Mit demselben Rechenbudget erreichte Fork-and-Flush eine min-max-normalisierte Durchschnittsnote von 0,78, verglichen mit 0,47 bei Einzelrunden und 0,54 bei Best-of-4. Das Paper berichtet über relative Gewinne von 66,0 und 44,4 Prozent. Die Methode erreichte die höchste durchschnittliche Note bei 12 von 13 Aufgaben.

Fork-and-Flush erzielte ebenfalls konsistentere Ergebnisse, wobei die normierte Standardabweichung von 0,26 auf 0,16 fiel bei einzelnen Durchläufen. Das einfache Löschen des Chats kontexts ohne Branching verbesserte die Ergebnisse um 22 Prozent.

Stärkere Modelle benötigen möglicherweise noch eine Wiederherstellung des Kontexts

Die Forscher testeten auch, ob leistungsfähigere Modelle die Ideenbecken vermeiden können, indem sie… MAX-3-SAT-Probleme Über drei Modellgrößen: Qwen3.5-4B, 9B und 27B. Die Variabilität zwischen den Durchläufen folgte einer umgekehrten U-förmigen Kurve, die am Punkt bei Aufgaben an der Grenze der Modelleigenschaften ihren Höhepunkt erreichte – ungefähr auf halbem Weg zwischen dem Leistungsvermögen des zufälligen Rätsellösens und der Leistung des Referenzlösers.

Die Autoren argumentieren, dass offene Forschungsprobleme nach Definition an den Grenzen der Fähigkeiten der Modelle liegen. Sie erwarten, dass die Variationen des „Fork-and-Flush“-Vorgehens weiterhin bestehen bleiben, während die Modelle verbessert werden – die Grenze verschiebt sich lediglich zu schwierigeren Problemen. Die Ergebnisse deuten darauf hin, dass regelmäßige Kontextauflösungen auch für Forschungsagenten auf der Spitze des Feldes nützlich bleiben könnten.

AI-News ohne Hype – von Menschen zusammengestellt

Abonnieren Sie THE DECODER, um eine adsfreie Lektüre, ein wöchentliches AI-Bulletin, unseren exklusiven „AI Radar“-Bericht sechsmal jährlich, Zugang zum vollständigen Archiv und Zugang zur Kommentarspalte zu erhalten.

Lesen Sie weiter, um das volle Bild zu erhalten.
Abonnieren, um eine unbeeinflusste Berichterstattung zu erhalten.

• Vollzugriff auf jedes Artikel auf THE DECODER
• Keine Anzeigen
• Teilen Sie Ihre Kommentare und Diskussionen in der Community mit
• Wöchentlicher AI-Newsüberblick per E-Mail
• 6x/Jahr: „AI Radar“ – tiefe Einblicke in die wichtigsten Themen der KI
• Tägliche AI-news, immer aktuell
• Unsere vollständige zehnjährige Archivdatei
• Beschützt von einem Team mit mehr als 10 Jahren Erfahrung in KI