Moderne LLMs erzielen beeindruckende Leistung durch Pre-Training und In-Context-Learning (ICL). Einmal eingesetzt, bleiben sie jedoch weitgehend statisch und arbeiten mit einem festen Wissensstand, der es ihnen unmöglich macht, langfristige Fähigkeiten zu erwerben oder sich an neue Informationen anzupassen.
Während es naheliegend erscheint, Modelle mit neuen Daten zu aktualisieren, lösen kontinuierliche Parameteraktualisierungen oft katastrophales Vergessenaus, ein grundlegendes Problem, bei dem das Lernen neuer Aufgaben die Leistung bei zuvor gelernten Aufgaben erheblich verschlechtert. Alternativ dazu beschränkt eine strikte Abhängigkeit von ICL die Wissensspeicherung auf das unmittelbare Kontextfenster: Sobald die Kontextsitzung endet, werden die erworbenen Kurzzeitinformationen vergessen.
Inspiriert davon, wie das menschliche Gehirn während der Ruhe Erinnerungen verarbeitet und stabilisiert, führen wir ein Sleep-Framework im kontinuierlichen Lernen ein: ein Lernparadigma, das große Sprachmodelle (LLMs) mit einem kontinuierlichen periodischen Lebenszyklus ausstattet, der es ihnen ermöglicht, kontinuierlich zu lernen und fragile Kurzzeitkontexte in stabile Langzeitparameter zu konsolidieren. Mit diesem Framework zeigen wir, dass der Wechsel zwischen aktiver Interaktion und offline stattfindender Gedächtniskonsolidierung es LLMs ermöglicht, kontinuierlich neue Fakten zu erwerben, Langkontextwissen bis zu 10M Tokens zu behalten und komplexes Schlussfolgern zu verbessern.
Machine Learning neu gedacht: Aktive (Wake-) vs. Schlafphasen
Traditionelles Machine Learning beruht auf einer strikten Trennung zwischen Training und Inferenz. In einem kontinuierlichen Lernframework wird diese Unterscheidung künstlich; ein intelligenter Agent muss ständig lernen, sich anpassen und Informationen verarbeiten.
Unter dem Schlafparadigma arbeitet ein LLM in zwei Hauptzuständen:
- Aktive (Wake-)Phase: Das Modell empfängt, verarbeitet und interagiert aktiv mit Eingaben und speichert temporäre Informationen in schnellen Kurzzeitgedächtniskomponenten.
- Schlafphase: Das Modell pausiert die Verarbeitung neuer Eingaben und richtet seine internen Berechnungen auf Gedächtniskonsolidierung und Selbstverbesserung aus.
Während Begriffe wie "Schlaf", "Träumen" und "Selbstverbesserung" aus der Neurowissenschaft entlehnt sind, arbeitet unser Framework vollständig innerhalb einer festen Modellarchitektur und von Menschen definierter Trainingsregeln. Während der offline Schlafphase schaltet das Modell vorreservierte Mixture-of-Experts-(MoE-)Speicherblöcke frei und aktualisiert seine numerischen Gewichte anhand selbsterzeugter Übungbeispiele. Dieser automatisierte Post-Training-Zyklus hilft einem eingesetzten Modell, neue Fakten aufzunehmen und seine Schlussfolgerungsgenauigkeit zu schärfen, während Codebasis und Design unverändert bleiben.
Schlüsselkomponenten des Schlafprozesses
Das Schlafparadigma begegnet katastrophalem Vergessen und kontinuierlicher Anpassung durch zwei Stufen: Gedächtniskonsolidierung und Träumen.
1. Gedächtniskonsolidierung
Im menschlichen Gehirn konsolidiert Non-REM-Schlaf (slow-wave sleep) fragile Erinnerungen durch Abstraktion und Destillation in Langzeitstrukturen. Unser vorgeschlagenes Sleep-Framework spiegelt dieses Naturphänomen durch zwei technische Schlüsselmechanismen wider:
- Parametererweiterung & kontinuierliche Speicherhierarchie: Um katastrophales Vergessen zu verhindern, skaliert das Modell seine Kapazität während des Schlafs dynamisch. Unter Verwendung eines Mixture of Experts (MoE) und Hoffnung Architektur werden neu freigeschaltete, niedrigrangige Experten in stabile Speicherblöcke mit niedrigerer Frequenz integriert, um eingehendes Wissen zu speichern, ohne ältere Parameter zu stören.
- Wissens-Einsaat (aufwärtsgerichtete Destillation): Fragile Kurzzeitgedächtnisse, die in Hochfrequenzschichten gespeichert sind (z. B. im Kontextgedächtnis), werden in die neu erweiterten Langzeitparameter übertragen. Dies wird durch Generalized Knowledge Distillation (GKD) in Kombination mit reinforcement learning (RL) basiertem Imitationslernen:
- On-Policy-Destillation: Das erweiterte Schülermodell lernt tokenspezifisches Feedback aus Lehrerverteilungen, die auf selbst erzeugten Sequenzen generiert werden.
- Lernen durch Nachahmung (LTI): Das Schülermodell wird auf der Grundlage semantischer und absoluter Ähnlichkeit (Levenshtein-Distanz) belohnt, wenn es Präfixe von lehrergenerierten Texten vervollständigt.
- Synaptisches Beschneiden: Sobald die Speicherkonsolidierung in die Module mit niedrigerer Frequenz abgeschlossen ist, werden die temporären Hochfrequenzparameter zurückgesetzt, um Kapazität für künftige aktive Sitzungen freizugeben.
Überblick über unser Sleep-Framework: Eingabeströme aus der aktiven Phase werden im Kurzzeitgedächtnis gespeichert, bevor sie in den Schlafzyklus eintreten, der sich in Konsolidierung (Übertragung fragiler Kurzzeit-Token in erweitertes parametrisches Langzeitgedächtnis unter Verwendung von Low-Rank-Strukturen und MoE) und Dreaming (autonome Selbstverbesserung durch synthetisches Routing mit zufälligen Experten und RL-Verfeinerung) verzweigt.
2. Dreaming zur Selbstverbesserung
Während des REM-Schlafessimuliert das menschliche Gehirn aktiv Szenarien, festigt emotionale/semantische Verbindungen und erkundet neuartige neuronale Pfade. In Anlehnung daran implementiert das Schlaf-Framework während der „Traumphase“ eine autonome Selbstverbesserungsschleife:
- Zufällige Expertenauswahl: Während der synthetischen Datengenerierung aktiviert der MoE-Router zufällig nicht-standardmäßige Experten. Dies zwingt das Modell, unterschiedliche Wissensdomänen zu vermischen und latente Muster aufzudecken.
- Kuratierte Wiederholung: Das Modell erzeugt synthetische Trainingsbeispiele („Träume“) und filtert sie mittels gradientenbasierter Datenauswahl, um Beispiele mit dem höchsten Potenzial zur Steigerung der Gesamtfähigkeit des Modells zu priorisieren.
- RL-Verfeinerung: Das Modell führt überwachtes Fine-Tuning auf den am höchsten bewerteten Traumbeispielen durch und bewertet, ob die Generierung die Leistung bei nachgelagerten Aufgaben verbessert.
Theoretische Grundlagen
Über die empirischen Ergebnisse hinaus stützt sich unser Schlaf-Paradigma auf eine Theorie, die klärt, warum seine beiden Phasen (Gedächtniskonsolidierung und Träumen) kontinuierliches Lernen unterstützen können, ohne neues Wissen einfach gegen alte Fähigkeiten einzutauschen.
Für die Gedächtniskonsolidierung zeigt die Analyse, dass das Wissen-Seeding als ein strukturiertes Kompressionsproblem mit niedrigem Rang verstanden werden kann. Das Modell wird nicht aufgefordert, jedes Detail seiner Kurzzeit-Spuren in seine Parameter zu kopieren. Stattdessen identifiziert es einen kompakten Satz von Richtungen, die sowohl das eigene On-Policy-Verhalten des Modells als auch die durch das Lernziel belohnten semantischen Qualitäten am besten bewahren.
Diese Perspektive erklärt die komplementären Rollen der beiden Signale: Die On-Policy-Destillation richtet die Konsolidierung an den Trajektorien aus, die das Modell zur Inferenzzeit tatsächlich erzeugen wird, und verringert so die Diskrepanz, die entstehen kann, wenn nur auf lehrergenerierten Verteilungen trainiert wird; die semantische Belohnung verändert hingegen, was es wert ist, behalten zu werden, und priorisiert Richtungen, die Bedeutung und aufgabenrelevantes Verhalten bewahren, statt lediglich Token-Wahrscheinlichkeiten abzugleichen. Die Parametererweiterung liefert anschließend die Kapazität, die benötigt wird, um diese ausgewählten Erinnerungen zu schreiben, ohne zuvor konsolidiertes Wissen zu überschreiben.
Für das Träumen charakterisiert die Theorie die zufällige Expertenaktivierung und die belohnungsbasierte Beispielauswahl als Mechanismen zur Verbesserung der Geometrie des Lernens. Das Einbringen unterschiedlicher MoEs erweitert den Satz von Gradientenrichtungen, der während der synthetischen Generierung erkundet wird, und setzt das Modell einer reichhaltigeren Sammlung von Updates aus, als sie allein durch seine gewöhnlichen Wachphasen-Daten induziert würden. Die gradientenbasierte Filterung betont anschließend die synthetischen Erfahrungen, die das nützlichste Lernsignal tragen, und stärkt informative Richtungen, während die Struktur des zugrunde liegenden Gradientenraums erhalten bleibt.
Zusammen ergeben diese Schritte eine ausgewogenere Optimierungslandschaft: Das Lernen wird weniger von einer kleinen Anzahl von Richtungen dominiert, die Gradienten sind besser konditioniert, und das Modell kann bei der Verfeinerung seiner Fähigkeiten stabilere Fortschritte machen. In dieser Sichtweise ist Träumen nicht einfach selbstgenerierte Datenaugmentierung; es ist ein bewusster Prozess zur Diversifizierung, Auswahl und Konsolidierung der Updates, durch die sich das Modell selbst verbessert.
Vergleichende Leistung unseres Schlaf-Frameworks gegenüber Baseline-Ansätzen (wie In-Context-Learning und überwachtem Fine-Tuning) über wichtige Bewertungsachsen hinweg, darunter Class-Incremental Learning, kontinuierliche Übersetzung, Langkontext-Skalierung bis zu 10M Token, Integration von Faktenwissen und mathematisches Denken.
Bei der kontinuierlichen Übersetzungzeigte das Schlaf-Framework bei ungesehenen Sprachen wie Mandschu und Kalamang in mehrstufigen Bewertungen einen nahezu null Leistungsabfall, während Standard-Baselines wie ICL, Cartridgesund überwachtes Fine-Tuning (SFT) während des sequenziellen Lernens unter schwerer katastrophaler Vergessenheit litten.
Beim Langkontext-Verständnis auf dem BABILong -Benchmark zeigte unsere Schlaf-Methode eine nahezu perfekte Skalierung bis zu 10M Token und übertraf starke Baselines wie GPT-4und Titans durch den Einsatz von Schlafphasen-Konsolidierung, um Langkontext-Informationen direkt in den parametrischen Speicher zu komprimieren.
Für die Integration von Faktenwissen, bewertet auf SQuAD und fortgesetztem Pre-Training (CPT) erzielte unsere Sleep-Methode 48.9% bei Single-Task- und 46.2% bei CPT-Evaluierungen und übertraf damit Baseline-Methoden einschließlich des Basismodells, SFT und Self-Adapting Language Models (SEAL), indem sie neue Fakteninformationen erfolgreich integrierte, ohne bestehende Modellrepräsentationen zu verschlechtern.
Schließlich erreichte das schlafverbesserte Basismodell bei mathematischen Reasoning-Benchmarks einschließlich AIME 24/25 und HMMT 25Genauigkeitswerte von 79,2%, 69,0% bzw. 46,1%. Damit übertraf es Baselines wie SFT, group relative policy optimization (GRPO) und on-policy self-distillation (OPSD), was zeigt, dass die Kombination von Gedächtniskonsolidierung mit Imitationslernen eine überlegene Reasoning-Leistung bewirkt.
Fazit
Unser Schlaf-Paradigma bietet einen Weg zu autonomen, kontinuierlich lernenden KI-Systemen. Indem wir über statisches Pre-Training und fragilen Kontextfenster hinausgehen, ermöglicht der Wechsel zwischen aktivem Lernen und offline-Ruhe LLMs, Kurzzeitgedächtnisse zu bewahren, neue Fähigkeiten in langfristige Parameterstrukturen zu abstrahieren und sich kontinuierlich selbst zu verbessern, ohne katastrophales Vergessen.
Danksagungen
Diese Forschung wurde von Ali Behrouz (Google und Cornell University), Farnoosh Hashemi (Cornell University), Adel Javanmard (Google und University of Southern California) und Vahab Mirrokni durchgeführt. Wir danken Yuan Deng und Corinna Cortes für die Durchsicht der Arbeit und ihre wertvollen Vorschläge. Wir danken auch Mark Simborg, Kimberly Schwede und Tim Herrmann für ihre Hilfe bei der Erstellung dieses Blogbeitrags.