現代のLLMは、事前学習と in-context learning (ICL)によって印象的なパフォーマンスを達成しています。しかし、一度展開されると、モデルはほぼ静的なままとなり、知識のカットオフ日が固定されるため、長期的な能力を獲得したり新しい情報に適応したりすることができません。
新しいデータでモデルを更新することが自明の解決策のように思えますが、継続的なパラメータ更新はしばしば catastrophic forgetting(壊滅的忘却)を引き起こします。これは、新しいタスクを学習することが以前に学習したタスクのパフォーマンスを著しく低下させる根本的な問題です。あるいは、ICLのみに依存する場合、知識の保持は直近のコンテキストウィンドウに限定されます。コンテキストセッションが終了すると、獲得した短期情報は忘れられてしまいます。
休息中に人間の脳が記憶を処理し安定させる仕組みに着想を得て、私たちは継続学習における sleep framework (スリープフレームワーク)を提案します。これは、大規模言語モデル(LLM)に連続的な periodic (周期的)ライフサイクルを備えさせ、壊れやすい短期コンテキストを安定した長期パラメータに統合しながら継続的に学習できるようにする学習パラダイムです。このフレームワークにより、能動的な相互作用とオフラインでの記憶統合を交互に行うことで、LLMが新しい事実を継続的に獲得し、最大10Mトークンの長コンテキスト知識を保持し、複雑な推論を向上させられることを示します。
機械学習の再考:能動(覚醒)相と睡眠相
従来の機械学習は、訓練と推論の厳密な分離に依存しています。継続学習のフレームワークでは、この区別は人為的なものになります。知的エージェントは常に学習し、適応し、情報を処理し続けなければなりません。
スリープパラダイムの下で、LLMは2つの主要な状態で動作します:
- 能動(覚醒)相:モデルは入力を能動的に受け取り、処理し、相互作用しながら、一時的な情報を高速な短期記憶コンポーネントに保存します。
- 睡眠相:モデルは新しい入力の処理を一時停止し、内部計算を記憶の統合と自己改善に向けます。
「睡眠」「夢見」「自己改善」といった用語は神経科学から借用したものですが、私たちのフレームワークは完全に固定されたモデルアーキテクチャと人間が定義した訓練ルールの範囲内で動作します。オフラインの睡眠相の間、モデルは事前に割り当てられたMixture-of-Experts(MoE)メモリブロックを解放し、自己生成した練習例を用いて数値的な重みを更新します。この自動化された事後訓練サイクルにより、展開済みのモデルは中核のコードベースと設計を変更することなく、新しい事実を吸収し、推論の精度を高めることができます。
スリーププロセスの主要コンポーネント
スリープパラダイムは、記憶の統合とドリーミング(夢見)という2つの段階を通じて、壊滅的忘却と継続的な適応に対処します。
1. 記憶の統合
人間の脳では、 non-rapid eye movement (NREM、非レム睡眠)の徐波睡眠が、抽象化と蒸留を通じて壊れやすい記憶を長期構造に統合します。私たちが提案するスリープフレームワークは、2つの重要な技術的メカニズムを通じてこの自然現象を模倣します:
- パラメータ拡張 & 連続的メモリ階層: 壊滅的忘却を防ぐため、モデルは睡眠中に容量を動的に拡張します。 Mixture of Experts (MoE)と Hope アーキテクチャでは、新たにアンロックされた低ランクのエキスパートが安定した低頻度のメモリブロックに統合され、古いパラメータを乱すことなく新しい知識を保存します。
- 知識シーディング(上方蒸留)： 高頻度レイヤー(例：コンテキスト内メモリ)に保存された脆弱な短期メモリを、新しく拡張された長期パラメータへ転送します。これは 一般化知識蒸留 (GKD)と、 強化学習 (RL)ベースの 模倣学習:
- オンポリシー蒸留： 拡張された生徒モデルは、自己サンプリングした系列から生成された教師分布からトークンごとのフィードバックを学習します。
- 模倣の学習(LTI): 生徒モデルは、教師が生成したテキストの接頭辞を完成させる際、意味的および絶対的な類似度(レーベンシュタイン距離)に基づいて報酬を得ます。
- シナプス刈り込み: 低頻度モジュールへのメモリの定着が完了すると、高頻度の一時パラメータはリセットされ、今後のアクティブセッションのために容量を解放します。
睡眠フレームワークの概要：アクティブフェーズからの入力ストリームは睡眠サイクルに入る前に短期メモリに保存され、睡眠サイクルは定着(低ランク構造とMoEを用いて脆弱な短期トークンを拡張された長期パラメトリックメモリへ転送)と夢見(ランダムなエキスパートによる合成ルーティングとRLによる洗練を通じた自律的な自己改善)に分岐します。
2. 自己改善のための夢見
その間 レム睡眠、人間の脳はシナリオを能動的にシミュレートし、感情的・意味的な結びつきを整理・固定し、新しい神経経路を探索します。これを映すように、「夢見ステージ」の間、このスリープフレームワークは自律的な自己改善ループを実行します:
- 専門家のランダム選択: 合成データ生成の際、MoEルーターが非標準のエキスパートをランダムに活性化します。これにより、モデルは異種の知識ドメインを混ぜ合わせ、潜在的なパターンを発見せざるを得なくなります。
- 厳選されたリハーサル: このモデルは合成訓練サンプル(「夢」)を生成し、勾配ベースのデータ選択を用いてフィルタリングすることで、モデル全体の能力を高める可能性が最も高いサンプルを優先します。
- RL の改良: このモデルは高評価のドリーム(夢)サンプルに対して教師ありファインチューニングを行い、生成が下流タスクのパフォーマンスを向上させるかどうかを評価します。
理論的基盤
実験結果を超えたところで、私たちの睡眠パラダイムは、その2つの段階(記憶の固定と夢見)が、単に新しい知識と古い能力を引き換えにすることなく、継続的な学習を支えられる理由を明確にする理論に基づいています。
記憶の固定化については、この分析は、知識のシードリングを構造化された低ランク圧縮問題として理解できることを示しています。モデルは、短期間の痕跡のすべての詳細をパラメータにコピーするよう求められているわけではありません。その代わりに、モデル自身のオンポリシー行動と学習目的によって報酬が与えられる意味的な性質の両方を最もよく保持する、コンパクトな方向性の集合を特定します。
この視点は、2つのシグナルの補完的な役割を説明しています。オンポリシー蒸留は、統合のプロセスを推論時にモデルが実際に生成する軌跡に一致させ、教師が生成した分布のみで学習する際に生じうるミスマッチを軽減します。一方、意味的報酬は保持すべきものの内容を変え、トークン確率の単なる一致ではなく、意味とタスクに関連する振る舞いを保つ方向を優先します。さらにパラメータの拡張は、選択されたこれらの記憶を、すでに統合済みの知識を上書きすることなく書き込むために必要な容量を提供します。
夢を見ることに関して、この理論は、ランダムな専門家の活性化と報酬に基づくサンプル選択を、学習の幾何構造を改善するメカニズムとして特徴づけています。異なるMoEを注入することで、合成生成の際に探索される勾配方向の集合が広がり、通常の覚醒時のデータだけでは引き起こされない更新よりも豊富な更新の集合にモデルをさらすことになります。そして勾配に基づくフィルタリングにより、最も有用な学習シグナルを持つ合成経験が重視され、基盤となる勾配空間の構造を保ちながら、情報量の多い方向が強化されます。
これらの手法を組み合わせることで、よりバランスの取れた最適化ランドスケープが得られます。学習が少数の方向に支配されにくくなり、勾配の条件が改善され、モデルは能力を磨く際により安定した前進が可能になります。この観点から見ると、ドリーミングは単なる自己生成によるデータ拡張ではありません。それは、モデルが自らを改善するための更新を多様化し、選択し、定着させる意図的なプロセスなのです。
私たちのスリープフレームワークの、クラスインクリメンタル学習、継続的翻訳、最大10Mトークンへの長コンテキストスケーリング、事実知識の取り込み、数学的推論といった主要な評価軸における、インコンテキスト学習や教師ありファインチューニングなどのベースライン手法との比較性能。
のために 継続的翻訳は、満洲語やKalamang語のような未見言語において、段階的な評価でスリープフレームワークはほぼゼロの性能低下を維持したのに対し、ICLなどの標準的なベースラインでは、 カートリッジ、および 教師ありファインチューニング (SFT) は逐次学習の際に深刻な壊滅的忘却（catastrophic forgetting）に見舞われた。
における長文脈理解 BABILong ベンチマークでは、我々の睡眠手法は 10M トークンまでほぼ完璧なスケーリングを実証し、睡眠時間中の統合によって長文脈情報をパラメトリックメモリに直接圧縮することで、 GPT-4や Titans といった強力なベースラインを上回った。
で評価された事実知識の取り込みについては SQuAD および 継続事前学習 (CPT)において、我々のsleepメソッドはシングルタスク評価で48.9%、CPT評価で46.2%を達成し、ベースモデル、SFT、 Self-Adapting Language Models (SEAL)を含むベースライン手法を、既存のモデル表現を劣化させることなく新しい事実情報を統合することに成功した点で上回りました。
最後に、 AIME 24/25 および HMMT 25を含む数学的推論ベンチマークにおいて、睡眠強化されたベースモデルはそれぞれ79.2%、69.0%、46.1%の正解率を達成しました。これはSFT、group relative policy optimization(GRPO)、on-policy self-distillation(OPSD)などのベースラインを上回る成果であり、記憶の固定化と模倣学習を組み合わせることで優れた推論性能が得られることを示しています。
結論
私たちの睡眠パラダイムは、自律的かつ継続的に学習するAIシステムへの道筋を示します。静的な事前学習や脆弱なコンテキストウィンドウを超えて、能動的な学習とオフラインでの休息を交互に行うことで、LLMは短期記憶を保持し、新しいスキルを長期的なパラメータ構造に抽象化し、破局的忘却なしに継続的に自己改善できるようになります。
謝辞
本研究 は、Ali Behrouz(GoogleおよびCornell University)、Farnoosh Hashemi(Cornell University)、Adel Javanmard(GoogleおよびUniversity of Southern California)、Vahab Mirrokniによって実施されました。本研究のレビューと貴重なご提案をいただいたYuan Deng氏とCorinna Cortes氏に感謝いたします。また、本ブログ投稿の作成にご協力いただいたMark Simborg氏、Kimberly Schwede氏、Tim Herrmann氏にも感謝いたします。