大規模モデルは出荷時点で「定型化」しており、新しい知識を与えても、会話の終了とともに失われるか、無理に詰め込むと旧来の能力をすっかり忘れてしまう——このジレンマに対し、グーグルは10月27日に一つの「睡眠フレームワーク」（Sleep Framework）を打ち出し、その解消を試みた。関連論文の題は《Language Models Need Sleep》で、モデルも人間と同じように睡眠によって記憶を定着させるべきだと率直に指摘している。この考え方はGoogle Researchによって公開発表されたもので、狙いはまさに業界で長年治らない「知識のカットオフ日」という宿痾である。
覚醒時には作業し、睡眠時に整理する
フレームワークはモデルの実行を二つの段階に分ける。覚醒段階では、通常どおり入力を受け取り、情報をまず短期記憶に置く。睡眠に移行すると、新しい仕事を一時停止し、記憶の統合と自己改善に専念する。鍵となるのは「記憶の定着」であり、パラメータ拡張、混合エキスパート記憶ブロック、知識蒸留を用いて、壊れやすい短期コンテキストを長期パラメータに書き込みながら、既存の知識を上書きしないようにする。さらに「夢見」の段階も設けられ、モデルが自ら合成訓練サンプルを生成・選別し、強化学習による反復練習を通じて、推論と汎化をより洗練させる。従来の反復微調整が引き起こす「破壊的忘却」と比べ、睡眠式の統合は、モデルに情報喪失防止のゲートを装備させたのに相当する。
ゼロ忘却という野心
実験データは魅力的だ。フレームワークは継続的翻訳、長文コンテキスト理解、事実の吸収、数学的推論において大多数のベースラインを上回った。最長約1000万トークンのコンテキストを処理でき、未見の言語における多段階の継続学習では、性能低下がほぼゼロだった。AIME 24/25などの数学ベンチマークでもより高い正解率を達成した。本当に実用化されれば、「知識のカットオフ日」が打破される可能性がある——モデルはリリース即時代遅れになるのではなく、使いながら能力を伸ばし、しかも旧来の専門を忘れない。新しい情報を継続的に吸収する必要がある医療、金融、法務のシナリオにとって、この仕組みは周期的な再訓練より明らかに割に合う。