鷺羽 凹非寺より
量子ビット | 公式アカウント QbitAI
AI業界で、最近みんなが注目している3文字があります:RSI。
ヒントンのRSI論文、署名22名の著者の中には、Bengio、OpenAIのチーフサイエンティストPachocki、Anthropicの共同創業者Jack Clarkらが名を連ねており……ほぼAI界の半分がここに集まっている。
AIの自己改善に注目が集まる中、より問う価値のある根本的な疑問が浮かび上がってきた：
一度の改良が、どのようにして次の起点となるのか?
有効な方法は保持されるべきであり、回り道もまた見極められる必要がある。その役割を担っているのは実は、記憶。
通常の発想はとてもシンプルです:AIに経験庫を直接外付けすれば、操作方法や過去の教訓をすべて保存・検索できるようになります。
メモリテンソルこの分野での探究は、まったく異なる答えを示している——メモリネイティブである。
記憶ネイティブとは何か。それは、経験の保存・更新・呼び出しを、モデルが学習できる能力として作り上げることである。
記憶がモデルの中で根を下ろし芽を出すとき、それは構成される。記憶ネイティブモデル。
その最新のオープンソース公開されたMemT 1.0シリーズは、かなり具体的な道筋を示している。
它は経験を内部の動的な状態として符号化し、訓練を通じて書き込み・更新・読み出しの方法を学習し、最終的にこれらの状態をメモリ分岐を通じてその後の計算に参加させます。
外部メモリと比べて、能力が落ちるだけでなく、将来の拡張性の上限もさらに高くなります。
これも記憶ネイティブモデルである初回約300Bパラメータ規模のエンジニアリング検証を実現しました。
（論文へのリンクはこちら：
https://arxiv.org/abs/2610.26825）
なんと、記憶は目に見えず手にも触れないが、確かにモデルの成長の基盤となっている。
初期にはモデルに情報を記憶させることから始まり、経験をうまく活かす方向へと、モデルの記憶に対する要求は絶えず高度化し、記憶は少しずつ舞台裏から表舞台へと歩み出した。
記憶をモデルに組み込む
MemT 1.0は今回、いきなり2つのモデルを投入してきた：
MemT-1.0-Nano合計36Bパラメータ、アクティブ3Bで、ベースには「源神」Qwen3.6-35B-A3Bを使用しています。MemT-1.0-Flashその一方で上方突破し、288Bのパラメータ、17Bを活性化する規模に達し、ベースはさらなる事後学習を施したDeepSeek-V4-Flashです。
それらに共通する変化は、いずれも選択されたTransformerモジュール内に、既存の注意機構とは別の経路を追加したという点です。並列な記憶計算経路。
簡単な例を挙げて説明してみましょう。
たとえば同じ新しいタスクに直面した場合でも、外部記憶のやり方は、記憶原文、検索エビデンス、さらには抽象化手法までコンテキストに戻し込み、モデルに経験を再利用させるというものである。
其中検索と整理の過程には、同様に学習メカニズムを導入することができる。
一方、MemT 1.0のようなメモリネイティブモデル、モデルの内部をさらに深く掘り下げることを選択した：
経験は符号化され、更新可能な行列状態となります。モデルが答えや行動を生成する際、専用の記憶ブランチを通じて状態を読み取り、読み出した結果を元の注意機構の出力と融合させることで、その後の生成に影響を与えます。
違いは、経験がどのように表現されるか、そしてそれがどのような計算過程を通じて働くかにあった。
しかし、このやり方の利点も明らかで、読み書きを訓練に参加させることでよりスムーズな手法の再利用が得られます。ただし代償もあり、正確な削除、説明、復元を行いたい場合は、追加のメカニズムを導入する必要があります。
外部テキストのほうが検査やトレースの際に確かに便利であり、現時点では両者それぞれに長所と短所がある。
本当に違いが見て取れるのは、経験を使った後にモデルが実際にどう動くかを観察する場面だろう。
まず、プログラマならよく知るシナリオを見てみよう：コード修正。
バグを受け取る→コードを特定→手を加えて修正、というのが基本的な流れだ。しかし最初に問題が再現できていなかったり、境界条件を確認し損ねていたりすると、修正どころか穴だらけになり、それが世代から世代へ受け継がれてしまう。
例としてSWE-bench Verifiedを取り上げると、その中にDjangoのparse_http_date関数に関する項目があり、2桁の年の解析ロジックを修正する必要がある。
研究チームは、経験なし・テキスト経験・メモリネイティブの3つの設定での実行トレースを比較した。
経験がない場合、Agentはバグを発見するとすぐに解析ロジックの修正を始め、後続のステップでようやく再現と検証を行う。経験ありの2つのグループは、どちらもまず再現テストを構築してからコードを修正している。
その中で、MemT-1.0-Nanoは初回の修正後に境界条件を一つ再チェックし、実装を修正し、追加の検証も行った。
経験が行動の順序を変え、タスク内のチェックと修正にも関与していることがはっきり見て取れる。
より大きなサンプルで比較すると、500項目のSWE-bench Verifiedタスクを各項目独立に3回実行した際、MemT-1.0-Nanoの重要なブレークポイントにおける平均成功率は69.73％、経験なしのベースラインは66.07％、テキスト経験グループは69.13％だった。
3回すべてに成功したタスクの割合は、経験なしの54.00％から62.80％に向上し、テキスト経験グループは61.80％だった。
次に、SWE-bench Multilingualのタスクを見ると、同じトリガー設定のもとで、ネイティブメモリグループの平均成功率は63.56％、経験なしグループは60.00％、テキスト経験グループは63.00％だった。
言い換えれば、これらの手続き的経験はメモリネイティブによって保持され、そのパフォーマンスは明示的なテキスト経験に近く、優位性はより平均成功率と繰り返し実行の信頼性に現れている。
もう少し直感的に、ピクセルアート風の迷宮探索デモ。
を見てみよう。同じ迷宮、同じ移動速度で、左側はメモリネイティブを持たないAgent、右側はメモリネイティブを備えたMemT 1.0だ。
第1ラウンドでは、両者とも未知のルートを探索する必要があり、行き止まりに迷い込んでしまう。
違いが現れるのはこのラウンド終了後です。成功したルートと避けるべき分岐が整理・保存され、MemT 1.0の記憶にロードされ、次のラウンドの探索の参考になります。
次の第2ラウンドでも同じくスタート地点から出発します。左側は依然として分岐で同じ試行を繰り返しますが、右側は前回の経験を活かして、すでに通った行き止まりを避け有効なルートに沿ってゴールに到達します。
動画リンク：https://mp.weixin.qq.com/s/DTdaGUk8o0dwkx1wxnnbYw
前回のラウンドで歩いた道が、次のラウンドの進み方に直接影響を与える。これこそが、メモリネイティブがやる価値のあることの具体的な表れです。
もう一つ、私たちの日常業務に近い情報更新シナリオ。
を見てみましょう。展示会は当初土曜日の午後3時に予定されていましたが、後に正式に日曜日の午後4時に変更されました。その後、月曜日に変更する提案もありましたが、まだ確定してはいません。
このような繰り返し変わる情報の増分は、実はAIにとってかなり頭の痛い問題です。
最後に出てきた日付を覚えるだけでなく、正式な決定と何気ない提案を区別し、変わっていない内容も保持しなければなりません。
実験では、複数回の対話を経ても、MemT-1.0-Nanoは正しく理解し、当初の予定時刻と正式に変更された時刻を答え、他の予定に変わりがないことも確認しました。
11項目の記憶ベンチマークを含む総合評価に置いても、FlashとNanoのパフォーマンスはやはり際立っています。
平均スコアはそれぞれ50.6と47.0で、評価に参加したパラメータ化記憶手法の中で上位2位を占め、他のモデルを圧倒的な差でリードしています。
ただ正直に言えば、テキスト記憶システム全体には依然として優位性があり、特に長い履歴の詳細な想起の面でそうです。
MemT 1.0が今日示したのは、まだメモリネイティブという新しい考え方の初步的な計算実装にすぎませんが、実際の効果はすでにテキスト記憶に肩を並べるレベルに達しており、さらに発展を続ければ、その可能性も無限です。
メモリネイティブ、どこがネイティブなのか？
では問題です。経験がタスクのコンテキストに残っていないなら、モデルはどこからそれを取り出して使っているのでしょうか？
これこそがMemT 1.0のアーキテクチャの要点です。
MemT 1.0が提供するネイティブな経路は、まず関連する経験をエンコードして内部の動的状態にすることです。後続のアクションを生成する際、現在のクエリは専用のメモリ分岐を通じて読み取りその状態を読み、結果を元の注意出力と融合させます。
具体的なパラメータ化の実装では、MemT 1.0はベースモデルの既存の計算フローを保持し、選択されたTransformerモジュールにネイティブなメモリ分岐を追加します。分解すると三層で構成されます：
- 主幹ウェイト：モデルが既に持つ汎用能力を担い、メモリ学習中は凍結されたまま保たれます；
- 超メモリ：読み書き投影やゲーティングといった学習可能なパラメータが、メモリの具体的なエンコード、更新、読み出しの方法を決定します；
- ローカルメモリ：動的行列状態がインタラクションで新たに追加された情報を保存します。
このように区別することで、モデルは新しい経験を持ち運べるだけでなく、毎回主幹全体をファインチューニングする必要もなく、対応するタスク軌跡の動的状態だけが変化します。
この仕組みの読み書きにも工夫が凝らされています。
書き込み時、隠れ状態は投影を経てメモリのキーと値を生成します。消去・書き込み・忘却のゲーティングが、既存の行列内の関連を共同で調節します。読み取り時、現在の入力はメモリクエリへとマッピングされ、関連情報を読み出した後、正規化と出力ゲーティングを経て後続の生成に参加します。
更新機構はGated DeltaNet-2に基づくトークンごとの生成を採用し、安定化処理を施しています。
（うわさ話：Gated DeltaNet-2の作者も関連する議論に参加していたそうです）
この機構は各ラウンドの終了後にトリガーされ、ゲーティングによって既存のメモリ関連を調整し、ラウンド内では引き続きトークン順に状態を調整します。
アブレーション実験がこれを証明しています。トークンごとの更新をラウンド全体の集約に置き換えると、Nanoのメモリベンチマーク平均スコアは約47.0から41.0に低下しました。
6ポイントの差は、連続的なトークンレベルの更新がメモリ減衰の処理により適切に対応し、ラウンド内の関連を適時に修正できることを示すのに十分です。
しかし、メモリの内容が絶えず拡充し、モデルの容量が足りなくなったらどうするのか？
ここでMemT 1.0はMoEを活用し、MoS（Mixture-of-Storage）というソリューションを提案しました。
MoSは1つのメモリネイティブモジュールを複数のメモリエキスパートに拡張し、それぞれがストレージと使用ルーティングを学習します。採用しているのは稠密融合で、すべてのメモリエキスパートが計算に参加し、ルーティングの重みがそれぞれの貢献度を決定します。
これはベースのMoEのスパースエキスパートルーティングとは明らかに異なります。
ただし、構造はまだ出発点に過ぎません。
モデルにこの経路を本当に使いこなさせるため、チームは340億トークンのメモリ学習コーパスを構築しました。その内訳は、継続事前学習200億と事後学習140億です。
継続事前学習のフォーマットはすべて統一されており、まず長文テキストを連続する断片に切り分けてメモリに書き込み、その後モデルにメモリ状態を持たせてクエリに回答させます。
各セグメントの処理が終わるごとに、モデルは状態を更新し、次のセグメントで使用する。
ポストトレーニングタスクの結果をさらに整合させる段階で、データも3種類含まれる。メモリネイティブな言語モデリングデータ、メモリの保存・活用データ（要約、続きの執筆、圧縮など）、そして長期記憶を特化的に強化するためのタスクデータ。
ここにも単独で取り上げる価値のある点がある。それまで凍結されていたバックボーンが教師モデルとして働き完全な履歴情報を見ることができる一方、MemT 1.0は生徒として自分の記憶状態しか見ることができず、off-policy蒸留に沿って生徒を教師の分布に整合させる。
まとめると、メモリネイティブの重点は次第に明確になっていく。履歴を状態にエンコードすることはまだ第一歩にすぎず、続くどう保存し、どう更新し、どう読み出すかがこそ、メモリネイティブモデルの全体を構成する。
この路線の価値は、経験の再利用効果、リソースコスト、長期運用の条件を総合して判断する必要がある。
継続学習からRSIへ、記憶が能力成長の空間を切り拓く
では、こう聞く読者もいるかもしれない。なぜメモリネイティブを使うのか？
既存の外部メモリ方式はすでに十分成熟しており、良い実践事例もある。それに比べ、メモリネイティブはまだ始まったばかりで、効果もさほど変わらない。
そうではない！メモリネイティブには独自の強みがある。
それは、経験の表現と読み書きそのものが、モデルの能力拡張の対象になり始めたことだ。すなわちMemTチームが論じるMemory Scalingであり、推論の成長以外から、モデル性能成長の第三の曲線を見出すことである。
画像はAIにより生成
従来は、経験が役に立ったかどうかは、検索後にタスク結果を改善できるかで判断できた。MemT 1.0ではさらに一歩踏み込んで問える。同じ経験でも、内部表現・更新ルール・読み出し方式を変えれば、よりうまく活用できるのではないか？
これにより記憶効果の向上に、訓練やアーキテクチャ設計によって調整可能な変数のセットが加わった。。
確かに、これはネイティブ記憶の長期的上限が外部記憶より高いことを証明するには程遠いが、少なくとも内部状態をめぐる訓練と容量拡張は、さらなる能力の利益をもたらしうる。。
次のステップは、これらの利益が現在の訓練分布を超えて、より長いインタラクションや新しいタスクにおいて維持できるかを検証することだ。
冒頭のRSIに戻ろう。
ひとたび記憶のネイティブ化が実現すれば、継続学習とRSIの突破にも大いに資するだろう。
周知のとおり、RSIには3つのピースがある。すなわち記憶、フィードバック、検証と更新のメカニズムであり、このうち記憶は有効な結果を持続させ、後の2つはどの変更が次のラウンドに入る価値があるかを判断する助けとなる。
MemT 1.0がいま探求しているのは、まさに経験の引き継ぎと再利用というステップであり、経験がネイティブ記憶を通じて行動を導けることを検証し、モデルレベルで最初のピースを補った。もちろんそれは最も重要なピースでもある。
画像はAI生成
さらに先へ進めば、局所記憶に蓄積された経験が、その後の訓練を通じて超記憶パラメータへと定着し、今度はそれがモデルの記憶管理手法を改善するということもありうるだろう。
この环节が成立すれば、記録された結果と手法を通じて、システムはタスクを跨ぐ知的爆発、すなわちRSIの究極目標を実現できるかもしれない。
これらはまだ理論面の利益だが、応用面では、記憶のネイティブ化は企業が経験を蓄積するのにも有利だ。
。現在の業界で企業AIと言えば、最も考慮されるのは早期導入段階の内容、たとえば現行モデルが使いやすいか、どこまでできるかといったことだ。
もちろん間違いではないが、企業が実際に使い始めて初めて、経験の蓄積も重要だと分かる。
なぜなら企業の長期利用には、プロジェクトのルール、操作手順、検証方法も関わってくるからだ。タスクを変えるたびに同種の制約を改めて説明し、同種の失敗を繰り返し経験しなければならないなら、前回の投資を後続の利益に十分転換することは難しい。
だからこの種の反復的なワークフローについては、検証済みの経験を何回再利用できるかが、モデルの単回パフォーマンスとともに企業AIの選定基準に入るべきだ。
記憶のネイティブ化はこのためにモデル側の担持メカニズム。
同じ128Kの長い履歴において、Nanoのエンドツーエンド推論速度は完全コンテキスト方式の約1.86倍であり、同じ履歴長において、軌跡ごとの永続状態の占有量は完全コンテキストKV Cacheの66分の1です。
これを翻訳すると、これこそが即効性のあるコスト制御効果。
長期セッションの状態予算は見積もりが容易になり、複数のクエリが構築済みの状態を再利用できるため、準備のオーバーヘッドを償却できます。
ただしここで公平に言えば、メモリネイティブなタスクの品質が必ずしも外部メモリより優れているわけではありませんが、ほぼ同等の品質の場合には、基盤となる経験の再利用を通じて手戻りを着実に減らせる可能性が高く、この部分の利益は企業の運用保守にとって確かに実感できるものです。
言い換えれば、メモリネイティブと外部メモリは二者択一の敵対関係ではなく、両者が協力して役割分担することで、より大きな追加の利益が生まれるかもしれません。
正確な原文、出典、バージョンに関する照会には、外部記録が依然として価値を持ちます。その後の実行に関する経験の呼び出しについては、ネイティブメカニズムの役割を引き続き検証できます。
いずれにせよ、有効な進歩が残され、新しいタスクで繰り返し検証されることで、持続的な自己改善には蓄積可能な出発点が初めて得られたのです。
完全な階層型メモリ管理とスケジューリングにより、グローバルな読み書き効率の最適化が実現できます。そして今日、メモリネイティブモデルの公開により、このようなエンジニアリング展開と実装が可能になりました。
持続的な自己改善を推進する上でのメモリの価値も、このような長期的な検証の中で徐々に明らかになるでしょう。
GitHubリンク：
https://github.com/MemTensor/MemT-1.0
HuggingFaceリンク：
https://huggingface.co/collections/MemTensor/memt-1