允中 発信元 凹非寺
量子位 | 公式アカウント QbitAI
今年のグーグルの論文で、ストレージチップ大手の株価に大きな影響があった。
論文では、KVキャッシュは少なくとも6倍に圧縮できると述べられている。
知っておくべきは、大規模モデルの推論がますますメモリを消費するようになり、KV Cacheもその中でかなりのコストとなっているということです。
今、グーグルが突然大きく下落したため、美光などのストレージチップ大手の株価もそれに伴って下がった。
結果が数ヶ月しか経っていないのに、また誰かがKV Cacheにさらに厳しい手を加えました。
今回は圧縮すら満足できない。
文脈は4Kから256Kへと上昇しましたが、KVキャッシュの使用量は変わりませんでした。
256Kのコンテキスト下では、常に72MiBに固定される。元モデルと比べて、KVキャッシュは99.1%直接削減される。
さらに驚くべきことに、80GBのグラフィックカードが同時に512路の長期推論を実行し、出力スループットは12124トークン/秒に達し、元モデルの6.42倍にもなる。
また、推論能力も基本的に保たれています。AIME 2024—2026の平均一発合格率は82.9％であり、評価された有界状態モデルで14Bを実装しても、最高でも18.8％です。
これは岩山科技傘下の岩芯マトリックス連合が、港科大やCMUなどの大学と共にちょうど公開しオープンソースにしたEdgeRock-4Bです。
長い推理にもたらされる変化の一つは：
推論が長くなるほど、メモリは増えない。
モデルの重みと推論コードは現在オープンソースであり、テキストや画像の推論もサポートしています。
推理が長くなるほど、なぜ高くなるのか？
現在のモデルでは、たびたび数万トークンを考える必要があります。エージェントはさらに数十ラウンド連続して動作し、検索結果、コード、ツール呼び出し記録が文脈に次々と追加されます。
模型はどんどん熱心になりますが、容量はまず耐えられなくなりました。
問題はKVキャッシュにあります。
現在、ほとんどのモデルは、推論履歴をKV Cacheに保存しており、トークンを1つ生成するたびに、より多くのデータを保存します。
Qwen3.5-4Bを例にとると、各トークンには32 KiBのKVキャッシュが追加されます。推論量が64Kになると、1つのシーケントは2 GiBになり、推論量が256Kになると8 GiBになります。
これは推論モデルの時代に特に厄介なことです。
モデルは「深い思考」を好むようになり、数万個のトークンを生成することが多くなりました。エージェントが動くと数十ラウンドにわたってツールが呼び出され、コンテキストもどんどん長くなっています。
推測が長くなるほど、占めるディスク容量が多くなり、一枚のカードで同時に処理できるリクエストの数が少なくなります。
端側に到達すると、KVキャッシュは、既に限られたメモリを争う感知や制御モジュールと同様に、競争する必要がある。
業界の方法は大まかに二種類ある。
一つは、各トークンを「スリム化」することです：
多頭潜在注意力（MLA）のKV圧縮、KIVIのような量化手法は精度を低下させる。グーグルのTurboQuantもこの一連の手法に属する。
しかし、それらは単一のトークンにおけるコストを低下するだけであり、キャッシュは推論が進むにつれて増加し続ける。
もう一つの種類は、有界状態モデルです：
ループモデル、状態空間モデル、スライドウィンドウモデルでは、メモリは固定されている。
問題は、それらが後続の推論に必要な遠くの詳細を保持できないことが多く、その結果、推論能力が大きく低下するということです。
だから本当の難問はこうなった：
固定メモリ内で、推論に必要な重要な詳細を保持できますか？
EdgeRockが出した答えは：能です。
一枚のカード、512路の長い推理が同時に進行する
まず、最も直感的な消費と生成を見てみましょう。
テスト設定は32Kの入力、32Kの出力であり、すべてのモデルは1枚のHopper 80GB GPUで実行され、各モデルが実測で最速のバッチサイズを採用している。
結果として、EdgeRock-4Bは一気に512路の並発を実現し、出力スループットは12124トークン/秒となった。
源モデルQwen3.5-4Bの最速の設定ではバッチサイズが64で、1889トークン/秒にしかなりません。Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6Bもすべて1700から2200トークン/秒の範囲です。
なぜ差がこれほど大きいのか？実際には計算が簡単だ。
32K入力に32K出力が完了し、Qwen3.5-4Bの各シーケンスのKV Cacheは2 GiBです。
1枚80GBのグラフィクスカードを数十個同時に使用すると、すべて占有されてしまい、さらに多くのリクエストは待ち行列になります。
EdgeRock-4Bをバッチで運用する場合、各シーケンスに保存される全歴史状態のサイズは97.76 MiBで、長さに応じて変動することはありません。
例えば、Qwen3.5-4Bをこの512のシーケンスを同時に処理させる場合、生成が終了した時のKVキャッシュだけで1 TiBになり、これは約13枚の80GBのグラフィクスメモリに相当します。
EdgeRockの1枚のカードで収められ、ピーク時は61.26 GiBであり、モデル重みも含まれている。
再び拡張性について見る。
4Kから32Kまでの入力、出力が2対の16種類の負荷において、バッチサイズは32から512へと増加し、加重デコーディングのスループットは4128から12497 tokens/sへと上昇したが、メモリ使用量のピーク値は単一カードの上限には達しなかった。
1回のリクエストも遅くない。
KV Cacheは、推論が増えるにつれてモデルに問題があります：書くほどに遅くなるのです。
新しいトークンが1つ生成されるたびに、蓄積されていくKVキャッシュをもう一度確認する必要があります。
EdgeRockの各トークンの計算量は、文脈に応じて増加しない。
128Kの入力後に128Kトークンを生成し、その速度は全工程で233.7トークン/秒を安定して維持する；
Qwen3.5-4Bは、169前後から151.3まで急降下しました。
文脈が長ければ長いほど、費用が安くなります
数倍に増えるし、別の視点から見ると、コストは数倍下がる。
同じカード、同じ負荷で、同じ数のトークンが生成される：
- 4K入力時、EdgeRockはQwen3.5-4Bの24.9％のGPU時間のみを必要とする；
- 32K入力時、わずか15.6％だけが必要です。
GPUの使用時間に基づいて計算される場合、各トークンの計算能力コストもその比率に応じて低下します。
4種類の入力長の平均値を考えると、EdgeRockの処理能力はQwen3.5-4Bの4.94倍、LFM2.5-2.6Bの7.18倍である。
より重要なのはトレンドです：文脈が長くなるほど、差が大きくなります。
Qwen3.5-4BのKVキャッシュは長さが増えるにつれて多くなり、EdgeRockは増加しない。
「省」以外にも、固定メモリには見過ごしやすい利点があります：確実性です。
各リクエストにどれだけのメモリが必要か、推論を始める前に明確に計算できる。
- 推論サービスはリクエスト数に応じて容量を計画することができ、各リクエストが最終的にどれくらいかかるかを推測する必要はありません；
- 端側デバイスは一度割り当てられており、推理が長くなってもメモリを使い果たすことはない；
- スマートアイデアの歴史的メモリは、ツール呼び出し回数に応じて増加するものではない；
- 特殊チップは、全ての歴史状態をチップ上に保存することさえ可能です。
メモリがますます高価になる今、この計算はより価値があるものになっていくだけだ。
省みられたメモリ、知能は割引されていない
ここを見て、理解している人はこう思うかもしれない：一定のメモリ、RNN、Mambaはとっくに実現しているのだから、何が特別なのか？
不思議なのは、メモリを節約できる上に、推論能力も保たれるという点です。
チームはEdgeRock-4Bと16個の有界状態モデルを比較しました。これらにはGDN、RWKV、Mambaなどのアプローチが含まれ、そのうち3つは14Bレベルです。
AIME 2024–2026の結果、EdgeRock-4Bの平均一次通過率は82.9％であった。対照群の中で最も強いRWKV-7 G1j 13.3Bは18.8％、AHN-GDN Qwen2.5 14Bは11.4％であった。
29項目のテキスト基準において、EdgeRock-4Bは24項目で境界状態モデルの第1位となった。29項目の等重平均値は、この指標で最も強いベースラインであるAHN-GDN Qwen2.5 14Bよりも23.8ポイント高かった。
和源モデルと比べて、能力も基本的に保たれている：
- AIMEの平均一次通過率はQwen3.5-4Bの96.3％を維持し、MATH-500は97.5％に達する。
- 29項目のテキスト基準の中で、8項目がQwen3.5-4Bを上回りました。これにはMMLU-Pro、SuperGPQA、HumanEval、MBPPが含まれます。
- 6つの視覚基準において、平均得点は84.9％で、Qwen3.5-4Bの95.3％が保持されている。
この成果は、推論の進行に伴ってメモリが増加する小型モデルと同じ水準に達している。
秘訣：記憶に「岩アンカー」を付与する
では、EdgeRockはどのようにしてそれを実現したのでしょうか？
コアは新しい記憶メカニズムである、ロック・メモリー・アンカー（Rock Memory Anchors、RMA）です。
その設計は岩のアンカーをモデルにしています。つまり、推論に必要な重要な情報を固定することです。
岩登り選手が岩壁にアンカーネットを打ち込むように、次の一歩ごとに信頼できる支持点があります。RMAは推論の過程で本当に重要な詳細を一定容量のアンカーポイントライブラリに「固定」し、必要な時には直接読み出します。
具体的には、EdgeRockは各シーケンスの歴史を3つの部分に分けて保存し、各部分がそれぞれの役割を果たしています。
- ループ状態の概要は絶えず変化する文脈であり、大まかな意味を把握すればよい；
- 局部ウィンドウが最新の1024個のトークンをカバーしており、目の前にあります；
- アンカープラグインは、より古い歴史から最も価値のある詳細を保持しており、重要な点を記憶します。
アンカーの選定プロセスは次のようなものです：
書き込み器は各トークンに対して候補記録を1つ生成し、評価ネットワークがそれにスコアを与えます；
候補者が256件蓄積されると、アンカーポイントライブラスに既存の記録と比較され、得点が最も高い1024件のみが残り、その他は排除される。
4つのKVグループはそれぞれ独立して動作する。
残されたアンカープラグは互いに独立しており、内容は変わりません。ですから、その出所が既に局部ウィンドウから離れているとしても、後続の推論は直接読み取ることができます。
実際に言えば、モデルが学ぶのは「すべてを記憶すること」ではなく、「記憶に値するものだけを記憶すること」です。
局部ウィンドウのアンカープラグインでは、各シーケルの注意キーVを72 MiBに固定している。これがメモリ増加の原因である。
構造上、EdgeRock-4BはQwen3.5-4Bを改造したものです：24個のGated DeltaNet層を保持し、8個の全注意力層を1024ウィンドウのスライドウィンドウ注意力に置き換え、さらに独立したRMAモジュールが追加されています。
全体のモデルはQwen3.5-4Bの段階的な変換によって作られており、最初から事前学習する必要はない。
そのアンカーは本当に機能しているのか？
チームは実験を行った：推論時に8つのRMAモジュールを全てオフにし、循環層と局所注意が通常通り機能するようにした。
256段落、16Kから130Kトークンに及ぶ長いコンテキストにおいて、各段落に4つの質問を設け、検索、状態更新、複数ドキュメント間の情報の組み合わせ、変数の結合を含む：
- RMAを使って、1024問の問題の964問を正解し、正確率は94.1％でした。
- RMAをオフにし、正解が4つだけで、正確率は0.4％です。
遠距離の記憶はほぼゼロになっている。これは、EdgeRockが実際にアンカープラットフォームを利用して遠くの情報を読み取っていることを示している。
また、各アンカーポイントには出典位置が記録されており、モデルを直接確認して何を覚えたかを思い出すことができます。
メモリはまた下がるのか？
エッジロックは、岩山科技の傘下である岩芯マトリックスが、香港科技大学、CMUなどの大学と共に開発したものです。現在、このモデルはオープンソースであり、商用利用も可能です。
チームによると、さらに多くのパラメータ規模のEdgeRockが開発中だという。
長時間動作するロボットにとって、この仕組みはかなり想像力を働かせるものです。
結局のところ、ロボットは環境を感知しながら動作を計画するので、任務が数時間やそれ以上続くと、履歴キャッシュが無限に増大するわけにはいきません。
推論プロセス中のメモリ使用量を事前に計算できれば、端末側でのデプロイもかなり簡単になる。
メモリがさらに下がるかどうかは、市場に任せましょう。
しかし、少なくとも一つは変わった：モデルがどれだけ長く考えるかに関わらず、記憶は再び膨張することはない。
論文アドレス：
https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub：
https://github.com/rockmatrix-ai/EdgeRock
Hugging Face：
https://huggingface.co/rockmatrix-ai/EdgeRock