IT之家 10月9日の報道によると、Byte Seedチームは今年9月末に予印本プラットフォームarXivで論文を提出し、ブロック式KVキャッシュ圧縮がもたらす位相感受性について論じており、DeepSeekの「暴れっぷり」の原因を直接指摘している。
この研究では、基本版および後訓練版のDeepSeek-V4-FlashとDeepSeek-V4-Pro、そして後訓練後のDeepSeek-V4.1-Flashが評価されました。
モデルはブロック式KVキャッシュ圧縮を通じて、連続するマークのウィンドウを固定ステップでより少ないキャッシュエントリに圧縮し、長いコンテキスト推論におけるメモリと注意のコストを減らすことができる。
しかし、この圧縮では新たな位置座標が導入される：トークンのかなりみ、または圧縮ウィンドウの境界に対するその位置である。
このチームは、このような圧縮モデルを使用する際に体系的な非対称性が存在することを発見した：同じ情報はある段階では容易に検索できるが、別の段階では検索が困難になる。チームは、この検索性能の周期的な変化を「フェーズセンシティビティ（phase sensitivity）」と呼んでいる。
このような圧縮された大規模なオープンウェイトモデルでは、長いコンテキスト検索の正確性が各段階で最大40ポイントの差がある可能性があり、平均ベースのスコアが隠している周期的な弱点を明らかにする。
IT之家の論文リンク：
https://arxiv.org/abs/2609.36322
広告声明：この文章には、外部へのジャンプリンクが含まれています（ハイパーリンク、QRコード、パスワードなどを含む）。これらはより多くの情報を提供し、選択にかかる時間を節約するためのものです。結果は参考値であり、IT之家で外部リンクを含む記事にはこの声明が適用されます。