カリフォルニア大学バークレー校の Sky Computing Lab 構築された LEANN、埋め込みをほとんど保存しないオープンソースのベクトルインデックスです。LEANNベクトルインデックスは、埋め込みをディスクに保存する代わりに、クエリ実行時に再計算します。この repoベンチマーク 6000万チャンクのWikipediaインデックスが201 GBから6 GBに減少する様子を示しています。この研究 論文 は、MLSys 2026で MLSys 2026でのBest Research Paper賞を受賞しました。つまり、ノートPC上で個人データに対するセマンティック検索とRAGを実現します。
TL;DR
- サイズ: 60Mチャンクで6 GB(repo); 4 GBは 76 GB Wikipediaセットアップでは4 GB。デフォルトのエンベッダーはContriever(110Mパラメータ)。これはインデックスでありLLMではないため、コンテキスト長の制限は適用されません。 76 GBのWikipediaセットアップでの数値です。デフォルトのエンベッダー: Contriever(110M params)。これはインデックスでありLLMではないため、適用されるコンテキスト長はありません。
- ノートPCおよびワークステーション。論文では32 GB RAM搭載のRTX 4090マシンとM1 Ultra Macでテストされました。CPUのみのLinuxインストールも存在しますが、公開されているCPUレイテンシはありません。 ラップトップやワークステーション。論文では、32 GB RAM搭載のRTX 4090マシンとM1 Ultra Macをテストしました。CPUのみのLinuxインストールも存在しますが、公開されているCPUレイテンシはありません。
- 生データの5%未満のストレージで、90% recallにおいてHNSWと同等の下流精度を実現。 生データストレージの5%未満を使用しながら、90% recallにおいてHNSWと同等のダウンストリーム精度を達成します。
- NQ精度25.5%、HNSWと同一で、188 GBの代わりに4 GBを使用。 188 GBの代わりに4 GBを使用して、HNSWと同一の25.5% NQ精度を達成します。
- HotpotQAの検索がMacで44.80 sかかり、パイプライン全体時間の50.1%を占めます。 MacでのHotpotQA検索には44.80秒かかり、パイプライン全体時間の50.1%を占めます。
LEANNは、
LEANNは、次の上に構築された低ストレージの近似最近傍(ANN)インデックスです。 の上に構築された低ストレージの近似最近傍(ANN)インデックスです。。これは1つの問題を狙い撃ちします。ベクトルインデックスは、索引付け対象のデータより大きくなりがちだという問題です。 研究論文 「76 GBのコーパスに対して、173 GBの埋め込みに加えて15 GBのHNSWグラフが必要になることを示しています。これは生データの2倍以上になります。」
LEANNは剪定されたグラフを保持し、完全なベクトルを削除して、必要に応じて再構築します。コードはMITライセンスで、次のコマンドでインストールできます。 uv pip install leann.
LEANNは検索を停止させることなくどうやって埋め込みを再計算するのか?
HNSWのようなグラフインデックスは、クエリごとに少数のノードのみを訪問します。LEANNはこの特性を利用しています。グラフに加えてコンパクトなプロダクト量子化（PQ）テーブルを保存し、クエリ時には検索パス上のノードのみを再埋め込みします。
この実用性を支えているのが3つのテクニックです。
- 2段階検索: PQ距離が小さい近傍を上位にランク付けします。正確な再計算が行われるのは上位の候補のみです。
- 動的バッチング: 複数ホップからの候補は、例えばGPU効率のために一度に64個ずつグループ化されます。
- 高次数保存型プルーニング: ほとんどのノードはわずかなエッジしか保持しない一方で、上位2%の「ハブ」ノードはより多くを保持している。
アブレーション実験では、2段階検索により平均1.4倍の高速化が得られます。バッチ処理を追加すると1.8倍に向上します。それでも、埋め込みの再計算がクエリレイテンシの約76%を占めています。
LEANNはベンチマークでどのような性能を示しますか?
研究チームは、60MパッセージのRPJ-Wikiデータストアを対象にNQ、TriviaQA、GPQA、HotpotQAをテストしました。レイテンシは90% Recall@3で測定されています。以下の数値はすべて研究による自己申告です。 論文.
NQにおいて、RTX 4090上のQwen3-4Bを使用すると、LEANNとHNSWはどちらも25.5%のダウンストリーム精度に到達します。LEANNは4 GBのストレージを使用し、HNSWは188 GBを使用します。BM25は18.3%、PQ圧縮は17.9%のスコアです。
その代償は検索時間です。LEANNの検索はNQで2.48秒かかるのに対し、HNSWは0.05秒です。生成には約20秒かかるため、エンドツーエンドのレイテンシは20.95秒から23.34秒に増加します。
RTX 4090上の各データセットにおいて、LEANNの検索時間は1.12秒(GPQA)から7.12秒(HotpotQA)の範囲に及びます。着想を得たIVFベースの再計算ベースラインは、 EdgeRAG、最大200倍遅くなります。LEANNはBM25に対して完全一致を最大11.8%改善します。
The GitHub リポジトリ reports similar savings on personal data. 個人のデータについても同様の削減効果が報告されています。400K件のチャットメッセージは1.8 GBから64 MBへ縮小します。38K件のブラウザエントリは130 MBから6.4 MBへ縮小します。
LEANNと他のベクトルインデックスの比較
| 特集 | LEANN | HNSW (FAISS) | DiskANN | 「IVF-Recompute(EdgeRAG方式)」 | PQ圧縮 |
|---|---|---|---|---|---|
| アプローチ | プルーニング済みグラフ、必要時に再計算 | グラフ＋全ベクトルをRAMに配置 | グラフとベクトルをSSDに、PQをRAMに配置 | IVFクラスタ、必要時に再計算 | 圧縮ベクトル＋グラフ |
| ストレージ、76 GBコーパス | 4 GB | 188 GB | 270 GB | 生データの5%未満 | 20 GB |
| 90%リコールでのNQ検索（RTX 4090） | 2.48 s | 0.05 s | 0.03 s | 307.61 s | 90%に到達せず |
| 90%リコールでのHotpotQA検索（RTX 4090） | 7.12 s | 0.05 s | 0.11 s | 429.46 s | 90%に到達せず |
| NQダウンストリーム精度（Qwen3-4B） | 25.5% | 25.5% | 非公開 | 非公開 | 17.9% |
| 32 GB RAMワークステーションに収まる | はい | いいえ（OOM） | はい | はい | はい |
| ライセンス | MIT | MIT | MIT | 非公開 | 実装によって異なります |
ストレージ、レイテンシ、および精度の数値は以下に基づいています。 LEANN 論文 v2, 表1・表2および第7.2節(自己申告)。ライセンスと設計の行は各プロジェクト自身のソースへリンクしています。
開発者はLEANNをどこで利用できますか?
このリポジトリには、ドキュメント、Apple Mail、Chrome の履歴、WeChat、iMessage、ChatGPT または Claude のエクスポートに対応したすぐに使えるアプリが同梱されています。MCP リーダーは Slack や Twitter のブックマークからライブデータを取得します。LEANN はさらに、 Claude Code向けセマンティック検索MCPサーバー.
ContextBenchの30のSWE-Bench Proタスクにおいて、チームはBM25の11.4%に対して24.2%の初期の関連コード想起率を報告している。エージェントはトークン使用量も8.4%少なかった。
HNSWがデフォルトのバックエンドで、より高速な検索にはDiskANNが利用できます。生成にはOllama、Hugging Face、Anthropic、またはOpenAI互換の任意のAPIが使用できます。Ubuntu、Arch、WSL、macOS、Windowsに対応しています。Apple Mailの検索など、一部のアプリはmacOS専用です。
重要なポイント
- LEANNはプルーニングされたグラフを保存し、クエリ実行時に埋め込みを再計算します。
- 60Mチャンク: リポジトリベンチマークで201 GBから6 GBに削減。
- HNSWの精度(NQで25.5%)を90%のリコールで再現します。
- 検索コストの秒数:NQでのHNSWに対して2.48秒対0.05秒。
- MITライセンスで、MLSys 2026の最優秀研究論文賞を受賞しています。
チェックしてみてください: 論文, GitHub リポジトリ および PyPI パッケージ. また、ぜひ私たちをフォローしてください Twitter そして、私たちの 150k+ ML SubReddit および登録する 当サイトのニュースレター. お待ちください!Telegramを利用されていますか? 現在、Telegramでもご参加いただけるようになりました。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで当サイトと提携をご希望ですか? 当サイトまでご連絡ください
投稿 Meet LEANN: An Open-Source Vector Index that Shrinks a 60M-Chunk RAG Index from 201 GB to 6 GB(LEANNをご紹介: 60MチャンクのRAGインデックスを201 GBから6 GBへ縮小するオープンソースのベクトルインデックス) は、最初に MarkTechPost.