der UC Berkeley Sky Computing Lab hat LEANNentwickelt, einen Open-Source-Vektorindex, der fast keine Embeddings speichert. Der LEANN-Vektorindex berechnet Embeddings zur Abfragezeit neu, anstatt sie auf der Festplatte zu sichern. Das Repo-Benchmark zeigt einen Wikipedia-Index mit 60 Millionen Chunks, der von 201 GB auf 6 GB schrumpft. Das Forschungspapier paper gewann den Best Research Paper award at MLSys 2026. So bringt es semantische Suche und RAG über persönliche Daten auf einem Laptop.
TL;DR
- Größe: 6 GB für 60M Chunks (repo); 4 GB im Papier- 76-GB-Wikipedia-Setup. Standard-Embedder: Contriever (110M Parameter). Es ist ein Index, kein LLM, daher gilt keine Kontextlänge.
- Läuft auf: Laptops und Workstations. Das Papier testete einen RTX 4090-Rechner mit 32 GB RAM und einen M1 Ultra Mac. Eine CPU-only-Linux-Installation existiert, ohne veröffentlichte CPU-Latenz.
- Leistung: erreicht die Downstream-Genauigkeit von HNSW bei 90% Recall mit weniger als 5% des Speicherbedarfs der Rohdaten.
- Bestes Ergebnis: 25.5% NQ-Genauigkeit, identisch mit HNSW, mit 4 GB statt 188 GB.
- Schlechtestes Ergebnis: HotpotQA-Retrieval dauert 44.80 s auf dem Mac, 50.1% der gesamten Pipeline-Zeit.
Was ist LEANN?
LEANN ist ein ANN-Index (Approximate Nearest Neighbor) mit geringem Speicherbedarf, der auf FAISS. Es zielt auf ein Problem ab: Vektorindizes sind oft größer als die Daten, die sie indexieren. Die Forschungsarbeit zeigt, dass ein 76 GB großer Korpus 173 GB an Embeddings plus einen 15 GB großen HNSW-Graphen benötigt. Das mehr als verdoppelt die Rohdatenmenge.
LEANN behält einen beschnittenen Graphen, verwirft die vollständigen Vektoren und rekonstruiert sie bei Bedarf. Der Code ist MIT-lizenziert und wird installiert mit uv pip install leann.
Wie berechnet LEANN Embeddings neu, ohne die Suche anzuhalten?
Graphindizes wie HNSW besuchen pro Anfrage nur eine kleine Menge an Knoten. Das nutzt LEANN aus. Es speichert den Graphen plus eine kompakte Produktquantisierungstabelle (PQ). Zur Abfragezeit berechnet es nur Knoten auf dem Suchpfad neu.
3 Techniken halten das praktisch umsetzbar:
- Zweistufige Suche: günstige PQ-Distanzen ordnen zuerst die Nachbarn. Nur die Top-Kandidaten erhalten eine exakte Neuberechnung.
- Dynamisches Batching: Kandidaten aus mehreren Hops werden gebündelt, zum Beispiel 64 auf einmal, zur Effizienzsteigerung auf der GPU.
- Beschnitt mit Erhalt hoher Knotengrade: die meisten Knoten behalten wenige Kanten, während die oberen 2 % „Hub“-Knoten mehr behalten.
In Ablationen bringt die zweistufige Suche eine durchschnittliche Beschleunigung von 1.4x. Das Hinzufügen von Batching erhöht sie auf 1.8x. Die Neuberechnung der Embeddings macht weiterhin etwa 76 % der Abfragelatenz aus.
Wie schlägt sich LEANN bei Benchmarks?
Das Forschungsteam testete NQ, TriviaQA, GPQA und HotpotQA gegen einen RPJ-Wiki-Datenspeicher mit 60M Passagen. Die Latenz wird bei 90 % Recall@3 gemessen. Alle folgenden Zahlen stammen aus der Selbstdarstellung in der Forschungs- arbeit.
Bei NQ erreichen LEANN und HNSW mit Qwen3-4B auf einer RTX 4090 beide 25.5 % nachgelagerte Genauigkeit. LEANN verwendet 4 GB Speicher. HNSW verwendet 188 GB. BM25 erreicht 18.3 %, und PQ-Kompression erreicht 17.9 %.
Der Preis ist die Suchzeit. Die LEANN-Suche dauert bei NQ 2.48 s, gegenüber 0.05 s bei HNSW. Die Generierung dauert etwa 20 s, sodass die End-to-End-Latenz von 20.95 s auf 23.34 s steigt.
Über alle Datensätze auf der RTX 4090 liegt die LEANN-Suche zwischen 1.12 s (GPQA) und 7.12 s (HotpotQA). Der IVF-basierte Neuberechnungs-Baseline, inspiriert von EdgeRAG, ist bis zu 200x langsamer. LEANN verbessert Exact Match um bis zu 11.8 % gegenüber BM25.
Das GitHub- Repo meldet ähnliche Einsparungen bei persönlichen Daten. 400K Chat-Nachrichten schrumpfen von 1.8 GB auf 64 MB. 38K Browser-Einträge schrumpfen von 130 MB auf 6.4 MB.
LEANN im Vergleich zu anderen Vektorindizes
| Merkmal | LEANN | HNSW (FAISS) | DiskANN | IVF-Recompute (EdgeRAG-Stil) | PQ-Kompression |
|---|---|---|---|---|---|
| Ansatz | Pruning-Graph, Berechnung bei Bedarf | Graph plus alle Vektoren im RAM | Graph und Vektoren auf SSD, PQ im RAM | IVF-Cluster, Berechnung bei Bedarf | Komprimierte Vektoren plus Graph |
| Speicher, 76-GB-Korpus | 4 GB | 188 GB | 270 GB | Unter 5 % der Rohdaten | 20 GB |
| NQ-Abruf bei 90 % Recall (RTX 4090) | 2,48 s | 0,05 s | 0,03 s | 307,61 s | Erreicht 90 % nicht |
| HotpotQA-Abruf bei 90 % Recall (RTX 4090) | 7,12 s | 0,05 s | 0,11 s | 429,46 s | Erreicht 90 % nicht |
| NQ-Downstream-Genauigkeit (Qwen3-4B) | 25.5% | 25.5% | Nicht angegeben | Nicht angegeben | 17.9% |
| Passt in 32-GB-RAM-Workstation | Ja | Nein (OOM) | Ja | Ja | Ja |
| Lizenz | MIT | MIT | MIT | Nicht offengelegt | Variiert je nach Implementierung |
Die Angaben zu Speicher, Latenz und Genauigkeit stammen aus dem LEANN-Paper v2, Tabelle 1 und 2 sowie Abschnitt 7.2 (selbst berichtet). Die Zeilen zu Lizenz und Design verlinken auf die jeweiligen Quellen der Projekte.
Wo können Entwickler LEANN einsetzen?
Das Repository enthält fertige Apps für Dokumente, Apple Mail, Chrome-Verlauf, WeChat, iMessage sowie ChatGPT- oder Claude-Exporte. MCP-Reader ziehen Live-Daten aus Slack und Twitter-Lesezeichen. LEANN läuft außerdem als semantic search MCP server for Claude Code.
Bei 30 SWE-Bench-Pro-Aufgaben aus ContextBench berichtet das Team von 24.2 % anfänglichem Relevant-Code-Recall gegenüber 11.4 % bei BM25. Der Agent verwendete zudem 8.4 % weniger Tokens.
HNSW ist das Standard-Backend, mit DiskANN für schnellere Suche. Die Generierung funktioniert mit Ollama, Hugging Face, Anthropic oder jeder OpenAI-kompatiblen API. Es unterstützt Ubuntu, Arch, WSL, macOS und Windows. Einige Apps, wie die Apple-Mail-Suche, sind nur für macOS verfügbar.
Wichtigste Erkenntnisse
- LEANN speichert einen pruning-Graphen und berechnet Embeddings zur Abfragezeit neu.
- 60M Chunks: 201 GB auf 6 GB im Repo-Benchmark reduziert.
- Entspricht der HNSW-Genauigkeit (25.5 % auf NQ) bei 90 % Recall.
- Suchkosten im Sekundenbereich: 2.48 s gegenüber 0.05 s bei HNSW auf NQ.
- MIT-lizenziert und ein MLSys 2026 Best Research Paper.
Schauen Sie sich das Paper, GitHub Repo und PyPI-Paketan. Folgen Sie uns gerne auch auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und zu abonnieren: unseren Newsletter. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Möchten Sie mit uns kooperieren, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER Ihr Produktrelease ODER ein Webinar usw. zu bewerben? Kontaktieren Sie uns
Der Beitrag Lernen Sie LEANN kennen: Ein Open-Source-Vektorindex, der einen 60M-Chunk-RAG-Index von 201 GB auf 6 GB verkleinert erschien zuerst auf MarkTechPost.