Yunzhong, berichtet von Aofeisi
Quantenbit | Öffentlicher WeChat-Account QbitAI
Ein Papier von Google hat in diesem Jahr die Aktienkurse der Speicherchip-Riesen ordentlich in Wallung gebracht.
In der Arbeit wird erwähnt, dassDer KV-Cache lässt sich um mindestens das 6-Fache komprimieren。
Man muss wissen: Die Inferenz großer Modelle verbraucht immer mehr Speicher, und der KV-Cache ist dabei ein nicht unerheblicher Kostenposten.
Nun hat Google ihn plötzlich so stark verkleinert, und die Aktienkurse von Speicherchip-Riesen wie Micron sind daraufhin gefallen.
Doch nur wenige Monate später ist jemand noch härter an den KV-Cache herangegangen.
Diesmal reicht nicht einmal mehr Kompression aus.
Der Kontext stieg von 4K bis auf 256K, doch der Speicherverbrauch des KV-Cache blieb konstant.
Bei 256K Kontext bleibt er stets bei 72 MiB fixiert. Gegenüber dem Ausgangsmodell wird der KV-Cache direkt reduziert um99.1%。
Noch extremer: Auf einer einzigen 80-GB-Grafikkarte laufen gleichzeitig 512 parallele Long-Inferenz-Prozesse mit einem Ausgabedurchsatz von 12124 tokens/s – das 6.42-Fache des Ausgangsmodells.
Und auch die Inferenzfähigkeit blieb im Wesentlichen erhalten: Bei AIME 2024–2026 liegt die durchschnittliche Pass-at-1-Quote bei 82,9 %, während selbst die besten getesteten Modelle mit begrenztem Zustand (bounded-state), selbst mit 14B, nur 18,8 % erreichten.
Das istYanshan Technologydessen Tochterfirma Yanxin Matrix gemeinsam mit Universitäten wie der Hong Kong University of Science and Technology und CMU soeben veröffentlicht und als Open Source freigegeben hat:EdgeRock-4B。
Eine Veränderung, die es für Long-Inferenz mit sich bringt:
So lang die Inferenz auch sein mag, der Speicher wächst nicht.
Die Modellgewichte und der Inferenzcode sind bereitsOpen Sourceund unterstützen zudem Text- und Bildinferenz.
Warum wird Inferenz teurer, je länger sie dauert?
Heutige Modelle denken gerne mal über zigtausend Tokens nach; Agenten arbeiten zudem über Dutzende Runden hinweg und stopfen Suchergebnisse, Code und Aufrufprotokolle von Werkzeugen unaufhörlich in den Kontext.
Je eifriger das Modell arbeitet, desto eher ist der Grafikspeicher am Ende.
Das Problem liegt im KV-Cache.
Die meisten Modelle speichern heute die Inferenzhistorie im KV-Cache, und mit jedem generierten Token kommt ein wenig mehr dazu.
Am Beispiel von Qwen3.5-4B: Pro Token kommen 32 KiB an KV-Cache hinzu. Bei 64K Inferenz sind das bereits 2 GiB pro Sequenz; bei 256K sind es 8 GiB.
Gerade im Zeitalter der Inferenzmodelle ist das besonders kritisch.
Modelle denken zunehmend gern „in die Tiefe“ und geben gleich zigtausend Token aus; Agenten führen Dutzende von Tool-Aufrufen in einer Runde aus, und der Kontext wird immer länger.
Je länger die Inferenz, desto mehr Grafikspeicher wird belegt, und desto weniger Anfragen kann eine Karte gleichzeitig bedienen.
Auf dem Endgerät muss der KV Cache zudem mit Wahrnehmungs- und Steuerungsmodulen um den ohnehin knappen Speicher konkurrieren.
Die Branche verfolgt im Wesentlichen zwei Ansätze.
Der eine ist, jedem Token „abzuspecken“:
Multi-Head Latent Attention (MLA) komprimiert die KV, Quantisierungsmethoden wie KIVI senken die Präzision, und Googles TurboQuant gehört ebenfalls in diese Richtung.
Doch sie senken nur die Kosten pro Token, während der Cache weiterhin mit der Inferenz wächst.
Eine andere Klasse sind Modelle mit begrenztem Zustand:
Rekurrente Modelle, State-Space-Modelle und Sliding-Window-Modelle haben von Natur aus einen festen Speicher.
Das Problem: Sie können entfernte Details, die für spätere Inferenz benötigt werden, oft nicht behalten, wodurch die Inferenzfähigkeit erheblich leidet.
Die eigentliche Herausforderung lautet also:
Kann man die für die Inferenz wichtigen Details bei festem Speicher bewahren?
Die Antwort von EdgeRock lautet:Ja。
512 parallele lange Inferenzen gleichzeitig auf einer Karte
Zunächst zum offensichtlichsten Durchsatz.
Die Testkonfiguration war 32K Eingabe und 32K Ausgabe; alle Modelle liefen auf einer einzelnen Hopper-80GB-GPU, jeweils mit der in der Praxis schnellsten Batchgröße.
Das Ergebnis: EdgeRock-4B lieferte auf einen Schlag 512 parallele Verbindungen mit einem Ausgabedurchsatz von 12124 Tokens/s.
Die schnellste Konfiguration des Quellmodells Qwen3.5-4B war eine Batchgröße von 64 mit nur 1889 Tokens/s; auch Gemma 4 E4B, MiniCPM5-2B und LFM2.5-2.6B lagen alle zwischen 1700 und 2200 Tokens/s.
Warum ist die Lücke so groß? Die Rechnung ist eigentlich einfach.
Bei 32K Eingabe plus 32K Ausgabe beträgt der KV-Cache von Qwen3.5-4B pro Sequenz 2 GiB.
Eine einzelne 80GB-Grafikkarte ist bereits bei einigen Dutzend gleichzeitigen Sequenzen voll belegt, weitere Anfragen müssen in die Warteschlange.
Bei EdgeRock-4B im Batch-Betrieb bleibt der gesamte pro Sequenz zu speichernde Historienzustand dagegen fest bei 97,76 MiB – unabhängig von der Länge.
Zum Vergleich: Würde man Qwen3.5-4B ebenfalls diese 512 Sequenzen gleichzeitig bearbeiten lassen, bräuchte allein der KV-Cache am Ende der Generierung 1 TiB – etwa der Speicher von 13 80GB-Grafikkarten.
EdgeRock passt auf eine einzige Karte, mit einem Spitzenwert von 61,26 GiB – Modellgewichte inklusive.
Nun zur Skalierbarkeit.
Bei 16 Lastprofilen aus Kombinationen von 4K bis 32K Eingabe mit den jeweiligen Ausgaben stieg die Batchgröße von 32 bis 512, und der gewichtete Decoding-Durchsatz wuchs von 4128 auf 12497 Tokens/s, ohne dass der GPU-Spitzenverbrauch je die Grenze einer einzelnen Karte erreichte.
Auch einzelne Anfragen sind nicht langsam.
Modelle, deren KV-Cache mit der Inferenz wächst, haben einen gemeinsamen Makel: Sie werden beim Schreiben immer langsamer.
Denn für jedes neu generierte Token muss der gesamte immer größer werdende KV-Cache erneut durchlaufen werden.
Bei EdgeRock bleibt der Rechenaufwand pro Token vom Kontext unabhängig.
Nach 128K Eingabe und anschließender Generierung von 128K Tokens bleibt seine Geschwindigkeit von Anfang bis Ende stabil bei 233,7 Tokens/s;
Qwen3.5-4B sinkt dagegen von etwa 169 bis auf 151,3.
Je länger der Kontext, desto günstiger
Ein mehrfach höherer Durchsatz bedeutet, aus anderer Perspektive betrachtet, ein entsprechend niedrigerer Kostenfaktor.
Gleiche Karte, gleiche Last, gleiche Anzahl an generierten Tokens:
- Bei 4K Eingabe benötigt EdgeRock nur 24,9 % der GPU-Zeit von Qwen3.5-4B;
- bei 32K Eingabe nur 15,6 %.
Wird nach GPU-Stunden abgerechnet, sinken die Rechenkosten pro Token im selben Verhältnis.
Im Durchschnitt über die vier Eingabelängen liegt der Durchsatz von EdgeRock beim 4,94-Fachen von Qwen3.5-4B und beim 7,18-Fachen von LFM2.5-2.6B.
Entscheidender ist noch der Trend: Je länger der Kontext, desto größer der Abstand.
Der KV-Cache von Qwen3.5-4B wächst mit der Länge immer weiter an, der von EdgeRock nicht.
Neben der „Ersparnis" bringt der feste Speicher einen oft übersehenen Vorteil mit sich: Determiniertheit.
Wie viel Speicher jede Anfrage benötigt, lässt sich bereits vor Beginn der Inferenz genau berechnen.
- Der Inferenzdienst kann die Kapazität nach der Anzahl der Anfragen planen und muss nicht raten, wie lange jede Anfrage am Ende läuft;
- Edge-Geräte weisen den Speicher ein Mal zu und der Speicher wird auch bei noch so langer Inferenz nicht erschöpft;
- der Verlaufsspeicher von Agenten wächst nicht mehr mit der Anzahl der Tool-Aufrufe;
- spezialisierte Chips können sogar den gesamten historischen Zustand im On-Chip-Speicher halten.
In Zeiten, in denen Speicher immer kostbarer wird, rechnet sich diese Rechnung nur immer mehr.
Speicher gespart, Intelligenz nicht reduziert
An dieser Stelle könnten sich kundige Leser fragen: Konstanten Speicher haben RNN und Mamba doch längst erreicht – was ist daran besonders?
Das Besondere daran ist, dass die Inferenzfähigkeit trotz der Speichereinsparung erhalten bleibt.
Das Team verglich EdgeRock-4B mit 16 Bounded-State-Modellen, darunter Ansätze wie GDN, RWKV und Mamba, von denen drei im 14B-Bereich liegen.
Auf AIME 2024–2026 erreichte EdgeRock-4B im Durchschnitt eine Pass@1-Quote von 82,9 %; das stärkste Modell der Vergleichsgruppe, RWKV-7 G1j 13.3B, kam nur auf 18,8 %, AHN-GDN Qwen2.5 14B auf 11,4 %.
Bei den 29 Text-Benchmarks belegte EdgeRock-4B in 24 Fällen den ersten Platz unter den Bounded-State-Modellen; beim gleichgewichteten Mittel der 29 Benchmarks lag es 23,8 Prozentpunkte über dem stärksten Baseline bei diesem Metrik, AHN-GDN Qwen2.5 14B.
Auch gegenüber dem Ausgangsmodell blieben die Fähigkeiten im Wesentlichen erhalten:
- Die durchschnittliche AIME-Pass@1-Quote liegt bei 96,3 % von Qwen3.5-4B, bei MATH-500 bei 97,5 %;
- bei den 29 Text-Benchmarks übertraf es Qwen3.5-4B in 8 Fällen, darunter MMLU-Pro, SuperGPQA, HumanEval und MBPP;
- bei den sechs visuellen Benchmarks erzielte es im Durchschnitt 84,9 % und bewahrte damit 95,3 % von Qwen3.5-4B.
Dieses Ergebnis liegt bereits auf dem Niveau der führenden kleinen Modelle, deren Speicher mit der Inferenz wächst.
Das Geheimnis: Dem Gedächtnis einen „Felsanker" geben
Wie schafft EdgeRock das also?
Der Kern ist ein neuer Gedächtnis Mechanismus: Rock Memory Anchors (RMA), auf Deutsch Speicher-Felsanker.
Sein Design ist von Felsankern inspiriert: Die für die Inferenz wichtigen Informationen werden fixiert.
So wie ein Kletterer Felsanker in die Felswand treibt, um für jeden weiteren Schritt einen verlässlichen Halt zu haben, „nagelt" RMA die wirklich wichtigen Details während der Inferenz in einem Anker-Speicher mit fester Kapazität fest und liest sie bei Bedarf direkt aus.
Konkret speichert EdgeRock den Verlauf jeder Sequenz in drei Teilen, die jeweils eine eigene Aufgabe haben:
- Der rekurrente Zustand fasst den sich ständig entwickelnden Kontext zusammen und erfasst das Wesentliche;
- das lokale Fenster umfasst die letzten 1024 Token und kümmert sich um das Unmittelbare;
- der Anker-Speicher bewahrt aus dem früheren Verlauf die wertvollsten Details und merkt sich das Entscheidende.
Der Auswahlprozess der Anker läuft so ab:
Ein Writer erzeugt für jedes Token einen Kandidateneintrag, ein Bewertung Netzwerk vergibt ihm einen Score;
Alle 256 gesammelten Kandidaten werden mit den bereits vorhandenen Einträgen in der Ankerbibliothek verglichen, wobei nur die 1024 besten Ergebnisse behalten und der Rest verworfen wird.
Die vier KV-Gruppen arbeiten dabei jeweils unabhängig voneinander.
Die behaltenen Anker sind voneinander unabhängig und ihr Inhalt bleibt unverändert. Selbst wenn ihre Ursprungstelle längst aus dem lokalen Fenster herausgerutscht ist, kann die nachfolgende Inferenz sie direkt lesen.
Anders ausgedrückt: Das Modell lernt nicht, „sich an alles zu erinnern“, sondern „sich nur an das zu erinnern, was es wert ist, erinnert zu werden“.
Das lokale Fenster plus die Ankerbibliothek fixieren die Aufmerksamkeits-KV jeder Sequenz auf 72 MiB. Genau daraus stammt die Tatsache, dass der Speicher nicht ansteigt.
Architektonisch basiert EdgeRock-4B auf einer Umgestaltung von Qwen3.5-4B: 24 Gated-DeltaNet-Schichten bleiben erhalten, die 8 Full-Attention-Schichten werden durch Sliding-Window-Attention mit 1024 Fenstergröße ersetzt, dazu kommt ein unabhängiges RMA-Modul.
Das gesamte Modell wurde in Etappen aus Qwen3.5-4B umgewandelt,ohne dass ein Pretraining von Grund auf nötig war。
Haben die Anker nun tatsächlich eine Wirkung gezeigt?
Das Team führte ein Experiment durch: Während der Inferenz wurden alle 8 RMA-Module abgeschaltet, während die rekurrenten Schichten und die lokale Aufmerksamkeit wie gewohnt weiterliefen.
Auf 256 lange Kontexte von 16K bis 130K Token wurden jeweils 4 Fragen gestellt, die Retrieval, Zustandsaktualisierungen, die Kombination informationen über Dokumente hinweg und Variablenbindung abdeckten:
- Mit eingeschaltetem RMA wurden 964 von 1024 Fragen richtig beantwortet, eine Genauigkeit von 94,1 %;
- mit ausgeschaltetem RMA wurden nur 4 richtig beantwortet, eine Genauigkeit von 0,4 %.
Das Ferngedächtnis fiel fast auf null. Das zeigt, dass EdgeRock die Informationen aus der Ferne tatsächlich über die Anker liest, um darauf zu antworten.
Außerdem zeichnet jeder Anker seine Ursprungsposition auf, sodass man direkt einsehen kann, was das Modell sich zu merken entschieden hat.
Wird der Speicher noch weiter sinken?
EdgeRock wurde von Yankomatrix, einer Tochtergesellschaft der Yanshan Technology, gemeinsam mit Universitäten wie der HKUST und CMU entwickelt. Das Modell ist inzwischen quelloffen und kann kommerziell genutzt werden.
Das Team verrät, dass weitere EdgeRock-Modelle mit mehr Parametern unterwegs sind.
Für Roboter, die lange Zeit laufen müssen, bietet dieser Mechanismus durchaus faszinierende Möglichkeiten.
Schließlich nehmen Roboter ihre Umgebung wahr, planen gleichzeitig Bewegungen und laufen über Stunden oder noch länger – da kann man nicht zulassen, dass der Historien-Cache endlos anwächst.
Wenn sich der Speicherverbrauch während der Inferenz im Voraus genau berechnen lässt, erspart das auch bei der Edge-Bereitstellung viel Aufwand.
Ob der Speicher noch weiter sinken wird, überlässt man dem Markt.
Aber eines hat sich bereits geändert: Egal wie lange das Modell nachdenkt, der Speicher für sein Gedächtnis wächst nicht mehr an.
Adresse des Papers:
https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub:
https://github.com/rockmatrix-ai/EdgeRock
Hugging Face:
https://huggingface.co/rockmatrix-ai/EdgeRock