Yunzhong, depuis Aofeisi
量子位 | Compte officiel QbitAI
Un article publié cette année par Google a carrément fait bouger le cours en bourse des géants des puces mémoire.
L'article mentionne queLe KV Cache peut être compressé d'au moins 6 fois。
Il faut savoir que l'inférence des grands modèles consomme de plus en plus de mémoire, et le KV Cache représente une part non négligeable de ces coûts.
Maintenant que Google l'a soudainement réduit à ce point, le cours des géants des puces mémoire comme Micron a chuté en conséquence.
Or, à peine quelques mois plus tard, quelqu'un a encore porté un coup bien plus rude au KV Cache.
Cette fois, la compression ne suffit même plus.
Le contexte est passé de 4K à 256K, et l'occupation du KV Cache n'a pas bougé d'un pouce.
À un contexte de 256K, il reste fixé en permanence à 72 MiB. Par rapport au modèle source, le KV Cache est directement réduit de99.1%。
Encore plus spectaculaire : une seule carte graphique de 80 Go exécute simultanément 512 sessions d'inférence longue, avec un débit de sortie atteignant 12124 tokens/s, soit 6.42 fois celui du modèle source.
De plus, les capacités de raisonnement sont quasiment préservées : le taux de réussite moyenne en un seul passage sur AIME 2024—2026 atteint 82.9 %, tandis que les modèles à états bornés en compétition, même à 14B, n'atteignent au mieux que 18.8 %.
C'estYanshan Technologyqui, via sa filiale Yanxin Matrix, en collaboration avec l'Université de Hong Kong, CMU et d'autres universités, vient de publier et d'open-sourcerEdgeRock-4B。
Le changement qu'il apporte à l'inférence longue est le suivant :
Peu importe la longueur du raisonnement, la mémoire n'augmente pas.
Les poids du modèle et le code d'inférence sont désormaisopen source, et il prend en charge l'inférence sur du texte et des images.
Pourquoi une inférence plus longue coûte-t-elle plus cher ?
Les modèles actuels doivent réfléchir sur des dizaines de milliers de tokens ; les Agents, eux, peuvent travailler en continu pendant des dizaines de tours, en empilant sans cesse résultats de recherche, code et journaux d'appels d'outils dans le contexte.
Plus le modèle travaille avec ardeur, plus la mémoire vidéo cède d'abord.
Le problème vient du KV Cache.
Aujourd'hui, la plupart des modèles stockent l'historique d'inférence dans le KV Cache : à chaque token généré, on en stocke un peu plus.
Prenons l'exemple de Qwen3.5-4B : chaque token ajoute 32 KiB de KV Cache. À 64K d'inférence, une seule séquence atteint 2 GiB ; à 256K, elle atteint 8 GiB.
À l'ère des modèles de raisonnement, c'est particulièrement critique.
Les modèles adorent de plus en plus « réfléchir en profondeur » et sortent souvent des dizaines de milliers de tokens ; un Agent exécute des dizaines de tours d'appels d'outils, et le contexte s'allonge sans cesse.
Plus le raisonnement est long, plus la mémoire vidéo occupée est importante, et moins une seule carte peut servir de requêtes simultanément.
Sur les appareils en périphérie, le KV Cache doit en outre se battre avec les modules de perception et de contrôle pour une mémoire déjà limitée.
Les solutions de l'industrie se divisent grossièrement en deux catégories.
L'une consiste à « faire maigrir » chaque token :
l'attention latente multi-têtes (MLA) compresse le KV, les méthodes de quantification comme KIVI réduisent la précision, et TurboQuant de Google appartient également à cette voie.
Mais ils ne réduisent que le coût d'un token individuel : le cache continue de croître avec l'inférence.
L'autre catégorie est celle des modèles à état borné :
les modèles récurrents, les modèles à espace d'états, les modèles à fenêtre glissante, dont la mémoire est naturellement fixe.
Le problème, c'est qu'ils ne parviennent souvent pas à conserver les détails distants nécessaires à la suite du raisonnement, ce qui dégrade fortement leurs capacités de raisonnement.
La véritable difficulté devient donc :
peut-on conserver dans une mémoire fixe les détails essentiels dont le raisonnement a besoin ?
La réponse d'EdgeRock est :oui。
Une seule carte pour faire tourner simultanément 512 raisonnements longs
Commençons par le débit, l'indicateur le plus intuitif.
Le protocole de test est le suivant : 32K en entrée, 32K en sortie, tous les modèles tournant sur une seule GPU Hopper 80GB, chacun avec la taille de batch la plus rapide mesurée.
Résultat : EdgeRock-4B monte d'un coup à 512 requêtes concurrentes, avec un débit de sortie de 12124 tokens/s.
La configuration la plus rapide du modèle source Qwen3.5-4B est une taille de batch de 64, pour seulement 1889 tokens/s ; Gemma 4 E4B, MiniCPM5-2B et LFM2.5-2.6B se situent toutes entre 1700 et 2200 tokens/s.
Pourquoi un tel écart ? Le calcul est en réalité simple.
Après un run de 32K en entrée et 32K en sortie, le KV Cache de Qwen3.5-4B atteint 2 GiB par séquence.
Sur une seule GPU de 80 Go, quelques dizaines de requêtes concurrentes suffisent à la saturer, et les requêtes supplémentaires doivent patienter dans la file.
Or, chez EdgeRock-4B en exécution par lot, l'ensemble de l'état historique à conserver par séquence est fixé à 97.76 MiB, indépendamment de la longueur.
Pour donner une image : si l'on faisait tourner simultanément ces 512 séquences avec Qwen3.5-4B, le seul KV Cache en fin de génération atteindrait 1 TiB, soit environ la mémoire de 13 GPU de 80GB.
EdgeRock tient tout cela sur une seule carte, avec un pic de 61.26 GiB, poids du modèle inclus.
Voyons maintenant l'extensibilité.
Sur les 16 charges combinant des entrées de 4K à 32K avec des sorties deux à deux, en faisant passer la taille de batch de 32 à 512, le débit de décodage pondéré passe de 4128 à 12497 tokens/s, sans que le pic mémoire n'approche jamais la limite d'une seule carte.
Une requête individuelle n'est pas lente non plus.
Les modèles dont le KV Cache croît avec l'inférence ont un défaut commun : ils ralentissent à mesure qu'ils génèrent.
Car à chaque nouveau token généré, il faut relire un KV Cache de plus en plus volumineux.
Chez EdgeRock, le calcul par token n'augmente pas avec le contexte.
Après 128K en entrée puis génération de 128K tokens, sa vitesse reste stable à 233.7 tokens/s du début à la fin ;
Qwen3.5-4B, elle, descend d'environ 169 à 151.3.
Plus le contexte est long, plus c'est économique
Un débit multiplié par plusieurs, c'est, vu autrement, un coût divisé d'autant.
Même carte, même charge, même nombre de tokens générés :
- avec 4K en entrée, EdgeRock ne nécessite que 24.9% du temps GPU de Qwen3.5-4B ;
- avec 32K en entrée, seulement 15.6%.
En cas de facturation à l'heure GPU, le coût de calcul par token diminue également dans cette même proportion.
En faisant la moyenne sur les quatre longueurs d'entrée, le débit d'EdgeRock est 4.94 fois supérieur à celui de Qwen3.5-4B et 7.18 fois supérieur à celui de LFM2.5-2.6B.
Plus crucial encore, la tendance : plus le contexte est long, plus l'écart se creuse.
Le KV Cache de Qwen3.5-4B grossit de plus en plus avec la longueur, celui d'EdgeRock n'augmente pas.
Au-delà de l'économie, la mémoire fixe apporte un avantage souvent négligé : la prévisibilité.
La mémoire requise par chaque requête peut être calculée avant même le début de l'inférence.
- Le service d'inférence peut planifier sa capacité en fonction du nombre de requêtes, sans avoir à deviner combien de temps chaque requête finira par tourner ;
- un appareil embarqué alloue tout d'un coup, et l'inférence, même longue, n'épuisera jamais la mémoire ;
- la mémoire d'historique d'un agent intelligent cesse de croître avec le nombre d'appels d'outils ;
- et les puces spécialisées peuvent même placer tout l'historique des états dans la mémoire embarquée sur la puce.
À l'heure où la mémoire devient de plus en plus précieuse, ce calcul ne fera que gagner en valeur.
Économiser la mémoire sans sacrifier l'intelligence
Là, les connaisseurs pourraient objecter : la mémoire constante, RNN et Mamba l'ont fait depuis longtemps, qu'y a-t-il de si remarquable ?
Ce qui est remarquable, c'est que la mémoire est économisée et que la capacité de raisonnement est préservée.
L'équipe a comparé EdgeRock-4B à 16 modèles à états bornés, couvrant les approches GDN, RWKV, Mamba, dont trois de niveau 14B.
Sur AIME 2024–2026, EdgeRock-4B affiche un taux de réussite moyenne au premier essai de 82.9 % ; dans le groupe témoin, le meilleur, RWKV-7 G1j 13.3B, n'atteint que 18.8 %, et AHN-GDN Qwen2.5 14B 11.4 %.
Sur 29 benchmarks textuels, EdgeRock-4B se classe premier parmi les modèles à états bornés sur 24 d'entre eux ; sa moyenne équirépartie sur les 29 dépasse de 23.8 points de pourcentage le meilleur modèle de référence sur cet indicateur, AHN-GDN Qwen2.5 14B.
Par rapport au modèle source, les capacités sont également essentiellement préservées :
- le taux de réussite moyen au premier essai sur AIME reste à 96.3 % de celui de Qwen3.5-4B, et atteint 97.5 % sur MATH-500 ;
- sur les 29 benchmarks textuels, 8 surpassent Qwen3.5-4B, dont MMLU-Pro, SuperGPQA, HumanEval et MBPP ;
- sur six benchmarks visuels, le score moyen est de 84.9 %, soit 95.3 % de celui de Qwen3.5-4B.
Ce résultat le place déjà au même niveau que les meilleurs modèles de petite taille dont la mémoire croît avec l'inférence.
Le secret : des « ancres de roche » pour la mémoire
Alors, comment EdgeRock y parvient-il ?
Le cœur du système est un nouveau mécanisme de mémoire, les ancres de mémoire rocheuse (Rock Memory Anchors, RMA).
Sa conception s'inspire des ancres de roche : fixer les informations clés nécessaires au raisonnement.
Comme un grimpeur qui plante ses ancres dans la paroi pour avoir à chaque étape un point d'appui fiable, RMA « cloue » les détails véritablement importants du raisonnement dans une bibliothèque d'ancres à capacité fixe, prêtes à être relues au besoin.
Concrètement, EdgeRock divise l'historique de chaque séquence en trois parties, chacune avec son rôle :
- l'état récurrent résume le contexte en constante évolution, en saisissant l'essentiel ;
- la fenêtre locale couvre les 1024 derniers tokens, gérant l'immédiat ;
- la bibliothèque d'ancres conserve, dans l'historique plus ancien, les détails les plus précieux, mémorisant le crucial.
Le processus de sélection des ancres se déroule ainsi :
le rédacteur génère un enregistrement candidat pour chaque token, qu'un réseau de notation évalue ;
Tous les 256 candidats accumulés, ils sont comparés avec les enregistrements déjà présents dans la bibliothèque d'ancres, et seuls les 1024 candidats ayant obtenu le score le plus élevé sont conservés, les autres étant éliminés.
Les quatre groupes de KV procèdent chacun de manière indépendante.
Les ancres conservées sont indépendantes les unes des autres et leur contenu reste inchangé. Ainsi, même si leur source a depuis longtemps glissé hors de la fenêtre locale, le raisonnement ultérieur peut encore y accéder directement.
Pour le dire simplement, ce que le modèle a appris, ce n'est pas « tout mémoriser », mais « ne mémoriser que ce qui mérite de l'être ».
La fenêtre locale associée à la bibliothèque d'ancres fixe les KV d'attention de chaque séquence à 72 MiB. C'est de là que vient la stabilité de la mémoire.
Sur le plan de l'architecture, EdgeRock-4B est une transformation de Qwen3.5-4B : les 24 couches Gated DeltaNet sont conservées, les 8 couches d'attention complète sont remplacées par une attention à fenêtre glissante de 1024, plus un module RMA indépendant.
Le modèle entier a été converti par étapes à partir de Qwen3.5-4B,sans pré-entraînement depuis zéro。
Mais alors, les ancres ont-elles réellement joué un rôle ?
L'équipe a mené une expérience : pendant l'inférence, les 8 modules RMA ont tous été désactivés, tandis que les couches récurrentes et l'attention locale continuaient de fonctionner normalement.
Sur 256 segments de contexte long allant de 16K à 130K tokens, 4 questions ont été posées par segment, couvrant la récupération d'informations, la mise à jour d'états, la combinaison d'informations entre documents et la liaison de variables :
- Avec le RMA activé, 964 questions sur 1024 ont été répondues correctement, soit une précision de 94.1 % ;
- Avec le RMA désactivé, seules 4 questions ont été répondues correctement, soit une précision de 0.4 %.
Le rappel à distance est pratiquement tombé à zéro. Cela montre qu'EdgeRock s'appuie bien sur les ancres pour lire les informations lointaines afin de répondre.
De plus, chaque ancre enregistre sa position source, ce qui permet de voir directement ce que le modèle a choisi de mémoriser.
La mémoire va-t-elle encore baisser ?
EdgeRock a été réalisé par Yanzhen Matrix, filiale de Yanshan Technology, en collaboration avec l'Université des sciences et technologies de Hong Kong, CMU et d'autres universités. Le modèle est actuellement en open source et utilisable commercialement.
L'équipe révèle que des versions d'EdgeRock avec davantage de paramètres sont en route.
Pour les robots devant fonctionner pendant de longues durées, ce mécanisme offre aussi un belle marge d'imagination.
Après tout, un robot qui perçoit son environnement tout en planifiant ses actions, avec des tâches qui durent plusieurs heures voire plus, ne peut pas se permettre de voir son cache historique gonfler indéfiniment.
Si l'occupation mémoire pendant l'inférence peut être calculée à l'avance, le déploiement sur appareil embarqué s'en trouve grandement facilité.
Quant à savoir si la mémoire baissera encore, la réponse reviendra au marché.
Mais au moins une chose a déjà changé : aussi longtemps que le modèle réfléchisse, sa mémoire ne gonflera plus.
Adresse de l'article scientifique :
https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub :
https://github.com/rockmatrix-ai/EdgeRock
Hugging Face :
https://huggingface.co/rockmatrix-ai/EdgeRock