Yunzhong, desde Afeisi
QbitAI | Cuenta oficial de WeChat: QbitAI
Un artículo de Google publicado este año llegó a mover incluso las acciones de los gigantes de los chips de memoria.
El artículo menciona queLa KV Cache puede comprimirse al menos 6 veces。
Hay que tener en cuenta que la inferencia de grandes modelos consume cada vez más memoria, y la KV Cache es una partida de gasto nada despreciable dentro de ello.
Ahora que Google lo ha recortado tan bruscamente de repente, las acciones de gigantes de los chips de memoria como Micron han caído en consecuencia.
Pero apenas han pasado unos meses y alguien ya le ha dado otro tajo mucho más duro al KV Cache.
Esta vez ni siquiera se conforma con comprimir.
El contexto sube de 4K a 256K, pero la ocupación de la KV Cache no cambia en absoluto.
Con un contexto de 256K, se mantiene siempre fijo en 72MiB. En comparación con el modelo de origen, la KV Cache se reduce directamente99.1%。
Aún más impactante: una sola GPU de 80GB ejecutaba simultáneamente 512 vías de inferencia larga, alcanzando un rendimiento de salida de 12124 tokens/s, 6.42 veces el del modelo original.
Además, la capacidad de razonamiento se mantuvo prácticamente intacta: la tasa media de aprobación en un solo intento en AIME 2024–2026 alcanzó el 82.9%, mientras que los modelos de estados acotados evaluados, incluso alcanzando 14B, llegaron como máximo al 18.8%.
Esto esYanshan TechSu filial RockCore Matrix, junto con la Universidad de Hong Kong (HKUST), CMU y otras universidades, acaba de publicar y de código abiertoEdgeRock-4B。
Un cambio que esto aporta al razonamiento largo es:
Por larga que sea la inferencia, la memoria no aumenta.
Los pesos del modelo y el código de inferencia ya estánCódigo abierto, también admite razonamiento con texto e imágenes.
¿Por qué cuanto más largo es el razonamiento, más caro resulta?
Los modelos actuales, sin exagerar, ya piensan decenas de miles de tokens; los Agentes además pueden trabajar continuamente durante decenas de rondas, metiendo sin parar en el contexto resultados de búsqueda, código y registros de llamadas a herramientas.
El modelo trabaja cada vez con más entusiasmo, pero la memoria de vídeo es la primera en no poder más.
El problema está en la KV Cache.
Hoy en día, la mayoría de los modelos guardan el historial de razonamiento en la KV Cache, y por cada token generado se almacena un poco más.
Tomando como ejemplo el Qwen3.5-4B, cada token añade 32 KiB de KV Cache. Al llegar a un razonamiento de 64K, una sola secuencia ocupa 2 GiB; al llegar a 256K, son 8 GiB.
En la era de los modelos de razonamiento, esto resulta especialmente crítico.
Los modelos cada vez más prefieren "pensar en profundidad", y a la menor ocasión generan decenas de miles de tokens; los agentes ejecutan decenas de rondas de llamadas a herramientas, y el contexto se va alargando sin parar.
Cuanto más larga es la inferencia, más memoria de vídeo ocupa, y menos solicitudes puede atender simultáneamente una sola tarjeta.
En el lado del dispositivo, la KV Cache además tiene que competir por una memoria ya de por sí limitada con los módulos de percepción y control.
Los enfoques de la industria se dividen aproximadamente en dos categorías.
Una es "adelgazar" cada token:
la atención latente multi-cabeza (MLA) comprime la KV, métodos de cuantización como KIVI reducen la precisión, y el TurboQuant de Google también pertenece a esta línea.
Pero solo reducen el coste de un token individual: la caché sigue creciendo con la inferencia.
Otra categoría son los modelos de estado acotado:
modelos recurrentes, modelos de espacio de estados, modelos de ventana deslizante, con memoria inherentemente fija.
El problema es que a menudo no retienen los detalles lejanos que la inferencia posterior necesita, y la capacidad de razonamiento se resiente gravemente.
Así que el verdadero reto se convierte en:
¿se pueden conservar en una memoria fija los detalles clave que necesita el razonamiento?
La respuesta de EdgeRock es:sí。
Una sola tarjeta ejecutando 512 inferencias largas simultáneas
Veamos primero el rendimiento más intuitivo: el throughput.
La configuración de la prueba fue de 32K de entrada y 32K de salida, todos los modelos se ejecutaron en una única GPU Hopper de 80GB, tomando en cada caso el tamaño de lote más rápido medido.
Como resultado, EdgeRock-4B alcanzó de una vez 512 concurrencias, con un throughput de salida de 12124 tokens/s.
La configuración más rápida del modelo fuente Qwen3.5-4B fue un tamaño de lote de 64, con solo 1889 tokens/s; Gemma 4 E4B, MiniCPM5-2B y LFM2.5-2.6B también se situaron entre 1700 y 2200 tokens/s.
¿Por qué tanta diferencia? Las cuentas son fáciles de hacer.
Con 32K de entrada más 32K de salida completados, la KV Cache de Qwen3.5-4B por secuencia es de 2 GiB.
Una sola GPU de 80GB se satura con unas pocas decenas de secuencias concurrentes, y las demás solicitudes solo pueden hacer cola.
En cambio, cuando EdgeRock-4B se ejecuta por lotes, el estado histórico completo que cada secuencia necesita guardar es fijo: 97.76 MiB, sin variar con la longitud.
Una analogía: si Qwen3.5-4B también ejecutara simultáneamente estas 512 secuencias, solo la KV Cache al terminar la generación ocuparía 1 TiB, aproximadamente la memoria de 13 GPUs de 80GB.
EdgeRock lo cabe en una sola tarjeta, con un pico de 61.26 GiB, incluyendo ya los pesos del modelo.
Veamos ahora la escalabilidad.
En 16 cargas combinando entradas de 4K a 32K con las salidas, con el tamaño de lote aumentando de 32 hasta 512, el throughput de decodificación ponderado pasó de 4128 a 12497 tokens/s, y el pico de memoria nunca tocó el límite de una sola tarjeta.
Una sola solicitud tampoco es lenta.
Los modelos cuya KV Cache crece con la inferencia tienen un defecto común: cuanto más escriben, más lentos se vuelven.
Porque cada vez que generan un token nuevo, tienen que mirar atrás a una KV Cache cada vez más acumulada.
El cómputo por token de EdgeRock no crece con el contexto.
Tras 128K de entrada, generando 128K tokens, su velocidad se mantiene estable de principio a fin en 233.7 tokens/s;
Qwen3.5-4B, en cambio, cae desde unos 169 hasta 151.3.
Cuanto más largo el contexto, más ahorro
Multiplicar el throughput por varios equivale, visto desde otro ángulo, a reducir el coste por ese factor.
La misma tarjeta, la misma carga, generando la misma cantidad de tokens:
- Con 4K de entrada, EdgeRock solo necesita el 24.9% del tiempo de GPU de Qwen3.5-4B;
- con 32K de entrada, solo el 15.6%.
Si se factura por tiempo de GPU, el costo de cómputo por token también disminuye en esta misma proporción.
Promediando las cuatro longitudes de entrada, el rendimiento de EdgeRock es 4.94 veces el de Qwen3.5-4B y 7.18 veces el de LFM2.5-2.6B.
Más decisiva aún es la tendencia: cuanto más largo es el contexto, mayor es la diferencia.
La KV Cache de Qwen3.5-4B crece cada vez más con la longitud, mientras que la de EdgeRock no crece.
Además del ahorro, la memoria fija aporta una ventaja que suele pasarse por alto: la determinismo.
La memoria que requerirá cada solicitud puede calcularse con claridad antes de que comience la inferencia.
- El servicio de inferencia puede planificar la capacidad según el número de solicitudes, sin tener que adivinar cuánto durará cada una;
- el dispositivo de borde hace una única asignación de memoria y la inferencia, por larga que sea, no agotará la memoria;
- la memoria del historial del agente deja de crecer con el número de llamadas a herramientas;
- e incluso los chips especializados pueden colocar todo el estado del historial en la memoria integrada en el chip.
En un momento en que la memoria es cada vez más preciada, esta cuenta solo será más rentable con el tiempo.
Ahorra memoria sin sacrificar inteligencia
Al llegar aquí, los entendidos quizá se pregunten: la memoria constante, RNN y Mamba ya lo lograban hace tiempo, ¿qué tiene de especial?
Lo especial es que, ahorrando memoria, la capacidad de razonamiento se conserva.
El equipo comparó EdgeRock-4B con 16 modelos de estado acotado, abarcando enfoques como GDN, RWKV y Mamba, tres de ellos de nivel 14B.
En AIME 2024–2026, EdgeRock-4B logró una tasa media de aprobación a la primera del 82.9%; el más fuerte del grupo de control, RWKV-7 G1j 13.3B, alcanzó solo el 18.8%, y AHN-GDN Qwen2.5 14B el 11.4%.
En 29 benchmarks de texto, EdgeRock-4B ocupó el primer lugar entre los modelos de estado acotado en 24 de ellos; su media ponderada de los 29 supera por 23.8 puntos porcentuales al mejor modelo de referencia en esa métrica, AHN-GDN Qwen2.5 14B.
Comparado con el modelo de origen, las capacidades también se conservaron en lo esencial:
- la tasa media de aprobación a la primera en AIME se mantiene en el 96.3% de Qwen3.5-4B, y en MATH-500 alcanza el 97.5%;
- de los 29 benchmarks de texto, supera a Qwen3.5-4B en 8, incluidos MMLU-Pro, SuperGPQA, HumanEval y MBPP;
- en seis benchmarks visuales, obtuvo una puntuación media del 84.9%, conservando el 95.3% de Qwen3.5-4B.
Este resultado ya se sitúa al mismo nivel que los modelos pequeños líderes cuya memoria crece con la inferencia.
El secreto: anclar la memoria a una «roca»
Entonces, ¿cómo lo consigue EdgeRock?
El núcleo es un nuevo mecanismo de memoria: los anclajes de memoria de roca (Rock Memory Anchors, RMA).
Su diseño se inspira en los anclajes de escalada: fijar la información clave necesaria para la inferencia.
Igual que el escalador clava el anclaje en la pared rocosa y cada paso posterior cuenta con un apoyo fiable, RMA «clava» los detalles verdaderamente importantes del proceso de razonamiento en una biblioteca de puntos de anclaje de capacidad fija, que se leen directamente cuando se necesitan.
En concreto, EdgeRock divide el historial de cada secuencia en tres partes, cada una con su función:
- el estado recurrente resume el contexto en constante evolución, captando la idea general;
- la ventana local cubre los últimos 1024 tokens, atendiendo lo inmediato;
- y la biblioteca de anclajes retiene los detalles más valiosos del historial más antiguo, guardando lo clave.
El proceso de selección de los anclajes es el siguiente:
el escritor genera un registro candidato para cada token, y una red de puntuación le asigna una nota;
Cada vez que se acumulan 256 candidatos, se comparan junto con los registros ya existentes en la biblioteca de anclas, conservando solo los 1024 con mayor puntuación y eliminando el resto.
Los cuatro grupos de KV realizan este proceso de forma independiente.
Las anclas conservadas son independientes entre sí y su contenido no cambia. Por eso, aunque su origen haya salido hace tiempo de la ventana local, el razonamiento posterior puede seguir leyéndolas directamente.
Dicho de forma simple, lo que el modelo aprende no es «recordar todo», sino «recordar solo lo que vale la pena recordar».
La ventana local más la biblioteca de anclas fija la KV de atención de cada secuencia en 72 MiB. De ahí proviene que la memoria no aumente.
En cuanto a la arquitectura, EdgeRock-4B se basa en una modificación de Qwen3.5-4B: conserva 24 capas Gated DeltaNet, sustituye las 8 capas de atención completa por atención de ventana deslizante con ventana de 1024, y añade un módulo RMA independiente.
El modelo completo se convirtió por fases a partir de Qwen3.5-4B,sin necesidad de preentrenamiento desde cero。
¿Y las anclas realmente funcionan?
El equipo hizo un experimento: durante la inferencia desactivaron por completo los 8 módulos RMA, mientras las capas recurrentes y la atención local seguían funcionando con normalidad.
Sobre 256 segmentos de contexto largo de 16K a 130K tokens, se plantearon 4 preguntas por segmento, abarcando recuperación, actualización de estado, combinación de información entre documentos y vinculación de variables:
- Con el RMA activado, respondieron correctamente 964 de 1024 preguntas, con una precisión del 94.1%;
- Con el RMA desactivado, solo acertaron 4, con una precisión del 0.4%.
El recuerdo a distancia quedó prácticamente en cero. Esto demuestra que EdgeRock realmente se apoya en las anclas para leer información lejana al responder.
Además, cada ancla registra su posición de origen, por lo que se puede consultar directamente qué eligió recordar el modelo.
¿Seguirá bajando la memoria?
EdgeRock fue desarrollado por Yanxin Matrix, filial de Yanshan Technology, en colaboración con universidades como la HKUST y CMU. Actualmente el modelo es de código abierto y puede usarse con fines comerciales.
El equipo revela que hay más versiones de EdgeRock con distintas escalas de parámetros en camino.
Para los robots que necesitan funcionar durante largos periodos, este mecanismo también abre un espacio interesante de posibilidades.
Después de todo, un robot percibe el entorno mientras planifica sus movimientos, y las tareas pueden extenderse durante horas o más; no se puede dejar que la caché histórica crezca sin límite.
Si el consumo de memoria durante la inferencia se puede calcular de antemano, el despliegue en el borde también se simplifica bastante.
En cuanto a si la memoria seguirá bajando, eso lo responderá el mercado.
Pero al menos una cosa ya ha cambiado: por más que piense el modelo, la memoria ya no seguirá creciendo.
Dirección del paper:
https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub:
https://github.com/rockmatrix-ai/EdgeRock
Hugging Face:
https://huggingface.co/rockmatrix-ai/EdgeRock