IT之家 Noticias del día 9 del mes 10: a finales del mes 9 de este año, el equipo Seed de ByteDance envió un artículo a la plataforma de prepublicaciones arXiv en el que aborda la sensibilidad de fase provocada por la compresión por bloques de la caché KV,apuntando directamente a la causa de los "fallos" de DeepSeek。
La investigación evaluó las versiones base y post-entrenadas de DeepSeek-V4-Flash y DeepSeek-V4-Pro, así como la versión post-entrenada de DeepSeek-V4.1-Flash.
Los modelos, mediante la compresión por bloques de la caché KV, comprimen ventanas de tokens consecutivos en menos entradas de caché con un paso fijo, lo que permite reducir los costes de memoria y de atención en la inferencia de contexto largo.
Sin embargo, esta compresión introduce además una nueva coordenada posicional:la fase del token, es decir, su posición relativa a los bordes de la ventana de compresión.
El equipo descubrió que los modelos que utilizan esta compresión presentan una asimetría sistemática:la misma información es fácil de recuperar en una fase, pero difícil de recuperar en otra. El equipo denomina sensibilidad de fase (phase sensitivity) a esta variación periódica del rendimiento de recuperación.
En los grandes modelos abiertos de pesos abiertos que adoptan este tipo de compresión, la precisión de recuperación de contexto largo puedevariar hasta 40 puntos porcentuales entre fases, revelando así debilidades periódicas que las puntuaciones medias de los benchmarks pueden ocultar.
IT之家 adjunta el enlace del artículo:
https://arxiv.org/abs/2609.36322
Declaración publicitaria: Los enlaces de salto externos contenidos en el texto (incluyendo, entre otros, hipervínculos, códigos QR, códigos de acceso y otras formas) se utilizan para transmitir más información y ahorrar tiempo de selección; los resultados son solo de referencia. Todos los artículos de IT之家 que contienen enlaces externos incluyen esta declaración.