¿Por qué el texto largo de DeepSeek “se descontrola” de repente? El equipo Seed de ByteDance revela el misterio de las fluctuaciones de…

¿Por qué el texto largo de DeepSeek “se descontrola” de repente? El equipo Seed de ByteDance revela el misterio de las fluctuaciones de rendimiento de la IA

Base de AIbase

El equipo Seed de ByteDance reveló en su último artículo de investigación las razones técnicas de las fluctuaciones de rendimiento que experimentan los grandes modelos de lenguaje al procesar textos extremadamente largos. El equipo de investigación señala que este fenómeno se debe principalmente a la “sensibilidad de fase” que introduce la técnica de compresión de la caché KV por bloques.

Un mecanismo clave provoca sesgos de recuperación

Para reducir el consumo de memoria durante la inferencia de contextos largos, esta técnica comprime ventanas de tokens contiguos en menos entradas mediante un paso fijo. Sin embargo, este mecanismo de compresión introduce una nueva coordenada posicional: la “fase” del Token respecto a los límites de la ventana comprimida.

Los experimentos muestran que, ante información completamente idéntica, encontrarse en diferentes fases provoca cambios drásticos en la dificultad de recuperación. En algunos modelos grandes de código abierto, la diferencia de precisión de recuperación de textos largos causada por esta variación de fase puede alcanzar hasta 40 puntos porcentuales.

Puntos débiles periódicos que exigen optimización

Este hallazgo revela las limitaciones de las pruebas de referencia promedio tradicionales: bajo aparentes puntuaciones medias sobresalientes de algunos modelos pueden ocultarse graves puntos débiles periódicos. Con la creciente difusión de las aplicaciones de grandes modelos de texto largo, estos resultados de investigación proporcionan una base teórica importante para la futura optimización de la arquitectura de los modelos y la mejora de la estabilidad de la inferencia de contextos largos.

Este artículo proviene del diario de AIbase

Bienvenido a la sección [Diario de IA]! Esta es tu guía diaria para explorar el mundo de la inteligencia artificial. Cada día te presentamos los contenidos destacados del ámbito de la IA, con foco en los desarrolladores, para ayudarte a comprender las tendencias tecnológicas y conocer aplicaciones innovadoras de productos de IA.