Warum „rastet“ DeepSeek bei langen Texten plötzlich aus? Das Seed-Team von ByteDance lüftet das Rätsel der KI-Leistungsschwankungen

Warum „rastet“ DeepSeek bei langen Texten plötzlich aus? Das Seed-Team von ByteDance lüftet das Rätsel der KI-Leistungsschwankungen

AIbase基地

Das Seed-Team von ByteDance hat in seiner neuesten Forschungsarbeit die technischen Ursachen für die Leistungsschwankungen großer Sprachmodelle bei der Verarbeitung extrem langer Texte aufgezeigt. Das Forschungsteam stellt fest, dass dieses Phänomen hauptsächlich von der „Phasenempfindlichkeit“ herrührt, die durch die blockweise KV-Cache-Kompressionstechnik entsteht.

Zentraler Mechanismus führt zu Abrufabweichungen

Um den Speicherverbrauch bei Inferenzen mit langem Kontext zu senken, komprimiert diese Technik kontinuierliche Token-Fenster mit fester Schrittweite in weniger Einträge. Dieser Kompressionsmechanismus führt jedoch eine völlig neue Positionskoordinate ein, nämlich die „Phase“ der Token relativ zu den Grenzen des Kompressionsfensters.

Experimente zeigen, dass bei völlig identischen Informationen unterschiedliche Phasen zu drastischen Veränderungen der Abrufschwierigkeit führen. Bei einigen großen Open-Source-Modellen kann der Unterschied in der Abrufgenauigkeit bei langen Texten, der durch diese Phasendifferenz entsteht, bis zu 40 Prozentpunkte betragen.

Periodische Schwächen bedürfen dringend der Optimierung

Diese Erkenntnis offenbart die Grenzen herkömmlicher Durchschnitts-Benchmarks: Unter scheinbar hervorragenden Durchschnittsergebnissen einiger Modelle können sich schwerwiegende periodische Schwächen verbergen. Da Anwendungen großer Sprachmodelle mit langen Texten immer weiter verbreitet sind, liefert dieses Forschungsergebnis eine wichtige theoretische Grundlage für künftige Optimierungen der Modellarchitektur und Verbesserungen der Stabilität von Inferenzen mit langem Kontext.

Dieser Artikel stammt aus dem AIbase-Tagesbericht

Willkommen in der Rubrik [AI-Tagesbericht]! Hier ist dein täglicher Wegweiser durch die Welt der künstlichen Intelligenz. Jeden Tag präsentieren wir dir die wichtigsten Themen aus dem KI-Bereich, mit Fokus auf Entwickler, damit du technologische Trends erkennst und innovative KI-Produktanwendungen kennenlernst.