IT之家 10월 9일 소식에 따르면, 바이오 시드 팀은 올해 9월 말 예비 출판 플랫폼 arXiv에 논문을 제출했으며, 블록 KV 캐시백 압축이 가져오는 위상 민감성에 대해 다루고 있습니다. DeepSeek의 “행동 문제” 원인을 직접적으로 지적함.
이 연구는 기본 버전과 후 훈련된 버전의 DeepSeek-V4-Flash 및 DeepSeek-V4-Pro, 그리고 후 훈련 후의 DeepSeek-V4.1-Flash를 평가했습니다.
모델은 블록 KV 캐시 압축을 통해 연속된 마크의 윈도우를 더 적은의 캐시 항목으로 압축하여, 긴 �텍트의 추론에 필요한 메모리와 주의력 비용을 줄일 수 있다.
하지만 이러한 압축은 새로운 위치 좌표를 도입합니다: 토큰의 위상, 또는 압축 창 경계에 대한 그 위치입니다.
이 팀은 이러한 압축된 모델을 사용할 때 시스템적인 불균형이 존재한다는 것을 발견했습니다: 동일한 정보는 한 단계에서는 쉽게 검색할 수 있지만, 다른 단계에서는 어렵게 검색됩니다. 팀은 이러한 검색 성능의 주기적 변화를 '파라미터 민감성(phase sensitivity)'이라고 명명했습니다.
이러한 종류의 압축을 사용하는 대규모 개방형 가중 모델에서는 긴 컨텍스트 검색 정확도가 각 단계 간에최대 40퍼센트까지 차이가 날 수 있음으로, 평균 기준 점수가 숨기는 주기적 약점을 드러내게 됩니다.
IT之家에 대한 논문 링크:
https://arxiv.org/abs/2609.36322
광고 공지: 본문에는 외부 링크가 포함되어 있으며, 이는 하이퍼링크, QR 코드, 비밀번호 등 다양한 형태를 포함합니다. 이러한 링크는 더 많은 정보를 전달하고 선정 시간을 절약하기 위한 목적으로 사용되며, 결과는 참고용일 뿐입니다. IT之家에서 외부 링크가 포함된 기사는 모두 이 공지에 준합니다.