윤중(允中), 아페이쓰(凹非寺)에서 발송
양자취위(QbitAI) | 공식 계정 QbitAI
올해 구글의 한 논문이 저장반도체 대기업들의 주가까지 출렁이게 만들었다.
논문에서는KV Cache를 최소 6배 압축할 수 있다。
알다시피 대형 모델 추론은 점점 메모리를 많이 먹는데, KV Cache는 그중에서도 적지 않은 비용이다.
구글이 갑자기 이것을 이렇게나 줄였기에, 마이크론 등 저장반도체 대기업들의 주가는 그에 따라 하락했다.
그런데 몇 달 만에, KV Cache에 한층 더 뼈아픈 칼질을 한 이들이 또 나타났다.
이번엔 압축으로도 만족하지 않는다.
컨텍스트가 4K에서 256K까지 늘어도, KV Cache 점유율은 끝내 변하지 않았다.
256K 컨텍스트에서도 항상 72MiB로 고정된다. 원본 모델 대비 KV Cache는 그대로99.1%。
더 과한 것은, 80GB 그래픽카드 한 장으로 512개 경로의 긴 추론을 동시에 돌리면 출력 처리량이 12124 tokens/s에 달해 원본 모델의 6.42배라는 점이다.
게다가 추론 능력도 거의 유지되었는데, AIME 2024—2026 평균 1회 통과율이 82.9%에 달하며, 참가한 유계 상태 모델 중 가장 좋은 것도 14B를 쓴 경우에 겨우 18.8%에 그쳤다.
이것이 바로옌산테크(Yanshan Tech)산하 옌신쥐헨(岩芯矩阵)이 홍콩과기대, CMU 등 대학들과 공동으로 방금 공개하고 오픈소스로 내놓은EdgeRock-4B。
이다. 이 모델이 긴 추론에 가져온 변화는 다음과 같다:
추론이 아무리 길어져도 메모리는 늘지 않는다.
모델 가중치와 추론 코드는 현재 모두오픈소스로 공개되었으며, 텍스트와 이미지 추론도 지원한다.
추론이 길어질수록 왜 비싸질까?
요즘 모델들은 기본으로 몇만 토큰을 써가며 사고한다. Agent는 더욱 수십 라운드를 연속으로 작동하며 검색 결과, 코드, 도구 호출 기록을 컨텍스트에 끊임없이 채워 넣는다.
모델이 힘차게 일할수록, 오히려 GPU 메모리가 먼저 감당하지 못한다.
문제의 원인은 바로 KV Cache에 있다.
오늘날 대부분의 모델은 추론 이력을 KV Cache에 저장하며, 토큰 하나를 생성할 때마다 조금씩 더 저장한다.
Qwen3.5-4B를 예로 들면, 토큰 하나당 32 KiB의 KV Cache가 추가된다. 64K까지 추론하면 한 시퀀스가 2 GiB가 되고, 256K까지 추론하면 8 GiB가 된다.
이것은 추론 모델 시대에 특히 치명적이다.
모델들이 점점 '깊은 사고'를 좋아하게 되어, 몇 번이면 수만 토큰을 출력하고, 에이전트는 실행 시 수십 번의 도구 호출을 거치며 컨텍스트가 계속 길어진다.
추론이 길어질수록 차지하는 메모리가 늘어나고, 한 장의 카드로 동시에 서비스할 수 있는 요청 수는 줄어든다.
엣지 단말에서는 KV Cache가 인지·제어 모듈과 이미 한정된 메모리를 두고 경쟁해야 한다.
업계의 해결책은 대략 두 가지로 나뉜다.
하나는 각 토큰을 '다이어트'시키는 방법이다.
Multi-head Latent Attention(MLA)은 KV를 압축하고, KIVI 같은 양자화 기법은 정밀도를 낮추며, 구글의 TurboQuant도 이 계열에 속한다.
하지만 이들은 단일 토큰의 비용만 낮출 뿐, 캐시는 여전히 추론과 함께 증가합니다.
또 다른 유형은 유계 상태 모델(bounded state model)입니다:
순환 모델, 상태 공간 모델, 슬라이딩 윈도우 모델은 메모리가 본질적으로 고정되어 있습니다.
문제는, 이들이 뒤이은 추론에 필요한 먼 거리의 세부 정보를 잘 유지하지 못해 추론 능력이 크게 떨어진다는 점입니다.
그래서 진짜 난제는 다음과 같이 바뀌었습니다:
고정된 메모리 안에서 추론에 필요한 핵심 세부 정보를 유지할 수 있는가?
EdgeRock의 대답은 이렇습니다:가능하다。
카드 한 장으로 512개의 긴 추론 동시 실행
먼저 가장 직관적인 처리량(스루풋)부터 보겠습니다.
테스트 설정은 32K 입력, 32K 출력이며, 모든 모델은 단일 Hopper 80GB GPU에서 실행되고 각자 실측상 가장 빠른 배치 크기를 사용했습니다.
그 결과, EdgeRock-4B는 한 번에 512개의 동시 처리를 열어 출력 처리량 12124 tokens/s를 기록했습니다.
원본 모델 Qwen3.5-4B의 가장 빠른 구성은 배치 크기 64로, 1889 tokens/s에 그쳤고, Gemma 4 E4B, MiniCPM5-2B, LFM2.5-2.6B도 모두 1700에서 2200 tokens/s 사이에 머물렀습니다.
차이가 왜 이렇게 클까요? 계산해 보면 사실 간단합니다.
32K 입력과 32K 출력을 모두 실행했을 때, Qwen3.5-4B의 시퀀스당 KV Cache는 2 GiB입니다.
80GB 그래픽 카드 한 장으로는 수십 개의 동시 실행만으로 가득 차고, 더 많은 요청은 대기해야만 합니다.
반면 EdgeRock-4B는 배치 실행 시 시퀀스당 저장해야 하는 전체 이력 상태가 97.76 MiB로 고정되어 있으며, 길이에 따라 변하지 않습니다.
비유하자면: Qwen3.5-4B로도 이 512개 시퀀스를 동시에 끝까지 실행한다면, 생성이 끝나는 시점의 KV Cache만으로도 1 TiB, 즉 80GB 그래픽 카드 약 13장의 메모리에 해당합니다.
EdgeRock은 카드 한 장에 전부 담았고, 피크는 61.26 GiB로 모델 가중치까지 포함된 수치입니다.
다음은 확장성입니다.
4K에서 32K 입력, 출력의 두 값으로 조합한 16가지 부하에서 배치 크기를 32에서 512까지 늘렸을 때, 가중 디코딩 처리량은 4128에서 12497 tokens/s로 상승했고, 메모리 피크는 끝내 단일 카드 상한에 닿지 않았습니다.
단일 요청도 느리지 않습니다.
KV Cache가 추론과 함께 증가하는 모델의 공통적인 문제는: 점점 느려진다는 것입니다.
새 토큰을 하나 생성할 때마다 점점 쌓여가는 KV Cache를 다시 훑어야 하기 때문입니다.
EdgeRock은 토큰당 계산량이 컨텍스트에 따라 증가하지 않습니다.
128K 입력 후 128K 토큰을 생성해도, 그 속도는 처음부터 끝까지 233.7 tokens/s로 안정적으로 유지되었습니다;
Qwen3.5-4B는 169 정도에서 계속 떨어져 151.3까지 하락했습니다.
컨텍스트가 길수록 더 저렴
처리량이 몇 배가 되었다는 것은, 다른 각도에서 보면 비용이 몇 배 줄었다는 뜻입니다.
같은 카드, 같은 부하에서 동일한 양의 토큰을 생성할 때:
- 4K 입력 시, EdgeRock은 Qwen3.5-4B GPU 시간의 24.9%만 필요로 했습니다;
- 32K 입력 시, 단 15.6%만 필요했습니다.
GPU 시간 기준으로 과금할 경우, 토큰당 연산 비용도 같은 비율로 하락합니다.
네 가지 입력 길이를 평균하면, EdgeRock의 처리량은 Qwen3.5-4B의 4.94배, LFM2.5-2.6B의 7.18배입니다.
더욱 중요한 것은 추세입니다. 컨텍스트가 길어질수록 격차가 커집니다.
Qwen3.5-4B의 KV Cache는 길이가 늘어날수록 계속 증가하지만, EdgeRock은 증가하지 않습니다.
'절약' 외에도 고정 메모리는 쉽게 간과되는 이점 하나를 더 제공합니다. 바로 예측 가능성입니다.
각 요청에 얼마나 많은 메모리가 필요한지 추론 시작 전에 정확히 계산할 수 있습니다.
- 추론 서비스는 각 요청이 최종적으로 얼마나 오래 실행될지 추측할 필요 없이 요청 수에 따라 용량을 계획할 수 있으며,
- 엣지 디바이스는 한 번에 메모리를 할당해도 추론이 아무리 길어져도 메모리가 고갈되지 않습니다.
- 에이전트의 이력 메모리는 도구 호출 횟수에 따라 더 이상 증가하지 않습니다.
- 전용 칩은 심지어 전체 이력 상태를 온칩 메모리에 저장할 수도 있습니다.
메모리가 점점 더 귀해지는 요즘, 이 계산은 할수록 더 가치 있어질 것입니다.
메모리는 아끼고, 지능은 타협 없이
여기까지 읽은 전문가라면 이렇게 물을 수 있습니다. 상수 메모리라면 RNN, Mamba가 이미 해냈던 것인데, 무엇이 특별한가?
특별한 점은 바로 메모리를 아끼면서도 추론 능력이 유지된다는 데 있습니다.
팀은 EdgeRock-4B를 16개의 유한 상태 모델과 비교했으며, GDN, RWKV, Mamba 등의 노선을 포함하고 그중 세 개는 14B급입니다.
AIME 2024–2026에서 EdgeRock-4B의 평균 1회 통과율은 82.9%였습니다. 대조군에서 가장 강한 RWKV-7 G1j 13.3B는 18.8%에 불과했고, AHN-GDN Qwen2.5 14B는 11.4%였습니다.
29개 텍스트 벤치마크 중 EdgeRock-4B는 24개 항목에서 유한 상태 모델 1위를 차지했습니다. 29개 항목의 등가 가중 평균에서는 해당 지표의 최강 기준선인 AHN-GDN Qwen2.5 14B보다 23.8 퍼센트포인트 높았습니다.
원본 모델과 비교해도 능력이 대체로 유지되었습니다.
- AIME 평균 1회 통과율은 Qwen3.5-4B의 96.3% 수준을 유지했고, MATH-500은 97.5%에 달했습니다.
- 29개 텍스트 벤치마크 중 8개 항목에서 Qwen3.5-4B를 앞섰으며, 여기에는 MMLU-Pro, SuperGPQA, HumanEval, MBPP가 포함됩니다.
- 6개 비전 벤치마크에서 평균 점수는 84.9%로, Qwen3.5-4B의 95.3%를 유지했습니다.
이 성적은 이미 추론에 따라 메모리가 증가하는 선도적 소형 모델들과 동일한 수준입니다.
비결: 기억에 '암벽 앵커'를 박다
그렇다면 EdgeRock은 어떻게 이를 달성했을까요?
핵심은 새로운 기억 메커니즘, 즉 록 메모리 앵커(Rock Memory Anchors, RMA)입니다.
그 설계는 암벽 앵커에서 착안했습니다. 추론에 필요한 핵심 정보를 고정하는 것입니다.
암벽 등반가가 앵커를 암벽에 박아 이후의 모든 발걸음에 신뢰할 수 있는 지점을 확보하듯, RMA는 추론 과정에서 정말 중요한 세부 정보를 고정 용량의 앵커 저장소에 '박아두고', 필요할 때 직접 읽어 들입니다.
구체적으로, EdgeRock은 각 시퀀스의 이력을 세 부분으로 나누어 저장하며, 세 부분은 각자의 역할을 수행합니다.
- 순환 상태는 끊임없이 변화하는 컨텍스트를 요약하며 전체적인 의미를 파악합니다.
- 로컬 윈도우는 가장 최근의 1024개 토큰을 담당하며 당장의 내용을 관리합니다.
- 앵커 저장소는 더 이른 이력에서 가장 가치 있는 세부 정보를 붙들어 두며 핵심을 기억합니다.
앵커의 선택 과정은 다음과 같습니다.
라이터가 각 토큰마다 후보 기록을 생성하면, 스코어링 네트워크가 이에 점수를 매깁니다.
256개의 후보가 누적될 때마다 앵커 라이브러리에 이미 있는 기록들과 함께 비교하여 점수가 가장 높은 1024개만 남기고 나머지는 탈락시킨다.
네 개의 KV 그룹이 각각 독립적으로 수행한다.
남겨진 앵커들은 서로 독립적이며 내용이 변하지 않는다. 따라서 그 출처가 이미 지역 윈도우에서 벗어났더라도 이후의 추론에서도 여전히 직접 읽을 수 있다.
쉽게 말해, 모델이 학습한 것은 '모든 것을 기억하기'가 아니라 '기억할 가치가 있는 것만 기억하기'이다.
지역 윈도우와 앵커 라이브러리를 통해 각 시퀀스의 어텐션 KV를 72 MiB로 고정한다. 이것이 메모리가 늘어나지 않는 원리다.
아키텍처 측면에서 EdgeRock-4B는 Qwen3.5-4B를 개조한 것이다: 24개의 Gated DeltaNet 층을 유지하고, 8개의 전체 어텐션 층을 1024 윈도우의 슬라이딩 윈도우 어텐션으로 교체했으며, 여기에 독립적인 RMA 모듈을 추가했다.
전체 모델은 Qwen3.5-4B에서 단계적으로 변환된 것으로,사전학습을 처음부터 할 필요가 없다.。
그렇다면 앵커는 실제로 효과가 있었을까?
팀은 실험을 진행했다: 추론 시 8개의 RMA 모듈을 모두 끄고, 순환 층과 지역 어텐션은 그대로 작동하게 했다.
16K에서 130K 토큰에 이르는 긴 컨텍스트 256개 구간에서 구간당 4개의 질문을 던졌으며, 검색, 상태 업데이트, 문서 간 정보 조합, 변수 바인딩을 포함한다:
- RMA를 켠 경우 1024개의 질문 중 964개를 맞혀 정확도 94.1%였고,
- RMA를 끈 경우 4개만 맞혀 정확도 0.4%였다.
원거리 회상이 거의 0에 수렴했다. 이는 EdgeRock이 실제로 앵커를 통해 멀리 있는 정보를 읽어 답변한다는 것을 보여준다.
또한 각 앵커에는 출처 위치가 기록되어 있어 모델이 무엇을 기억하기로 선택했는지 직접 확인할 수 있다.
메모리는 더 떨어질까?
EdgeRock은 옌산테크놀로지(岩山科技) 산하 옌신쥐전(岩芯矩阵)이 홍콩과기대학, CMU 등 여러 대학과 공동으로 완성했다. 현재 모델은 오픈소스로 공개되어 상업적 이용이 가능하다.
팀은 더 많은 파라미터 규모의 EdgeRock이 준비 중이라고 밝혔다.
장시간 구동이 필요한 로봇에게 이 메커니즘은 상상의 여지가 크다.
로봇은 환경을 감지하면서 동시에 동작을 계획하고, 작업이 몇 시간甚至 그 이상 실행되는데, 역사 캐시가 무한히 늘어나게 둘 수는 없기 때문이다.
추론 과정에서의 메모리 사용량을 미리 계산할 수 있다면 엣지 배포도 한결 수월해진다.
메모리가 더 떨어질지는 시장의 답에 맡기자.
적어도 한 가지는 이미 바뀌었다: 모델이 아무리 오래 생각해도 기억은 더 이상 팽창하지 않는다.
논문 주소:
https://rockmatrix.ai/documents/edgerock-report-zh.pdf
GitHub:
https://github.com/rockmatrix-ai/EdgeRock
Hugging Face:
https://huggingface.co/rockmatrix-ai/EdgeRock