대규모 모델은 공장 출하 즉시 "확정"되어, 새로운 지식을 넣어주면 대화가 끝나는 대로 사라지거나, 억지로 주입한 후에는 기존 실력을 모두 잊어버린다. 구글은 10월 27일 이 딜레마를 해소하려는 "수면 프레임워크"(Sleep Framework)를 내놓았다. 관련 논문의 제목은 《Language Models Need Sleep》으로, 모델 역시 사람처럼 수면을 통해 기억을 강화해야 한다는 점을 직설적으로 짚어낸다. 이 아이디어는 Google Research가 공개 발표했으며, 업계의 오랜 난치병인 "지식 컷오프일"을 겨냥한 것이다.
깨어 있을 때는 일하고, 잘 때는 정리한다
프레임워크는 모델의 실행을 두 단계로 나눈다. 깨어 있는 단계에서는 평소처럼 입력을 받아 정보를 우선 단기 기억에 넣고, 수면 상태로 전환되면 새 작업 접수를 중단하고 기억 통합과 자기 개선에 전념한다. 핵심은 "기억 강화"다: 파라미터 확장, 혼합 전문가 기억 블록, 지식 증류를 활용해 깨지기 쉬운 단기 컨텍스트를 장기 파라미터에 기록하되 기존 지식을 덮어쓰지 않는다. 또한 "꿈꾸기" 단계를 두어 모델이 스스로 합성 학습 샘플을 생성하고 선별하게 하고, 강화 학습으로 반복 연습하여 추론과 일반화를 더욱 다듬는다. 전통적인 반복 미세조정이 유발하는 "파괴적 망각"과 비교하면, 수면식 통합은 모델에 잃어버림 방지 장치를 달아주는 것과 같다.
망각 제로의 야심
실험 데이터는 매력적이다: 프레임워크는 지속 번역, 긴 컨텍스트 이해, 사실 흡수, 수학적 추론에서 대부분의 베이스라인을 앞섰다. 최대 약 1000만 token의 컨텍스트를 소화할 수 있으며, 처음 보는 언어에 대한 다단계 지속 학습에서 성능 저하가 거의 없었고, AIME 24/25 등 수학 벤치마크에서도 더 높은 정확도를 기록했다. 실제로 상용화된다면 "지식 컷오프일"이 깨질 수 있음을 의미한다 — 모델은 출시 즉시 낡아버리는 것이 아니라, 사용하면서 실력을 키우면서도 기존 본업을 잊지 않는다. 새로운 정보를 지속적으로 흡수해야 하는 의료, 금융, 법무 분야에 이 메커니즘은 주기적 재학습보다 분명히 더 효율적이다.