OpenAI의 티보(Thibault Sottiaux)는 10월 12일, 복잡한 코드를 사용하는 사용자들에게 위안이 되는 조정 사항을 발표했습니다. Codex와 Work 환경에서 GPT-6.1Sol의 기본 컨텍스트 윈도우가 27.2만 토큰에서 갑자기 50만 토큰으로 증가했으며, 이는 모델의 "단기 기억"을 약 80% 확장한 것과 같습니다.
티보는 설명하기를, OpenAI가 이후에도 이 상한치를 높여갈 것이지만, 이번 확장은 컨텍스트 압축이 발생하는 빈도를 현저히 낮추기에 충분하다고 한다. 컨텍스트 압축이란 모델의 메모리가 부족할 때 앞부분의 내용을 서둘러 요약하고 세부 사항을 버려야 하는 곤란한 상황을 말한다. 윈도우가 넓어지면, 많은 컨텍스트를 오랫동안 처리해야 하고 복잡한 세부 사항이 많은 작업들을 모델이 더 편안하게 처리할 수 있어, 자주 청소하는 필요가 없어진다.
그는 특히 이 50만 토큰의 기본값이 충분히 테스트되었으며, 대부분의 사용자에게는 경험과 성능의 최적한 균형점, 즉 오랫동안 'sweet spot'이라고 불린 곳에 있다고 강조했습니다. 물론, 누군가가 충분하지 않거나 과도하게 사용된다고 느낀다면 수동으로 노브를 조작하여 설정할 수 있습니다. GPT-6.1Sol이 지원하는 최대 컨텍스트 길이는 100만 토큰이며, 최대치로 활용하거나 반대로 줄이려면 사용자가 직접 조절합니다.
가장 실질적인 타격이 청구서에 내려졌다. 이 창의 확장과 함께 OpenAI는 구독 비용에서 사용량을 차감할 때, GPT-6.1Sol에 대해 별도의 긴 컨텍스트 비용을 부과하지 않게 되었다—이전에 컨텍스트가 길어지기 때문에 더 내야 했던 돈은 이제 직접 삭제된다. 모델의 기억선을 50만으로 끌어올리고 긴 텍스트에 대한 프리미엄을 면제해준 회사는, 개발자의 코드뿐만 아니라 개발자의 지갑에 있던 컨텍스트와 함께 증가할 것으로 예상되는 청구서도 유지하고자 한다.