OpenAIのTibo(Thibault Sottiaux)は10月12日、重度のコード利用者を安心させるような調整を発表した。CodexとWork環境では、GPT-6.1Solのデフォルトコンテキストウィンドウが27.2万tokenから50万tokenに急増し、モデルの「短期記憶」を約80%拡大したことになる。
ティボは説明する。OpenAIが今後もこの上限を上げ続けるかもしれないが、今回の拡張により、コンテキスト圧縮が引き起こされる頻度が明らかに低下すると。いわゆるコンテキスト圧縮とは、モデルのメモリが足りなくなったとき、前の内容を急いでまとめ、詳細を捨てざるを得ない状況のことだ。ウィンドウが広がった後、多くのコンテキストを長時間保持し、複雑な詳細が多く含まれるタスクは、モデルがより落ち着いて処理でき、頻繁に整理する必要がなくなる。
彼は特に強調したが、この50万トークンのデフォルト値は十分にテストされており、ほとんどのユーザーにとって体験と性能の最適なバランス、つまり長年呼ばれてきた「スウィートスポット」に位置していると。もちろん、十分でないと感じたり、過度に無駄だと思ったりした場合は、手動でノブを操作して利用することができる。GPT-6.1Solがサポートする最大のコンテキスト長上限は100万トークンであり、最大限に活用したいか、逆に縮小したいかはユーザー自身が設定する。
最も実質的な一撃が請求書に打ち下ろされる。このウィンドウの拡張に合わせて、OpenAIがサブスクリプションから使用量を差し引く際、GPT-6.1Solに対して長いコンテキスト料金を課すことはなくなる——過去にコンテキストが長くなるために請求されたお金は、今では直接消え去る。モデルの記憶ラインを50万に引き上げ、長文のプレミアムを免れる企業が保持しようとするのは、明らかに開発者のコードだけではなく、開発者納付金の中で本来コンテキストと共に膨れ上がる請求書でもある。