Le 10月12日, Tibo (Thibault Sottiaux) d'OpenAI a lancé un ajustement qui soulage les gros utilisateurs de code : dans les environnements Codex et Work, la fenêtre de contexte par défaut de GPT-6.1Sol passe d'un coup de 27.2万 tokens à 50万 tokens, ce qui équivaut à étendre d'environ 80% la « mémoire à court terme » du modèle.
Tibo explique que, même si OpenAI continuera de relever cette limite, cette extension suffit déjà à faire baisser nettement la fréquence de déclenchement de la compression de contexte — ladite compression de contexte étant ce moment embarrassant où, quand sa mémoire déborde, le modèle est contraint de résumer à la hâte le contenu antérieur en abandonnant des détails. Avec une fenêtre élargie, les tâches qui nécessitent de conserver longtemps un large contexte, tout en étant truffées de détails complexes, peuvent être portées plus sereinement par le modèle du début à la fin, sans nettoyage fréquent.
Il insiste particulièrement sur le fait que cette valeur par défaut de 50万 tokens a été amplement testée et se situe, pour la grande majorité des utilisateurs, au meilleur point d'équilibre entre expérience et performances, autrement dit ce « sweet spot » tant attendu. Bien sûr, si quelqu'un juge cela insuffisant ou trop gaspilleur, le réglage manuel reste ouvert : la longueur de contexte maximale prise en charge par GPT-6.1Sol est de 100万 tokens, et c'est à l'utilisateur de décider de pousser au maximum ou de réduire.
La coupe la plus concrète tombe sur la facture. En accompagnement de cette extension de fenêtre, lorsque OpenAI déduit la consommation des abonnements, il ne prélèvera plus de frais de contexte long séparés pour GPT-6.1Sol — cette somme autrefois facturée en supplément à cause de l'allongement du contexte est désormais purement et simplement effacée. Quand un acteur porte la ligne de mémoire de son modèle à 50万 et supprime au passage la prime sur les textes longs, ce qu'il cherche à retenir, ce n'est évidemment pas seulement le code des développeurs, mais aussi cette facture de leur portefeuille qui aurait gonflé avec le contexte.