Ingénieur de OpenAI Thibault Sottiaux (Tibo) a annoncé ce jour que la longueur de contexte par défaut du GPT-6.1 Sol dans les environnements Codex et Work a été augmentée de 272k tokens à 500k, soit une augmentation d'environ 80 %.
Cette modification signifie que la longueur de conversation qu’un modèle peut gérer se multiplie presque par deux – que ce soit pour parcourir tout un répertoire de code ou lire un rapport long, ou encore pour accomplir des tâches complexes impliquant plusieurs cycles et beaucoup de détails, il devient plus difficile d’activer la compression automatique, et les conversations ne se terminent pas souvent brusquement ou sont forcément résumées. Par exemple, lors de la recherche de l’origine des clauses dans un contrat de plusieurs centaines de pages, ou lorsque l’IA suit continuellement un projet de développement qui nécessite des ajouts constants, des fenêtres plus longues signifient moins de « oublis » et moins de répétitions. Pour les utilisateurs qui dépendent fortement de la mémoire longue terme, l'amélioration de l'expérience est assez directe, et cela correspond également à la compétition dans le secteur où les grandes modèles s’affrontent en fonction de la taille de leur « fenêtre ».
Manuellement, on peut atteindre 1M ; cette fois, aucune fraise pour les textes longs n’est prélevée.
Tibo explique que 500k est la zone de satisfaction et de performance « sweet spot » trouvée par l’équipe après de nombreuses tests, mais cela n’est pas la fin : les utilisateurs peuvent encore régler manuellement, et le maximum supporté par GPT-6.1 Sol a atteint 1M.
Ce qui est plus important, c’est le changement sur le côté facturation – avec cette mise à jour, OpenAI ne facture plus de frais pour les longs contextes séparément lors du retrait des utilisations par abonnement. Auparavant, ces longs contextes étaient souvent considérés comme des éléments supplémentaires coûteux ; aujourd’hui, en les faisant augmenter par défaut sans frais supplémentaires, cela réduit indirectement le seuil pour une utilisation intensive. Dans un contexte où les longs contextes sont un atout essentiel pour tous les fournisseurs, confier directement les bénéfices de l’expansion aux utilisateurs constitue également une stratégie concrète de compétition de la part d’OpenAI.