OpenAI accélère le développement de son prochain modèle phare, mais la date de lancement demeure incertaine en raison de l'alignement de sécurité et de la construction des infrastructures de test. Selon des informations révélées par The Information en octobre, les employés d'OpenAI prévoient que l'entreprise publiera un à deux nouveaux modèles d'ici la fin 2026, mais il n'est pas certain que la mise à niveau du modèle phare en cours de développement en fasse partie.
Selon les informations, le nouveau modèle phare adopte la même technique de Transformer récurrent qu'Astra, à savoir la « profondeur récurrente » (Recurrent Depth). Cette technique permet au modèle, avant de générer le prochain jeton, de faire passer le jeton actuel plusieurs fois à travers les mêmes couches de Transformer, ce qui peut améliorer les capacités de raisonnement mathématique et de programmation, et permettre à des modèles plus petits d'atteindre de meilleures performances à moindre coût.
Cependant, le raisonnement récurrent transfère également une partie du processus de calcul vers des représentations numériques internes difficiles à examiner par l'humain, affaiblissant la capacité de surveiller le comportement du modèle via des chaînes de pensée lisibles. Selon des rapports, OpenAI a limité le nombre de cycles d'Astra pour maintenir la lisibilité du processus de raisonnement, et a réorienté environ 10 % de sa puissance de calcul totale vers la recherche sur l'alignement algorithmique et la sécurité, une puissance de calcul qui atteindrait, dit-on, plusieurs centaines de mégawatts.
Un article technique sur GPT-6.1Sol publié précédemment par Microsoft a révélé par accident des détails sur le raisonnement récurrent, avant que le contenu ne soit supprimé. OpenAI doit également perfectionner ses tests de sécurité et, conformément aux accords en vigueur, se soumettre à une évaluation de sécurité du gouvernement américain avant la livraison du modèle à des partenaires externes ainsi qu'avant sa publication officielle. Ces progrès montrent que l'équilibre entre l'amélioration des performances de raisonnement et la surveillance de sécurité devient un défi majeur pour la sortie des prochains grands modèles.