OpenAI devrait sortir au moins un modèle cette année, mais son modèle phare a encore besoin de travaux d'alignement

OpenAI devrait sortir au moins un modèle cette année, mais son modèle phare a encore besoin de travaux d'alignement

OpenAI se dépêche de terminer son prochain modèle phare, qui utilise la même technique de transformateur bouclé qu'Astra. Cette approche améliore les performances en mathématiques et en programmation, mais rend la surveillance de la sécurité plus difficile. Les employés affirment qu'un ou deux nouveaux modèles sortiront probablement d'ici la fin de l'année.

OpenAI publiera probablement « un ou deux nouveaux modèles » avant la fin de l'année, selon des employés, même s'il n'est pas clair si « le modèle majeur mis à niveau » sur lequel l'entreprise travaille actuellement en fera partie. C'est ce que rapporte The Information, citant des personnes au courant des projets.

Le nouveau modèle phare pourrait encore être loin d'être prêt. Le modèle a besoin de travaux d' alignement afin que ses objectifs correspondent à ce que les chercheurs et les clients d'OpenAI attendent. L'entreprise doit également renforcer l'infrastructure de test autour du modèle avant de pouvoir avancer.

Une fois que la direction sera satisfaite des évaluations de sécurité, il restera un autre obstacle. En vertu d'un décret du président Trump régissant les évaluations des systèmes d'IA avancés, OpenAI a accepté de donner au gouvernement américain l'accès aux nouveaux modèles jusqu'à 30 jours avant qu'ils ne soient confiés à des partenaires externes, et encore plus longtemps avant un lancement public.Ad

Les transformateurs bouclés alimentent à la fois Astra et le prochain modèle phare

Le nouveau modèle phare utilise également des transformateurs bouclés, selon une personne au courant de la situation. OpenAI utilise déjà cette technique en production, où elle est appelée « Recurrent Depth ». Elle est centrale au fonctionnement d'Astra, le modèle phare actuel de l'entreprise. Au lieu de faire passer un token à travers les couches du transformateur une seule fois, le modèle le fait boucler plusieurs fois à travers les mêmes couches avant de générer le mot suivant. Cela améliore les performances en mathématiques et en programmation et réduit les coûts, car un modèle plus petit peut performer au-delà de sa taille.

Mais le bouclage déplace également une partie du « raisonnement » du modèle hors du texte lisible et vers des représentations numériques internes que les évaluateurs humains ne peuvent pas inspecter. Cela compromet la surveillance de la chaîne de raisonnement, où les chercheurs en sécurité tracent le raisonnement d'un modèle pour repérer les comportements indésirables. OpenAI a délibérément limité le nombre de boucles qu'exécute Astra pour garder sa chaîne de raisonnement lisible, rapporte The Information.

Après l'incident de Hugging Face, OpenAI a réorienté environ dix pour cent de sa puissance de calcul totale vers l'alignement et la sécurité, selon une personne au courant des chiffres. The Information rapporte que cela représente une capacité de centre de données de plusieurs centaines de mégawatts, bien qu'il ne soit pas clair quelle part était allouée à la sécurité auparavant ni quelle est la répartition actuelle. Aux tarifs du marché, la puissance de calcul qu'OpenAI a réorientée coûterait des milliards de dollars par an à louer. Le chercheur en IA Noam Brown a déclaré dans un podcast de la mi-septembre qu'environ dix pour cent de son équipe travaille également sur la sécurité et la sûreté.

Microsoft divulgue accidentellement le fonctionnement de l'inférence bouclée d'OpenAI

La manière dont OpenAI utilise réellement cette technique a été révélée à la suite d'un faux pas de Microsoft. Le principal investisseur, qui a accès à la propriété intellectuelle d'OpenAI, a publié un document technique sur GPT-6.1 Sol, une alternative moins chère à Astra qu'OpenAI a lancée plus tôt ce mois-ci.Ad

Dans une section désormais supprimée, Microsoft décrivait GPT-6.1 Sol comme utilisant une « inférence en boucle », dans laquelle le modèle traite le même problème en plusieurs « passes » avant de produire une réponse. GPT-6.1 Sol « utilise les mêmes poids de modèle de base que GPT-6 Sol avec deux passes d'inférence au lieu de trois », cite The Information d'une copie en cache de la page.

Une personne ayant une connaissance directe du dossier a confirmé que ce texte correspondait à ce qu'OpenAI avait confié en privé à Microsoft. Microsoft a retiré la section après avoir réalisé qu'elle n'était pas destinée à être publique. Les transformers bouclés restent une partie sensible du développement des modèles d'OpenAI, tant pendant l'entraînement qu'à l'inférence, rapporte The Information.

Le scientifique en chef d'OpenAI, Jakub Pachocki, a déjà reconnu que la surveillance du raisonnement en chaîne devient « fragile » et « tend malheureusement dans une direction négative ». Il a également mis en garde contre une course à l'échelle de l'industrie vers des modèles dépourvus de raisonnement lisible.

Actualités IA sans le battage – Curated by Humans

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter IA hebdomadaire, notre rapport exclusif « AI Radar » sur les technologies de pointe six fois par an, un accès complet aux archives et un accès à notre section de commentaires.