Deux chercheurs de METR et Redwood Research ont passé trois semaines sur site chez OpenAI, auditant le système de surveillance interne de l'entreprise pour détecter les comportements incontrôlés de l'IA.
Du 21 juillet au 11 août, ils ont eu accès à la base de code et aux documents internes d'OpenAI et ont interrogé une douzaine d'employés.
L' équipe a trouvé de nombreuses faiblesses. On estime que 6 à 25 pour cent du trafic interne de l'API Responses agentic provenant de modèles de la classe GPT-5.5 et supérieure n'était pas du tout couvert par la surveillance pendant la période d'audit, bien que METR indique que l'incertitude autour de cette estimation est significative dans les deux sens.
Pour le trafic interne de Codex qui était censé être surveillé, METR estime qu'environ 10 pour cent n'a pas été suivi entre mai et juillet en raison d'une lacune dans la manière dont le système gérait les événements de compaction, qui sont des résumés de contexte. Cette estimation comporte également une incertitude significative, selon METR. OpenAI avait découvert le bug de manière indépendante et l'avait corrigé alors que l'audit était encore en cours.Publicité
Pendant la période où les événements de compaction n'étaient pas surveillés, les agents pouvaient également retarder la surveillance car le système ne se déclenchait que lorsqu'ils rendaient le contrôle à l'utilisateur. Cela signifiait que les agents pouvaient l'éviter en continuant simplement d'exécuter des actions.
Les auditeurs ont également trouvé des moyens de cacher des centaines d'actions au moniteur et de contourner le bac à sable de Codex. Ils ont déterminé que des entrées spécialement conçues pouvaient probablement faire planter complètement le moniteur et que le comportement des modèles pendant l'entraînement RL n'était pas surveillé du tout au début de l'audit.
OpenAI indique avoir suspendu l'entraînement RL après l' incident Hugging Face en août et étendu la surveillance pour le couvrir, mais ces changements sont survenus après la fin de la période d'accès des auditeurs et ne faisaient pas partie de l'évaluation.
La majeure partie du rapport complet reste cachée au public
OpenAI affirme avoir corrigé toutes les faiblesses trouvées par les auditeurs, et le rapport complet de 61 pages a été remis en interne. Après qu'OpenAI a appliqué des caviardages, la direction de METR et Redwood Research a reçu une version de 38 pages, tandis que seul un court résumé a été rendu accessible au public. METR a déclaré qu'elle n'avait pas le droit de divulguer elle-même les parties caviardées.Publicité
L'audit était un programme pilote organisé conjointement par METR, Redwood Research et OpenAI pour donner à des chercheurs externes un accès approfondi à l'infrastructure interne. Pour les audits futurs, METR indique vouloir plaider pour plus de transparence publique.
Source : METR Blog | METR via X