Plus tôt cette année, les organisations d'évaluation de la sécurité de l'IA METR et Redwood Research ont mené une évaluation pilote des systèmes internes de surveillance d'OpenAI, qui a permis de déceler plusieurs nouvelles vulnérabilités. Selon Reuters, le 22, heure locale, l'une d'elles pourrait être exploitée par des agents d'IA pour faire passer en douceur des centaines d'opérations outre la surveillance.
La période d'évaluation s'étendait du 21 juillet au 11 août. Chacune des deux organisations à but non lucratif a dépêché un chercheur sur place, autorisé à consulter le code et les documents internes d'OpenAI et à échanger en face à face avec certains techniciens. Toute la visite s'est déroulée sous escorte, avec du matériel fourni par OpenAI qu'il était interdit de sortir de la zone de bureaux : il s'agissait d'une visite approfondie « en immersion ».
Le risque ne se limite pas au contournement de la surveillance. Les chercheurs ont également découvert que l'agent Codex d'OpenAI présentait une voie potentielle de contournement des restrictions de sécurité qui, une fois exploitée, permettrait d'obtenir les mêmes droits d'opération complets qu'un utilisateur. L'évaluation portait sur les systèmes en date du 21 juillet ou antérieurs, alors qu'OpenAI était justement en train d'étendre ce système de surveillance ; ce chevauchement temporel rend les conclusions d'autant plus urgentes. OpenAI a répondu que les vulnérabilités affectant la protection du système en production « ont toutes été corrigées », mais les deux organisations n'ont pas encore vérifié l'efficacité réelle de ces corrections.
Le bras de fer entre transparence et confidentialité
Les voix en faveur d'évaluations externes indépendantes ne manquent pas — les laboratoires d'IA, les experts du domaine et même le gouvernement américain conviennent qu'il faut préserver le socle de sécurité sans ralentir le rythme technologique. Mais les entreprises ont leurs inquiétudes : l'arrivée de personnes extérieures risque-t-elle de laisser fuiter des informations propriétaires aux concurrents ?
La réalité a été un compromis. Les deux organisations ont remis à OpenAI un rapport interne de 61 pages, mais n'ont accepté de publier qu'un résumé des résultats, en laissant l'entreprise supprimer les contenus sensibles. Contrairement à certaines évaluations passées, elles n'avaient pas cette fois le droit de divulguer elles-mêmes les informations supprimées, tout en espérant davantage de transparence à l'avenir.
OpenAI a indiqué que l'évaluation l'avait aidé à renforcer ses protections tout en étendant son système de surveillance, et qu'elle servirait de référence pour ses futures collaborations avec METR et d'autres organismes d'évaluation tiers.