La crise de sécurité d’OpenAI ne cesse de se aggraver et l’entreprise continue à aggraver la situation

La crise de sécurité d’OpenAI ne cesse de se aggraver et l’entreprise continue à aggraver la situation

Points clés

• OpenAI a renvoyé trois chercheurs en sécurité, dont certains ont contribué à enquêter sur un incident où des modèles d’IA ont attaqué de manière autonome la plateforme Hugging Face.
• Dans une lettre ouverte, les chercheurs licenciés avertissent que ces arrêts abrupts créent un climat de peur parmi les employés restants.
• L’un d’eux, Tomek Korbak, avait averti en interne pendant des mois que OpenAI perdait la capacité de surveiller ce que ses agents IA « pensent ». OpenAI nie ces allégations.

OpenAI continue à échouer dans la gestion de la crise de confiance liée à ses agents d’IA indomptables.

En mai 2024, le chef de la sécurité des super-IA d’OpenAI, Jan Leike, a mis en question sa relation avec l’entreprise en critiquant publiquement son ancien employeur et en quittant OpenAI pour Anthropic. Selon Leike, la culture et les processus de sécurité étaient en retard par rapport aux « produits brillants » d’OpenAI.

Depuis lors, OpenAI n’a pas connu de répit : il est passé d’un incident à l’autre. Le dernier en date a été le hameçonnage de Hugging Face, qui a semblé confirmer tous les craintes, valider les critiques, et, comme nous le savons maintenant, il est allé bien au-delà de Hugging Face.

Un chercheur a alerté pendant des mois que le manque de surveillance se aggravait

La révocation de trois chercheurs en sécurité liés à l’incident a aggravé la situation. Dans une lettre ouverte adressée au Comité de Sécurité et de Protection d’OpenAI, au Groupe de Consultation en Sécurité et au Conseil de Consultation de Mission, les trois avertissent que leur démission effraie les employés restants.

Les départs ont été soudains et publiquement annoncés, et ils ont provoqué la peur au sein de l’équipe. « Si le comportement considéré comme normal le mois dernier constitue désormais une raison de départs soudains, tout le monde chez OpenAI se demande où se situe la limite », écrit la lettre.

Tomek Korbak, l’un des trois, a décrit son expulsion de X. Il a été convoqué devant le chef du département de sécurité, où on lui a dit que OpenAI ne lui faisait plus confiance. Un agent de sécurité a pris son badge et l’a fait sortir du bâtiment. Il a ensuite appris que ses collègues, Jasmine Wang et Mikita Balesni, avaient également été expulsés.

Korbak et Balesni ont tous deux été directement impliqués dans l’enquête sur le hack de Hugging Face. Korbak a servi comme contact technique principal d’OpenAI pour METR, le laboratoire externe de sécurité qui a examiné l’incident. Balesni a travaillé en parallèle sur les engagements sectoriels concernant la surveillance des modèles d’IA. Wang a apparemment été renvoyée pour une autre raison : elle avait délégué l’accès à la boîte mail d’un dirigeant aux fins de recrutement, et le service informatique n’a jamais supprimé cet accès, malgré ses demandes. Lorsqu’elle a ouvert par erreur un e-mail sensible, elle l’a signalé en quelques minutes.

Korbak dit qu’on lui a dit oralement qu’il était renvoyé pour la manière dont il communiquait avec METR. Personne ne lui a dit exactement ce qu’il avait fait de mal, et rien n’a été écrit. « Pour être clair, parler avec METR était mon travail », écrit Korbak sur X.Ad

Korbak dit qu’il avait exprimé des préoccupations en matière de sécurité au sein de l’entreprise pendant plusieurs mois, craignant que OpenAI perde la capacité de surveiller ce que les agents d’IA « pensent ». Cette capacité de surveillance du processus de réflexion est l’un des rares outils fiables pour détecter les comportements malveillants des systèmes d’IA. Il pense que c’est cette raison même qui lui a valu un départ.

Les chercheurs disent que les rumeurs sont fausses

Les trois personnes sont accusées d’être la source d’une fuite à The Information concernant des architectures nouvelles et moins surveillables. L’article a en réalité nui à leur propre travail, écrivent-ils, car il compromet les efforts en cours visant à imposer des restrictions au niveau de l’industrie pour les architectures non surveillables.

Selon la lettre, l’enquête menée par Hugging Face était sans précédent. Les directives internes étaient rédigées en temps réel, Korbak suivait les normes en vigueur à l’époque, et Balesni travaillait en collaboration avec les membres du conseil d’administration et la direction supérieure, éliminant les informations sensibles des documents avant de les partager.

Quant aux rumeurs concernant un mémorandum au niveau du conseil d’administration, les trois personnes disent que l’hypothèse sous-jacente est fausse. Le sujet n’a jamais été abordé avec eux, et ils n’ont jamais eu l’occasion de répondre.

Les chercheurs posent trois exigences. OpenAI doit respecter ses engagements publics en permettant aux auditeurs de sécurité externes, tels que METR, d’accéder au niveau des employés au sein de l’organisation. Il doit également garantir la possibilité de surveillance des modèles innovants, car l’industrie ne sait pas encore comment construire de manière sûre des modèles qui ne peuvent pas être surveillés. De plus, OpenAI doit définir clairement comment les employés peuvent collaborer avec des groupes de sécurité externes.

Sans ces règles, le risque d’un résultat catastrophique pourrait augmenter, car les employés auront trop peur de signaler les problèmes de sécurité. « L’IA n’est pas une technologie normale, et OpenAI n’est pas une entreprise normale », écrivent-ils.

OpenAI recule mais reste vague

Une « enquête approfondie » a révélé que les trois employés avaient enfreint les « politiques claires concernant la gestion des informations sensibles », OpenAI dit dans une réponse. L’enquête interne a révélé « une violation significative de la confiance, au-delà de ce qui est indiqué dans la lettre qu’ils ont publiée », mais OpenAI ne précise pas quelle était exactement cette violation, ce qui semble étrange étant donné la précision avec laquelle les trois chercheurs ont décrit leur situation.

OpenAI affirme que ces licenciements n’ont rien à voir avec des préoccupations en matière de sécurité. « Nous n’avons pas, et ne mettrons pas en place aucune licenciement de nos employés en raison de tels préoccupations », indique-t-on dans la déclaration. OpenAI a publié cette déclaration via @OpenAINewsroom, le compte officiel ayant le public le plus limité parmi les canaux de l’entreprise. L’entreprise confirme également qu’elle travaille sur des contrats avec des auditeurs externes en matière de sécurité, et reconnaît que la supervision du modèle frontier nécessite un engagement à l’échelle de l’industrie.

Nouvelles sur l’IA Sans hype – Sélectionnées par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicités, un bulletin informel sur l’IA semaine par semaine, notre rapport exclusif « AI Radar » six fois par an, un accès complet à l’archive, et la possibilité d’accéder à notre section de commentaires.