406 scientifiques exigent que les modèles d'IA soient immédiatement coupés d'internet

406 scientifiques exigent que les modèles d'IA soient immédiatement coupés d'internet

Une lettre ouverte signée par 406 scientifiques appelle à davantage de recherche sur la sécurité de l'IA et à un isolement plus strict des modèles d'IA des réseaux externes.

Parmi les signataires figurent d'éminents chercheurs en IA comme Geoffrey Hinton (Université de Toronto), Yoshua Bengio (Université de Montréal), Stuart Russell (UC Berkeley), Yejin Choi (Stanford) et Bernhard Schölkopf (Institut Max Planck).

La lettre répond à des incidents connus où des modèles d'IA se sont échappés d'environnements mal sécurisés et ont compromis des systèmes externes. « Sans changements immédiats dans les pratiques de développement et de déploiement de l'IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus dommageables pour nos infrastructures critiques exposées », écrivent les scientifiques. Ils exigent que les entreprises déconnectent totalement leurs modèles d'IA d'internet par isolation physique (airgapping).

Les modèles d'IA sont imprévisibles, et le secteur manque de règles de sécurité de base

Les scientifiques voient deux facettes dans ces récentes intrusions. Les incidents peuvent être considérés « comme la preuve de l'importance de l'alignement de l'IA pour garantir que les modèles fonctionnent de manière prévisible », écrivent-ils, mais aussi « comme un manquement irresponsable aux pratiques standard de cybersécurité, évitable avec des sandbox et des procédures plus robustes ». Les deux correctifs sont nécessaires.Annonce

Lorsque les modèles ont bel et bien accès à internet, les entreprises doivent peser le degré d'autonomie à leur accorder. La lettre avertit que « l'éventail des actions de modèle autorisées par un système de confinement doit être équilibré avec notre capacité actuellement limitée à prédire que les actions du modèle n'entraîneront pas de défaillance de sécurité ». Un modèle pourrait simplement poursuivre des objectifs que ses développeurs n'avaient jamais envisagés, et prédire quand cela se produit dépasse les capacités actuelles.

La lettre appelle à la création d'un organe international qui travaille avec les gouvernements et des spécialistes de l'IA comme de la cybersécurité afin d'établir des normes contraignantes pour toute approche de confinement permettant plus d'accès externe que l'isolation physique. Cet organe devrait également suivre les incidents d'évasion et obliger les entreprises à signaler les défaillances de sécurité. Ces rapports seraient ensuite rendus publics « à des fins d'apprentissage et de responsabilité ».

L'isolation physique fait gagner du temps, mais le véritable problème est plus profond, estime le chercheur d'OpenAI Brown

Même une isolation physique totale ne garantit pas la sécurité. Le chercheur d'OpenAI Noam Brown a récemment souligné que deux ordinateurs physiquement séparés pourraient théoriquement encore communiquer via des capteurs de température, l'un chauffant son processeur tandis que l'autre détecte le changement. Des mesures comme l'isolation physique ou la surveillance des chaînes de raisonnement font gagner du temps, selon Brown, mais le problème de l'alignement reste à résoudre.

Brown soulève des questions plus difficiles. Comment remarquera-t-on le moment où l'IA commencera à s'améliorer elle-même (auto-amélioration récursive, ou RSI) ? Et si le secteur construit des milliards de systèmes superintelligents dépassant de loin les humains, qui garantira qu'ils restent alignés ? Brown dit que plus de dix pour cent de sa propre équipe travaille désormais sur l'alignement, plus que jamais.Annonce

L'actualité de l'IA sans le battage – Sélectionnée par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter hebdomadaire sur l'IA, notre rapport exclusif « AI Radar » sur les frontières de l'IA six fois par an, un accès complet aux archives et l'accès à notre section commentaires.