IT之家 – Selon une information du 23 octobre, dès le début de cette année, l’organisation de sécurité de l’IA METR et Redwood Research ont mené une évaluation pilote du système de surveillance interne d’OpenAI, découvrant plusieurs nouveaux vulnérabilités. L’une de ces vulnérabilités peut être exploitée par un agent IA, permettant ainsi à des centaines d’opérations de passer inaperçues par le système de surveillance.
Selon une reportage de Reuters, le 22, en heure locale, deux organisations non lucratives ont indiqué que cette évaluation s’est déroulée du 21 juillet au 11 août, permettant aux chercheurs externes d’accéder « en profondeur » à l’infrastructure interne d’OpenAI pour mener une évaluation « intégrée ».
METR et Redwood Research ont chacun envoyé un chercheur, qui a été autorisé à consulter les codes internes et les documents d’OpenAI, ainsi qu’à communiquer avec certains techniciens. Les deux personnes étaient toujours accompagnées par des personnes sur place, et les équipements utilisés ont été fournis par OpenAI ; elles ne pouvaient pas en sortir du lieu de travail.
OpenAI a informé deux institutions que les vulnérabilités affectant les mesures de sécurité des systèmes en fonctionnement réelont été corrigées, mais l’efficacité de ces correctifs n’a pas encore été vérifiée par les deux institutions.
Les laboratoires d’IA, les experts et le gouvernement américain ont toujours plaidé pour l’introduction d’évaluations indépendantes externes, afin de garantir la sécurité de l’IA sans ralentir le développement technologique. Cependant, les entreprises d’IA craignent que les évaluateurs externes puissent divulguer des informations propriétaires de l’entreprise aux concurrents.
METR et Redwood Research indiquent que les deux organisations ont soumis à OpenAI un rapport interne complet de 61 pages, mais ont accepté de ne publier que le résumé des résultats d’évaluation, et ont autorisé OpenAI à supprimer tout contenu impliquant des informations sensibles.
Selon IT Home, contrairement à certaines évaluations passées, les deux organisations n’ont pas le droit de publier ou de supprimer des informations spécifiques elles-mêmes, mais elles espèrent que les évaluations futures seront plus transparentes.
Les chercheurs ont également découvert que l’agent intelligent Codex d’OpenAIpossède des moyens potentiels de contourner les restrictions de sécurité, permettant ainsi d’obtenir les mêmes droits d’action complets que les utilisateurs.
Cette évaluation concerne le système de surveillance en date du 21 juillet et avant cette date. Les chercheurs ont indiqué que OpenAI a également étendu ce système pendant la période de l’évaluation. OpenAI a déclaré : « Les résultats de l’évaluation nous ont aidés à renforcer la sécurité des systèmes tout en les étendant, et ils serviront de référence pour nos futurs travaux de recherche avec METR et d’autres organismes d’évaluation tiers. »