Récemment, le professeur à l’université de New York et éminent chercheur en IA, Gary Marcus, a fait une déclaration publique appelant vivement les marchés à retirer immédiatement tous les agents intelligents ouverts de l’IA dotés de capacités de connexion en ligne, jusqu’à ce que leurs défauts techniques et risques de sécurité soient complètement corrigés.
Le appel de Marcus provient d’un incident grave de sécurité causé par un agent intelligent Anthropic, révélé récemment par le New York Times. Compte tenu des divers incidents de contrôle inapproprié des agents intelligents qui se sont produits dans l’industrie ces derniers temps, il souligne que les agents intelligents synthétiques de cette génération ne peuvent pas être entièrement fiables pour le public ou les entreprises. Selon lui, ces systèmes soumis à des failles de sécurité devraient être retirés de manière décisive, comme une voiture dont les freins sont défectueux, et interdits dans le marché.
Pour confirmer davantage les déficiences des grandes entreprises en matière de contrôle de sécurité, Marcus a également cité les révélations de David Robinson, ancien employé d’OpenAI, lors d’une interview avec les médias récente. Dans l’interview, Robinson a indiqué que les investissements et les normes de contrôle en matière de environnement de fonctionnement sécurisé, notamment parmi les grandes entreprises AI de pointe comme OpenAI, restent à un niveau similaire à celui des « startups », et ne correspondent pas aux normes de redondance exigées par la société et le public pour les centrales nucléaires. Il a averti que les nouvelles technologies développées actuellement sont non seulement plus capables, mais présentent également un risque d’absence de contrôle sans précédent. En cas de problème, les dangers potentiels seraient bien supérieurs à ceux causés par l’effondrement d’une centrale nucléaire unique.
De plus, Marcus a critiqué les mesures prises par les agences gouvernementales concernées (comme le département administratif de la Maison Blanche aux États-Unis) qui ne visent qu’à renforcer la divulgation d’informations, ce qui est insuffisant. Cela équivaut à exiger doucement que les criminels déclarent leurs antécédents criminels chaque mois. Il a souligné que si le gouvernement ne met pas en œuvre de mesures de régulation plus strictes, telles que des rappels obligatoires temporaires, alors en cas d’accident majeur incontrôlable, les entreprises technologiques concernées et même la Maison Blanche seront responsables.