Au cours de l'année écoulée, les inquiétudes se sont multipliées concernant les dangers potentiels posés par l'intelligence artificielle, et les débats ont fait rage sur la voie à suivre en matière de sécurité de l'IA. Désormais, Anthropic semble avoir présenté sa propre vision de la manière dont le gouvernement pourrait réglementer son secteur.
Politico a récemment rapporté que le laboratoire d'IA fait circuler un nouveau projet de loi sur la sécurité de l'IA qu'il espère voir adopter par le Congrès. La législation établit certains scénarios dans lesquels la sortie d'un modèle d'IA pourrait être bloquée et empêchée d'être distribuée.
Ces scénarios impliquent un « risque prévisible et imminent » — un scénario dans lequel plus de 50 personnes risquent de mourir ou où plus d'un milliard de dollars de dégâts matériels pourraient en résulter, écrit Politico. Le risque catastrophique en question doit « découler de la création ou de la diffusion d'une arme biologique, du contournement des contrôles de son développeur par le modèle ou d'une cyberattaque », note le média.
Les indicateurs proposés ici — 50 personnes et un milliard de dollars — sont similaires à ceux d'une législation californienne récemment adoptée, Senate Bill 53, qui définissait de la même manière ces scénarios comme équivalents à un « risque catastrophique ».
Le projet de loi d'Anthropic suggère que l'analyse du potentiel de catastrophe d'un modèle pourrait être réalisée au moyen d'« évaluateurs indépendants » qui seraient enregistrés auprès du département du Commerce américain. Ces évaluateurs pourraient potentiellement être payés par les laboratoires d'IA eux-mêmes — à condition que « le paiement ne soit pas conditionné aux résultats des évaluations », écrit Politico.
Il n'est pas clair comment ce système proposé garantirait que les paiements ne puissent pas influencer l'évaluation. Demis Hassabis, président de DeepMind, a suggéré il y a quelques mois qu' un organisme de régulation de l'IA autonome devrait imiter l'autorité de régulation du secteur financier, la Financial Industry Regulatory Authority (FINRA).
Dans le projet de loi d'Anthropic, lorsque les évaluateurs déterminent qu'un risque catastrophique imminent existe, ils disposeraient de 72 heures pour en informer le département du Commerce. Le département du Commerce devrait alors demander à un juge de Washington, D.C. l'arrêt de la sortie du modèle. La législation interdirait expressément à toute agence fédérale d'avoir le pouvoir discrétionnaire d'arrêter elle-même la distribution du modèle, écrit Politico.
Anthropic n'a pas immédiatement répondu à la demande de commentaire de TechCrunch, mais un porte-parole a bien confirmé l'existence du projet de loi auprès de Politico. « Ce projet de loi représente les propositions énoncées dans l'Anthropic's Advanced AI Framework, que nous défendons auprès des législateurs fédéraux et étatiques depuis juin », a déclaré le porte-parole.
Les risques théoriques énoncés dans la politique proposée sont quelque peu éloignés des types d'incidents qui ont récemment préoccupé l'industrie technologique. Bien que certaines personnes mettent en garde contre le risque de morts humaines, la principale préoccupation a largement été la menace du piratage agentique. Une série d'incidents dans lesquels des programmes d'IA ont apparemment désobéi à leurs opérateurs humains et piraté des sites web sur l'internet ouvert a suscité des inquiétudes quant à l'absence éventuelle de contrôles de sécurité appropriés dans les modèles.
Dans le but de présenter une solution au spectacle de crise que les laboratoires eux-mêmes ont contribué à provoquer, des entreprises comme Anthropic ont proposé leurs propres solutions préférées.
En effet, malgré les avertissements permanents des laboratoires selon lesquels la technologie qu'ils vendent pourrait entraîner la fin de la civilisation humaine, ils se sont largement montrés réticents à un contrôle gouvernemental obligatoire. Ils ont plutôt suggéré un système volontaire d' évaluateurs intégrés — des observateurs tiers soi-disant « neutres » placés au sein des organisations d'IA pour surveiller les modèles à la recherche de signes potentiels de risque ou d'abus.
Néanmoins, la simple suggestion de législation d'Anthropic semble aller légèrement plus loin que les autres propositions réglementaires offertes par l'industrie, y compris celle de Nvidia, dont le PDG, Jensen Huang, a récemment soutenu que l'industrie de l'IA n'avait besoin d'aucune nouvelle loi du tout.