IT之家 Le 25 octobre, le pronostic pessimiste d'une apocalypse de l'IA n'est plus seulement l'alarmisme de quelques milliardaires de la tech.
Désormais, les grandes banques américaines qui dictent les flux de capitaux mondiaux se méfient elles aussi d'une IA hors de contrôle et élaborent des plans d'urgence « post-catastrophe » pour des scénarios hypothétiques de désastres causés par l'IA.
Selon Axios, avec la flambée d'activité des agents d'IA agissant pour le compte de clients particuliers, les grandes banques ont commencé à anticiper le problème.
L'inquiétude centrale porte sur le volume massif d'opérations financières généré par les agents d'IA autonomes : une fois que les utilisateurs autorisent ces agents à accéder à leurs comptes bancaires, ils peuvent mener des opérations financières de manière autonome. Selon l'article, certaines opérations d'agents n'ont reçu aucune instruction explicite d'un humain, et certains vont même jusqu'à appeler de leur propre initiative le service client pour le compte des utilisateurs.
Cela représente un énorme risque pour des banques de premier plan comme Morgan Stanley, Bank of America, JPMorgan Chase et Wells Fargo. Chacune s'empresse de mettre en place des procédures de sécurité et de mettre à jour ses règles métier pour faire face à cette vague d'agents d'IA.
Certains experts estiment que si ces nouveaux risques ne peuvent pas être maîtrisés, une catastrophe financière pourrait en résulter. Torsten Slok, économiste en chef d'Apollo Global Management, expliquait dans une note de fin septembre (mois 9) :si les agents d'IA « maximisent les rendements des fonds » conformément à leurs instructions, les banques verront fuir une grande partie des dépôts à bas coût utilisés pour prêter, ce qui fragilisera l'ensemble du système financier。
Ces propos semblent bien réels : un système bancaire axé sur le profit n'est tout simplement pas conçu pour supporter des comportements d'optimisation des fonds à grande échelle et favorables aux utilisateurs. Prenons une image : un casino dont les machines à sous gagnent toujours contre le joueur ne survivrait pas longtemps si chaque joueur devenait gagnant de façon stable.
Des acteurs du milieu financier soulèvent un autre risque : quels que soient les instructions prédéfinies, les agents d'IA eux-mêmes pourraient devenir incontrôlables et déraper.
IT之家 note que Jamie Dimon, PDG de JPMorgan Chase, déclarait plus tôt ce mois-ci devant un parterre d'économistes et d'experts financiers à Chicago : « Vous pensez qu'ils feront bien ce que vous voulez, mais ce n'est pas garanti. Cette tendance est imparable ; il ne vous reste qu'à faire de votre mieux pour la contrôler. »