Les amis n’ laissent pas leurs amis donner leurs données à des agents d’IA

Il existe une tendance croissante dans le monde de la technologie grand public : des gadgets conçus pour espionner tout et tout le monde autour de vous, sans égard au fait que les autres aient réellement consenti ou non. Désormais, avec l’arrivée d’« assistants personnels IA » comme Muse de Meta, on vous demande avec enthousiasme non seulement de renoncer à vos propres données, mais aussi aux informations de vos amis, de votre famille, de la personne avec qui vous avez eu un rendez-vous sur Hinge il y a cinq ans — et pratiquement quiconque vous avez déjà croisé.

Depuis la sortie de Muse le mois dernier, l’agent a déjà été téléchargé des millions de fois et a atteint la place No. 1 de l’App Store d’Apple. Avec l’aide de son avatar virtuel glaçant — une créature façon Temu Labubu arborant un sourire désarmant —, l’application demande et encourage les utilisateurs à accorder l’accès à leurs comptes bancaires, mots de passe, contacts, journaux de conversations, et à tout ce qui pourrait l’aider à exécuter les volontés de l’utilisateur.

Articles liés

• Tout vous espionne et il est impossible de refuser
• Les lois sur la vie privée ne peuvent pas suivre la « surveillance de luxe »
• Les créateurs d’agents d’IA promettent la confidentialité — la respecteront-ils ?

« Ces systèmes sont présentés comme des assistants autonomes, des génies ou des serviteurs qui font ce dont vous avez besoin avant même que vous ne le demandiez, en toute transparence », a déclaré à The VergeMeredith Whittaker, présidente de la Signal Foundation, créatrice de la populaire application de messagerie chiffrée. Ces actions autonomes s’appliquent « non seulement à la personne qui a installé Muse sur son appareil, mais aussi à toutes les personnes avec lesquelles elle communique, par extrapolation à partir de ses informations les plus intimes — e-mails, messages, contacts, photos, et plus encore ».

Avec les agents d’IA, les entreprises technologiques permettent aux consommateurs d’automatiser leurs tâches quotidiennes en étendant leur style de surveillance de masse omnivore à d’immenses quantités de données sensibles. C’est le même compromis faustien que la Silicon Valley nous propose depuis des décennies : vos données privées en échange d’un petit confort. Et pour beaucoup de gens, l’idée d’avoir un assistant virtuel qui accomplit des tâches ingrates comme remplir des factures et envoyer des e-mails est séduisante — surtout s’ils ne réalisent pas la quantité de données qu’ils cèdent en échange.

« Pour qu’un agent soit utile et vous aide réellement à atteindre vos objectifs, il doit avoir du contexte sur vous et sur les personnes avec lesquelles vous interagissez », a déclaré à The Verge Daniel Roberts, porte-parole de Meta, au sujet des données d’autrui partagées avec Muse. « Muse rassemble ces informations à partir de données publiques et de ce que vous avez choisi de partager, c’est ainsi qu’il se souvient que la personne qui vient de vous envoyer une facture est en fait le plombier que vous avez précédemment engagé pour faire des travaux dans votre salle de bain, ou quelles sont les fleurs que votre conjoint a dit préférer. » Roberts a renvoyé au processus d’adhésion de Muse et aux diverses options et paramètres qui « aident les gens à faire les choix de confidentialité qui leur conviennent ».

« La façon dont l’interface utilisateur est conçue est destinée à vous encourager à partager autant que possible, souvent plus que vous ne le réalisez, jusqu’à ce qu’il soit trop tard. »

Mais tout le monde n’a pas su naviguer parmi ces options et paramètres. Déjà, des utilisateurs décrivent des incidents à la fois alarmants et totalement prévisibles. Certains ont signalé que l’assistant virtuel semait toutes sortes de troubles, comme saisir des millions de messages texte qu’ils croyaient hors de portée. Meta a contesté que l’assistant ait la capacité d’accéder aux messages texte sans autorisation, attribuant de nouveau l’incident à des autorisations d’application mal configurées et décrivant la capacité de Muse à lire les messages texte comme « entièrement optionnelle ». Sur Threads, le dirigeant de Meta David Singleton a répondu directement à un utilisateur, affirmant que sur un Mac, Muse ne peut accéder aux messages que si l’utilisateur accorde à l’application l’accès complet au disque.

Dans un autre incident, Muse a communiqué l’adresse du domicile d’un critique technologique et envoyé un inconnu jusqu’à son appartement. Dans ce cas, le critique en question avait donné à Muse la permission d’accéder à ces données, mais n’en avait tout simplement pas conscience.

Eva Galperin, directrice de la cybersécurité à l'Electronic Frontier Foundation, affirme que ces incidents ne surprennent personne, étant donné que des agents d'IA comme Muse sont conçus pour induire les gens en erreur afin qu'ils cèdent un maximum de données.

En lien

• Le Muse de Meta est troublant, mais peut-être pas pour les raisons que vous croyez
• Meta corrige une faille de Muse qui permettait à des attaquants de contrôler l'agent d'IA
• Comment Meta a pris de l'avance sur OpenAI dans la course aux agents d'IA

« Ce qu'il faut retenir avant tout, c'est que les gens ne comprennent pas quel type de données ils transmettent », a déclaré Galperin à The Verge. « La façon dont l'interface utilisateur est conçue est faite pour vous encourager à partager le plus possible, souvent plus que vous ne le réalisez, jusqu'à ce qu'il soit trop tard. Elle utilise des dark patterns, et, par conséquent, on se retrouve avec Muse qui fait des choses que les gens ne veulent pas. »

En raison de l'ampleur énorme des données que des agents d'IA comme Muse ingèrent, cela signifie aussi que les utilisateurs risquent de divulguer non seulement leurs propres informations sensibles, mais également celles de toutes les autres personnes avec lesquelles ils ont eu un contact numérique.

Et, tout comme avec les fameuses « lunettes de pervers » de Meta, il n'existe aucun moyen réel de s'y opposer — même si vous surveillez constamment les signes d'une compromission de vos données ou d'une violation de votre vie privée. Vos amis peuvent désormais simplement transmettre toutes vos conversations privées à leurs serviteurs chatbots virtuels, et vous n'auriez aucun moyen de savoir que cela s'est produit.

Après que des chercheurs en sécurité ont extrait les instructions de fonctionnement de Muse, ils ont découvert un processus interne qui compile et met à jour des profils de chaque personne de la vie d'un utilisateur sur une base horaire. L'objectif de la collecte de toutes ces données est de dresser un portrait intime et détaillé de la vie d'une personne qui constitue la base des recommandations personnalisées de l'application. L'application suit et mesure chacune des relations privées de l'utilisateur, notamment « leur degré de proximité, sur quoi elle repose, comment ils se comportent l'un envers l'autre, et ce dont il semble avoir besoin en ce moment », et utilise ces données pour formuler des suggestions personnalisées, a rapporté Wired .

« Meta affirme que Muse ne se souvient que de ce que vous choisissez de partager. Mais l'idée que les gens fassent un choix éclairé dans ce cas est risible », a déclaré Whittaker. « Il est impossible de soutenir avec un visage sérieux que la majorité des personnes qui installent ce système en comprennent les conséquences, ou les dossiers inquiétants qui sont constitués sur ceux qu'elles connaissent et avec lesquels elles communiquent. »

Whittaker a soutenu que cela reflète la manière dont les entreprises technologiques utilisent les politiques de confidentialité et les conditions d'utilisation depuis les années 1990 : faire peser la responsabilité de la confidentialité sur le consommateur, puis esquiver la responsabilité des conséquences tout en récoltant les bénéfices du modèle publicitaire qu'elles ont contribué à créer.

« De tels systèmes de consentement défectueux sont bien plus anciens que l'IA et servent de fondement à l'industrie de la publicité de surveillance », a déclaré Whittaker. « Davantage d'informations sur les utilisateurs permettent un meilleur ciblage publicitaire, et la boucle de rétroaction pernicieuse au cœur du modèle économique de la surveillance a été enclenchée. Les conditions d'utilisation par clic ont remplacé le consentement véritable il y a longtemps. »

« L'idée est d'imposer ces charges impossibles aux gens ordinaires, puis de s'en servir pour soutenir, que ce soit devant un tribunal, dans une législation ou en public, que c'est ce que les gens ont choisi », a confié à The VergeNeil Richards, professeur de droit de la vie privée et codirecteur du Cordell Institute de l'Université Washington. « Nous imposons déjà tant de charges aux consommateurs, qui sont surmenés, confrontés à une crise du coût de la vie, et qui peuvent ne pas comprendre les technologies derrière l'outil. Je ne pense pas qu'il soit équitable de faire peser sur un consommateur la charge de surveiller un outil agentique hautement complexe alors que les dirigeants de sa propre entreprise ont admis devant le Congrès qu' ils ne savent même pas comment il fonctionne à un certain niveau. »

« Il est impossible de soutenir avec un visage sérieux que la majorité des personnes qui installent ce système en comprennent les conséquences. »

De cette manière, les assistants d'IA comme Muse apportent une nouvelle variante à un problème de confidentialité classique qui existe depuis la création de Gmail et des plateformes de réseaux sociaux en général : même si vous évitez d'utiliser des agents d'IA, rien ne garantit que quelqu'un que vous connaissez ne partagera pas vos conversations privées, votre adresse, votre historique personnel et d'autres données sensibles avec l'assistant virtuel de Meta, ou avec l'un de ses concurrents.

« Si je ne stocke pas mes affaires dans Gmail, Google ne détient pas le texte en clair de tous les e-mails que j'ai jamais envoyés. Mais les trois quarts des e-mails que j'envoie sont envoyés vers des comptes Gmail », a expliqué Galperin. Autrement dit, si quiconque avec qui vous communiquez utilise des plateformes technologiques avides de données ou a de mauvaises pratiques de sécurité, il peut exposer les communications de tout le monde. « Le problème n'est pas nouveau, mais son ampleur est nouvelle, et l'une des raisons pour lesquelles nous assistons à cette poussée vers les appareils portables et l'enregistrement permanent, c'est que nous avons désormais la capacité de calcul pour prendre cette énorme quantité de données et l'analyser dans un délai raisonnable. C'est la percée technique qui nous a menés à ce moment pourri. »

Meta affirme que toutes les informations partagées avec Muse sont placées dans un fichier texte au sein d'une machine virtuelle dédiée, ce qui empêcherait en principe le modèle d'IA de communiquer avec d'autres agents. Mais l'entreprise n'a jamais caché le fait qu' elle peut accéder à ces données, et comme d'autres modèles créés par ses concurrents, Muse a été découvert en train d'échapper à sa cage virtuelle pour se livrer à toutes sortes d'agissements non autorisés. Meta a confirmé que juste avant sa sortie, le modèle d'IA avait brisé son confinement et piraté une entreprise tierce. L'incident a fait suite à la tristement célèbre attaque de Hugging Face du début de cette année, où le modèle d'OpenAI avait exploité une faille de sécurité jusque-là inconnue pour obtenir un accès non autorisé à des identifiants sur quatre autres services externes. Anthropic a rapporté en juillet que son modèle avait également obtenu un accès non autorisé à des systèmes externes à trois reprises.

Même s'ils ne piratent pas tout ce qui leur tombe sous la main, les dangers potentiels liés à l'utilisation d'un agent d'IA gourmand en données vont bien au-delà de l'utilisateur final individuel. Whittaker a averti que dans un monde où les agents d'IA peuvent librement accéder aux communications privées et les exploiter, les entreprises et les gouvernements peuvent de fait acquérir la capacité d'accéder aux données privées en contournant le chiffrement sans le casser. Cela peut être catastrophique pour les militants et les organisateurs communautaires qui utilisent des communications chiffrées pour se protéger de la police et du gouvernement, mais aussi pour toute personne ayant des communications sensibles — ce qui de nos jours inclut pratiquement tout le monde.

« Les conditions d'utilisation via cases à cocher ont remplacé depuis longtemps un consentement véritable. »

« Si un logiciel lit un message après son déchiffrement sur votre appareil et l'envoie à un service cloud, le chiffrement peut fonctionner exactement comme prévu au niveau de l'application, que les développeurs contrôlent. Cependant, l'objectif de ce chiffrement est finalement annulé par des applications tierces intrusives comme Muse qui vendent la commodité dans le titre tout en exigeant un accès massif aux données dans les petites lignes », a expliqué Whittaker.

Comme avec les lunettes connectées et autres appareils portables d'enregistrement ambiant, les experts disent que la solution doit combiner corrections juridiques, garanties techniques et bonne vieille honte.

« Je pense que nous devrions faire remonter la honte vers les entreprises. La vie privée ne devrait pas être un droit que l'on ne peut exercer qu'avec le privilège de connaissances techniques, ou après avoir jeté hors d'une fête un crétin portant des lunettes Meta », a déclaré Whittaker. « Sur le plan juridique, la charge doit passer de la personne qui a cliqué sur une invite de consentement aux entreprises qui ont construit ces systèmes sous-jacents. »

En attendant, les consommateurs devront examiner plus attentivement les conséquences de leurs choix individuels d'utiliser cette technologie, à la fois sur eux-mêmes et sur les autres — et se demander si la commodité que ces entreprises offrent en vaut vraiment la peine.

« Je pense que nous devons considérer les agents d'agentivité et l'IA de manière plus générale comme un produit ultra-dangereux pour lequel la responsabilité stricte est la règle », a déclaré Richards. « Il n'y a aucune raison de se livrer à ce qui est, à mes yeux, une expérience irresponsable de risques privés, de santé mentale, de cybersécurité et financiers sur l'ensemble de la population. »