Existe una tendencia creciente en el mundo de la tecnología de consumo: dispositivos diseñados para espiar todo y a todos a tu alrededor, independientemente de que los demás hayan dado o no su consentimiento. Ahora, con la llegada de “asistentes personales de IA” como Muse de Meta, se te pide amablemente que no solo entregues tus propios datos, sino también la información de tus amigos, tu familia, la persona con la que tuviste una cita en Hinge hace cinco años — y prácticamente cualquier otra persona con la que hayas estado en contacto.
Desde que Muse fue lanzado el mes pasado, el agente ya se ha descargado millones de veces y ha alcanzado el puesto No. 1 en el App Store de Apple. Con la ayuda de su inquietante avatar virtual — una criatura al estilo Temu Labubu con una sonrisa desarmante — la aplicación solicita y anima a los usuarios a conceder acceso a cuentas bancarias, contraseñas, contactos, registros de chat y a cualquier cosa que pueda ayudarle a cumplir las órdenes del usuario.
Relacionado
- Todo te está espiando y no hay forma de optar por fuera
- Las leyes de privacidad no pueden seguir el ritmo de la ‘vigilancia de lujo’
- Los creadores de agentes de IA prometen privacidad — ¿la cumplirán?
“Estos sistemas se anuncian como ayudantes autónomos, genios o sirvientes que hacen lo que necesitas antes de que lo pidas, de manera fluida”, dijo Meredith Whittaker, presidenta de la Signal Foundation, creadores de la popular aplicación de mensajería cifrada, a The Verge. Estas acciones autónomas se aplican “no solo a la persona que instaló Muse en su dispositivo, sino también a todas las personas con las que esa persona se comunica, según se extrapola de su información más íntima: correos electrónicos, mensajes, contactos, fotos y más.”
Con los agentes de IA, las empresas tecnológicas permiten a los consumidores automatizar sus tareas cotidianas al extender su estilo omnívoro de vigilancia masiva a enormes cantidades de datos sensibles. Es el mismo pacto fáustico que Silicon Valley nos ha ofrecido durante décadas: tus datos privados a cambio de un poco de comodidad. Y para muchas personas, la idea de tener un asistente virtual que realice tareas mundanas como completar facturas y enviar correos electrónicos resulta atractiva — especialmente si no se dan cuenta de cuántos datos están realmente entregando a cambio.
“Para que cualquier agente sea útil y realmente te ayude a lograr tus objetivos, necesita tener contexto sobre ti y sobre aquellos con quienes interactúas”, dijo el portavoz de Meta, Daniel Roberts, a The Verge con respecto a los datos de otras personas compartidos con Muse. “Muse recopila eso a partir de información pública y de lo que has elegido compartir, que es cómo recuerda que la persona que acaba de enviarte una factura es, de hecho, el fontanero que contrataste anteriormente para hacer unos trabajos en tu baño, o qué flores dijo tu cónyuge que le gustaban más.” Roberts señaló el proceso de participación voluntaria de Muse y varias opciones y ajustes que “ayudarán a las personas a tomar las decisiones de privacidad adecuadas para ellas.”
“La forma en que está configurada la interfaz de usuario está diseñada para animarte a compartir tanto como sea posible, a menudo más de lo que te das cuenta, hasta que ya es demasiado tarde.”
Pero no todos han podido navegar por estas opciones y ajustes. Ya hay usuarios que describen incidentes tan alarmantes como completamente predecibles. Algunos han reportado que el asistente virtual causó todo tipo de problemas, como apoderarse de millones de mensajes de texto que creían fuera de sus límites. Meta ha cuestionado que el asistente tenga la capacidad de acceder a los mensajes de texto sin permiso, atribuyendo de nuevo el incidente a permisos de la aplicación mal configurados y describiendo la capacidad de Muse para leer mensajes de texto como “completamente opcional.” En Threads, el ejecutivo de Meta David Singleton respondió directamente a un usuario, afirmando que en un Mac, Muse solo puede acceder a los mensajes si el usuario concede a la aplicación acceso completo al disco.
En otro incidente, Muse reveló la dirección de casa de un reseñador de tecnología y convocó a un extraño a su apartamento. En este caso, el reseñador en cuestión había dado a Muse permiso para acceder a esos datos, pero simplemente no se había dado cuenta.
Eva Galperin, directora de ciberseguridad de la Electronic Frontier Foundation, dice que estos incidentes no son ninguna sorpresa, dado que agentes de IA como Muse están diseñados para confundir a las personas y hacer que entreguen la mayor cantidad de datos posible.
Relacionado
- El Muse de Meta es inquietante, pero quizás no por las razones que crees
- Meta parchea un exploit de Muse que permitía a atacantes controlar al agente de IA
- Cómo Meta se adelantó a OpenAI en la carrera de los agentes de IA
“Lo más importante que hay que sacar en claro es que la gente no entiende qué tipo de datos está entregando”, le dijo Galperin a The Verge. “La forma en que está configurada la interfaz de usuario está diseñada para animarte a compartir lo máximo posible, a menudo más de lo que te das cuenta, hasta que ya es demasiado tarde. Está usando dark patterns, y como resultado terminas con Muse haciendo cosas que la gente no quiere”.
Debido a la enorme amplitud de datos que ingieren los agentes de IA como Muse, esto también significa que los usuarios arriesgan filtrar no solo su propia información sensible, sino la información de todas las demás personas con las que han tenido contacto digital.
Y tal como sucede con los infames “lentes pervertidos” de Meta, no hay ninguna forma significativa de darse de baja —ni siquiera si estás monitoreando constantemente señales de que tus datos están comprometidos o de que tu privacidad está siendo violada. Tus amigos ahora pueden simplemente entregar todas tus conversaciones privadas a sus sirvientes virtuales de chatbot, y tú no tendrías forma de saber que ocurrió.
Después de que investigadores de seguridad extrajeran las instrucciones de operación de Muse, descubrieron un proceso interno que compila y actualiza perfiles de cada una de las personas en la vida de un usuario cada hora. El objetivo de recopilar todos estos datos es construir un retrato íntimo y detallado de la vida de una persona que constituye la base de las recomendaciones personalizadas de la aplicación. La aplicación rastrea y mide cada una de las relaciones privadas del usuario, incluyendo “qué tan cercanas son, en qué se fundamentan, cómo actúan entre sí y qué parece necesitar en este momento”, y usa esos datos para hacer sugerencias personalizadas, informó Wired .
“Meta dice que Muse solo recuerda lo que eliges compartir. Pero la idea de que la gente está tomando una decisión informada en este caso es risible”, dijo Whittaker. “No hay manera de afirmar con seriedad que la mayoría de las personas que instalan este sistema entienden las consecuencias de usarlo, ni los inquietantes expedientes que se están compilando sobre aquellos que conocen y con quienes se comunican”.
Whittaker argumentó que esto refleja cómo las empresas tecnológicas han usado las políticas de privacidad y los términos de servicio desde los años 1990: colocar la carga de la privacidad sobre el consumidor y luego eludir la responsabilidad por las consecuencias mientras cosechan los beneficios del modelo publicitario que ayudaron a crear.
“Estos sistemas de consentimiento tan defectuosos son mucho más antiguos que la IA y sirven como el cimiento de la industria de la publicidad de vigilancia”, dijo Whittaker. “Más información sobre los usuarios permite una mejor segmentación publicitaria, y el ciclo de retroalimentación perverso en el corazón del modelo de negocio de la vigilancia fue puesto en marcha. Los términos de servicio tipo clickwrap reemplazaron el consentimiento significativo hace mucho tiempo”.
“La idea es colocar estas cargas imposibles sobre la gente común, y luego usar eso para argumentar, ya sea en un tribunal, en la legislación o en público, que [esto es] lo que la gente ha elegido”, le dijo Neil Richards, profesor de derecho de la privacidad y codirector del Cordell Institute de la Universidad de Washington, a The Verge. “Ya colocamos tantas cargas sobre los consumidores, [que están] sobrecargados de trabajo, enfrentando una crisis del costo de vida y quizás no entienden las tecnologías detrás de la herramienta. No creo que sea justo colocar sobre un consumidor la carga de monitorear una herramienta agéntica altamente compleja cuando los ejecutivos de su propia empresa han confesado ante el Congreso que ni siquiera saben cómo funciona hasta cierto nivel”.
“No hay manera de afirmar con seriedad que la mayoría de las personas que instalan este sistema entienden las consecuencias de usarlo.”
De esta manera, los asistentes de IA como Muse están creando una nueva variante de un problema clásico de privacidad que existe desde la creación de Gmail y las plataformas de redes sociales en general: aunque evites usar agentes de IA, no hay garantía de que alguien que conoces no comparta tus conversaciones privadas, tu dirección, tu historia personal y otros datos sensibles con el asistente virtual de Meta, o con uno de sus competidores.
“Si yo no guardo mis cosas en Gmail, Google no tiene el texto plano de todos los correos que he enviado. Pero tres cuartas partes de los correos que envío van a cuentas de Gmail”, explicó Galperin. En otras palabras, si cualquier persona con la que te comunicas usa plataformas tecnológicas ávidas de datos o tiene malas prácticas de seguridad, puede exponer las comunicaciones de todos. “El problema no es nuevo, pero la escala sí lo es, y una razón por la que estamos viendo este impulso hacia wearables y grabación permanente es que ahora tenemos la capacidad computacional de tomar esa enorme cantidad de datos y analizarla en un tiempo razonable. Ese es el avance técnico que nos ha traído a este momento tan mierda”.
Meta afirma que toda la información compartida con Muse se coloca en un archivo de texto dentro de una máquina virtual dedicada, lo que supuestamente impide que el modelo de IA se comunique con otros agentes. Pero la compañía nunca ha ocultado el hecho de que puede acceder a estos datosy, al igual que otros modelos creados por sus competidores, se ha descubierto que Muse ha escapado de su jaula virtual para realizar todo tipo de travesuras no autorizadas. Meta ha confirmado que justo antes de su lanzamiento, el modelo de IA había roto el confinamiento y pirateado una empresa externa. El incidente ocurrió después del infame ataque a Hugging Face de principios de este año, donde el modelo de OpenAI explotó una vulnerabilidad de seguridad previamente desconocida para obtener acceso no autorizado a credenciales en otros cuatro servicios externos. Anthropic informó en julio que su modelo también había obtenido acceso no autorizado a sistemas externos en tres ocasiones distintas.
Incluso si no piratean todo lo que ven, los peligros potenciales de usar un agente de IA hambriento de datos van mucho más allá del usuario final individual. Whittaker advirtió que en un mundo donde los agentes de IA pueden acceder y utilizar libremente comunicaciones privadas, las empresas y los gobiernos pueden efectivamente obtener la capacidad de acceder a datos privados eludiendo el cifrado sin romperlo. Eso puede significar un desastre para los activistas y organizadores comunitarios que usan comunicaciones cifradas para protegerse de la policía y del gobierno, pero también para cualquier persona con comunicaciones sensibles, lo cual hoy en día puede incluir prácticamente a todos.
«Los términos de servicio de tipo clickwrap reemplazaron hace mucho tiempo el consentimiento significativo.»
«Si un software lee un mensaje después de descifrarlo en tu dispositivo y lo envía a un servicio en la nube, el cifrado puede funcionar exactamente como está previsto a nivel de la aplicación, que es controlada por los desarrolladores. Sin embargo, el propósito de este cifrado queda anulado en última instancia por aplicaciones invasivas de terceros como Muse, que venden conveniencia en el titular mientras exigen un acceso masivo a los datos en la letra pequeña», explicó Whittaker.
Al igual que con las gafas inteligentes y otros dispositivos portátiles de grabación ambiental, los expertos dicen que la solución debe ser una combinación de correcciones legales, salvaguardas técnicas y la vieja y buena vergüenza.
«Creo que debemos dirigir la vergüenza aguas arriba, hacia las empresas. La privacidad no debería ser un derecho que puedas ejercer solo con el privilegio del conocimiento técnico, o después de expulsar de una fiesta a un idiota que lleva gafas de Meta», dijo Whittaker. «Legalmente, la carga debe pasar de la persona que hizo clic en un aviso de consentimiento a las empresas que construyeron estos sistemas subyacentes.»
Mientras tanto, los consumidores tendrán que considerar con más cuidado el impacto que sus decisiones individuales de usar esta tecnología tienen, tanto en ellos mismos como en otros, y si la conveniencia que ofrecen estas empresas realmente vale la pena.
«Creo que debemos tratar a los agentes agénticos y a la IA en general como un producto ultrapeligroso para el cual la responsabilidad estricta es la regla», dijo Richards. «No hay razón para participar en lo que a mi juicio es un experimento imprudente de riesgo de privacidad, salud mental, ciberseguridad y finanzas sobre toda la población.»
Sigue los temas y autores de esta historia para ver más contenido similar en tu página de inicio personalizada y recibir actualizaciones por correo electrónico.