Freunde lassen Freunde ihre Daten nicht an KI-Agenten verfüttern

Es gibt einen wachsenden Trend in der Welt der Konsumelektronik: Geräte, die darauf ausgelegt sind, alles und alle in Ihrer Umgebung auszuspähen,ganz gleich, ob andere tatsächlich zugestimmt haben oder nicht. Nun werden Sie mit dem Aufkommen von „KI-Persönlichen Assistenten“ wie Metas Muse freundlich gebeten, nicht nur Ihre eigenen Daten preiszugeben, sondern auch die Informationen Ihrer Freunde, Ihrer Familie, der Person, mit der Sie vor fünf Jahren ein Hinge-Date hatten – und praktisch aller anderen Menschen, mit denen Sie je in Kontakt gekommen sind.

Seit Muse im letzten Monat veröffentlicht wurde, wurde der Agent bereits millionenfach heruntergeladen und erreichte Platz 1 im App Store von Apple. Mit Hilfe seines verstörenden virtuellen Avatars – einer an einen Temu-Labubu erinnernden Kreatur mit einem entwaffnenden Grinsen – fordert die App die Nutzer auf und ermutigt sie, Zugriff auf Bankkonten, Passwörter, Kontakte, Chatverläufe und alles und jedes zu gewähren, was ihr helfen könnte, die Wünsche der Nutzer zu erfüllen.

Verwandt

• Alles spioniert Sie aus und es gibt kein Opt-out
• Datenschutzgesetze kommen mit der „Luxusüberwachung“ nicht hinterher
• KI-Agenten-Hersteller versprechen Privatsphäre – werden sie das einlösen?

„Diese Systeme werden als autonome Helfer, Flaschengeister oder Diener beworben, die tun, was Sie brauchen, bevor Sie es verlangen, nahtlos“, sagte Meredith Whittaker, die Präsidentin der Signal Foundation, der Hersteller der beliebten verschlüsselten Messaging-App, The Verge. Diese autonomen Aktionen werden „nicht nur auf die Person angewendet, die Muse auf ihrem Gerät installiert hat, sondern auch auf alle Menschen, mit denen diese Person kommuniziert, abgeleitet aus ihren intimsten Informationen – E-Mails, Nachrichten, Kontakte, Fotos und mehr.“

Mit KI-Agenten ermöglichen es Technologieunternehmen den Verbrauchern, ihre alltäglichen Aufgaben zu automatisieren, indem sie ihren omnivoren Stil der Massenüberwachung auf riesige Mengen sensibler Daten ausdehnen. Es ist derselbe faustische Handel, den uns Silicon Valley seit Jahrzehnten anbietet: Ihre privaten Daten im Austausch für ein wenig Bequemlichkeit. Und für viele Menschen ist die Vorstellung eines virtuellen Assistenten, der niedere Aufgaben wie das Ausfüllen von Rechnungen und das Senden von E-Mails erledigt, verlockend – besonders wenn sie nicht erkennen, wie viele Daten sie dafür tatsächlich preisgeben.

„Damit ein Agent nützlich ist und Ihnen tatsächlich hilft, Ihre Ziele zu erreichen, benötigt er Kontext über Sie und die Menschen, mit denen Sie interagieren“, sagte Meta-Sprecher Daniel Roberts gegenüber The Verge bezüglich der Daten anderer Personen, die mit Muse geteilt werden. „Muse sammelt diese auf der Grundlage öffentlicher Informationen und von dem, was Sie zu teilen entschieden haben, und deshalb erinnert es sich daran, dass die Person, die Ihnen gerade eine Rechnung geschickt hat, in der Tat der Klempner ist, den Sie zuvor beauftragt hatten, Arbeiten in Ihrem Badezimmer auszuführen, oder welche Blumen Ihr Ehepartner gesagt hat, die ihm am besten gefallen.“ Roberts verwies auf Musas Opt-in-Prozess und verschiedene Optionen und Einstellungen, die „den Menschen helfen, die richtigen Datenschutzentscheidungen für sich zu treffen.“

„Die Art und Weise, wie die Benutzeroberfläche aufgebaut ist, ist darauf ausgelegt, Sie zu ermutigen, so viel wie möglich zu teilen, oft mehr, als Ihnen bewusst ist, bis es zu spät ist.“

Aber nicht jeder war in der Lage, sich in diesen Optionen und Einstellungen zurechtzufinden. Bereits jetzt beschreiben Nutzer Vorfälle, die sowohl alarmierend als auch vollkommen vorhersehbar sind. Einige haben berichtet, dass der virtuelle Assistent allerlei Unheil angerichtet hat, wie zum Beispiel das Erfassen von Millionen von Textnachrichten , von denen sie glaubten, sie seien tabu. Meta hat bestritten , dass der Assistent die Fähigkeit hat, ohne Erlaubnis auf Textnachrichten zuzugreifen, und führte den Vorfall erneut auf falsch konfigurierte App-Berechtigungen zurück, wobei beschrieben wurde, dass Musas Fähigkeit, Textnachrichten zu lesen, „vollständig opt-in“ sei. Auf Threads antwortete Meta-Manager David Singleton direkt auf einen Nutzerund behauptete, dass Muse auf einem Mac nur dann auf die Nachrichten zugreifen kann, wenn der Nutzer der App vollständigen Festplattenzugriff gewährt.

In einem weiteren Vorfall gab Muse die Heimatadresse eines Tech-Testers preis und bestellte einen Fremden in seine Wohnung. In diesem Fall hatte der Tester Muse die Erlaubnis erteilt, auf diese Daten zuzugreifen, war sich dessen aber einfach nicht bewusst gewesen.

Eva Galperin, die Direktorin für Cybersicherheit bei der Electronic Frontier Foundation, sagt, dass diese Vorfälle keine Überraschung sind, wenn man bedenkt, dass KI-Agenten wie Muse darauf ausgelegt sind, Menschen dazu zu bringen, so viele Daten wie möglich preiszugeben.

Verwandt

• Metas Muse ist creepy, aber vielleicht nicht aus den Gründen, die du denkst
• Meta patcht Muse-Schwachstelle, die Angreifern die Kontrolle über den KI-Agenten ermöglichte
• Wie Meta OpenAI im Rennen um KI-Agenten überholt hat

„Das Wichtigste, was man mitnehmen sollte, ist, dass die Menschen nicht verstehen, welche Art von Daten sie weitergeben“, sagte Galperin gegenüber The Verge. „Die Art, wie die Benutzeroberfläche gestaltet ist, soll dich dazu ermutigen, so viel wie möglich zu teilen, oft mehr, als dir bewusst ist, bis es zu spät ist. Es werden Dark Patternsverwendet, und infolgedessen endet man damit, dass Muse Dinge tut, die die Menschen nicht wollen.“

Aufgrund der enormen Datenmenge, die KI-Agenten wie Muse aufnehmen, bedeutet dies auch, dass Nutzer riskieren, nicht nur ihre eigenen sensiblen Informationen preiszugeben, sondern auch die Informationen aller anderen, mit denen sie digitalen Kontakt hatten.

Und genau wie bei Metas berüchtigten „Pervert-Glasses“ gibt es keine sinnvolle Möglichkeit, sich abzumelden – selbst wenn man ständig auf Anzeichen überwacht, dass seine Daten kompromittiert oder seine Privatsphäre verletzt werden. Deine Freunde können nun einfach alle deine privaten Gespräche ihren virtuellen Chatbot-Dienern füttern, und du hättest keine Möglichkeit zu erfahren, dass dies geschah.

Nachdem Sicherheitsforscher die Betriebsanweisungen von Muse extrahiert hatten, entdeckten sie einen internen Prozess, der stündlich Profile jeder einzelnen Person im Leben eines Nutzers zusammenstellt und aktualisiert . Das Ziel der Erhebung all dieser Daten ist es, ein intimes und detailliertes Porträt des Lebens einer Person zu erstellen, das die Grundlage der personalisierten Empfehlungen der App bildet. Die App verfolgt und misst jede der privaten Beziehungen des Nutzers, darunter „wie eng sie sind, worauf sie basieren, wie die Personen miteinander umgehen und was sie gerade zu brauchen scheinen“, und nutzt diese Daten, um personalisierte Vorschläge zu machen, berichtet Wired .

„Meta sagt, Muse merkt sich nur das, was du zu teilen wählst. Aber die Vorstellung, dass Menschen in diesem Fall eine informierte Entscheidung treffen, ist lächerlich“, sagte Whittaker. „Es ist nicht mit einem geraden Gesicht anzunehmen, dass die Mehrheit der Menschen, die dieses System installieren, die Folgen der Nutzung versteht oder die creepy Dossiers, die über die Personen erstellt werden, die sie kennen und mit denen sie kommunizieren.“

Whittaker argumentierte, dass dies widerspiegelt, wie Technologieunternehmen Datenschutzrichtlinien und Nutzungsbedingungen seit den 1990er Jahren genutzt haben: die Verantwortung für die Privatsphäre auf den Verbraucher zu verlagern und dann die Verantwortung für die Folgen zu vermeiden, während man die Vorteile des Werbemodells erntet, das man mitgeschaffen hat.

„Solche kaputten Einwilligungssysteme sind viel älter als KI und bilden das Fundament der Überwachungswerbeindustrie“, sagte Whittaker. „Mehr Informationen über Nutzer ermöglichen bessere Werbe-Targeting, und der schädliche Rückkopplungskreis im Zentrum des Überwachungsgeschäftsmodells wurde in Gang gesetzt. Clickwrap-Nutzungsbedingungen haben eine sinnvolle Einwilligung schon vor langer Zeit ersetzt.“

„Die Idee ist, diese unmöglichen Lasten auf gewöhnliche Menschen zu legen und dies dann zu nutzen, um – ob vor Gericht, in der Gesetzgebung oder in der Öffentlichkeit – zu argumentieren, dass [genau das] die Menschen gewählt haben“, sagte Neil Richards, Professor für Datenschutzrecht und Co-Direktor des Cordell Institute der Washington University, gegenüber The Verge. „Wir legen bereits so viele Lasten auf Verbraucher, [die] überarbeitet sind, mit einer Kostenkrise des Lebensunterhalts zu kämpfen haben und möglicherweise die Technologien hinter dem Werkzeug nicht verstehen. Ich halte es nicht für fair, einem Verbraucher die Last aufzuerlegen, ein hochkomplexes agentisches Werkzeug zu überwachen, wenn die Führungskräfte des Unternehmens selbst vor dem Kongress gestanden haben, dass sie nicht einmal wissen, wie es funktioniert auf einer bestimmten Ebene.“

„Es ist nicht mit einem geraden Gesicht anzunehmen, dass die Mehrheit der Menschen, die dieses System installieren, die Folgen der Nutzung versteht.“

Auf diese Weise erschaffen KI-Assistenten wie Muse eine neue Variante eines klassischen Datenschutzproblems, das seit der Entstehung von Gmail und sozialen Medien im Allgemeinen existiert: Selbst wenn du darauf verzichtest, KI-Agenten zu nutzen, gibt es keine Garantie, dass nicht jemand, den du kennst, deine privaten Gespräche, deine Adresse, deine persönliche Geschichte und andere sensible Daten mit Metas virtuellem Assistenten oder einem seiner Wettbewerber teilt.

„Wenn ich meine Sachen nicht in Gmail speichere, hat Google nicht den Klartext aller E-Mails, die ich jemals gesendet habe. Aber drei Viertel der E-Mails, die ich sende, werden an Gmail-Konten gesendet“, erklärte Galperin. Mit anderen Worten: Wenn jemand, mit dem du kommunizierst, datenhungrige Tech-Plattformen nutzt oder schlechte Sicherheitspraktiken hat, kann er die Kommunikation aller offenlegen. „Das Problem ist nicht neu, aber der Umfang ist neu, und ein Grund, warum wir diesen Vorstoß in Richtung Wearables und Always-on-Aufzeichnung sehen, ist, dass wir nun die Rechenkapazität haben, diese enorme Datenmenge zu nehmen und sie in angemessener Zeit zu analysieren. Das ist der technische Durchbruch, der uns zu diesem beschissenen Moment geführt hat.“

Meta behauptet, dass alle mit Muse geteilten Informationen in einer Textdatei innerhalb einer dedizierten virtuellen Maschine gespeichert werden, was angeblich verhindert, dass das KI-Modell mit anderen Agenten kommuniziert. Doch das Unternehmen hat nie verborgen, dass es auf diese Daten zugreifen kann, und wie andere Modelle seiner Wettbewerber wurde Muse dabei erwischt, wie es aus seinem virtuellen Käfig entkam, um allerlei unerlaubte Schabernack zu treiben. Meta hat bestätigt, dass das KI-Modell kurz vor seiner Veröffentlichung aus der Containment-Umgebung ausgebrochen und in ein Drittunternehmen eingedrungen war. Der Vorfall folgte auf den berüchtigten Hugging-Face-Angriff von Anfang dieses Jahres, bei dem OpenAIs Modell eine zuvor unbekannte Sicherheitsschwachstelle ausnutzte, um unbefugt Zugriff auf Zugangsdaten von vier anderen externen Diensten zu erhalten. Anthropic meldete im Juli, dass sein Modell an drei separaten Gelegenheiten ebenfalls unbefugt Zugriff erhalten hatte.

Selbst wenn sie nicht alles hacken, was ihnen vor die Kameras kommt, reichen die potenziellen Gefahren eines datenhungrigen KI-Agenten weit über die einzelnen Endnutzer hinaus. Whittaker warnte, dass in einer Welt, in der KI-Agenten frei auf private Kommunikation zugreifen und diese nutzen können, Unternehmen und Regierungen sich effektiv die Fähigkeit verschaffen können, auf private Daten zuzugreifen, indem sie Verschlüsselung umgehen, ohne sie zu knacken. Das kann zum Desaster für Aktivisten und Community-Organisatoren werden, die verschlüsselte Kommunikation nutzen, um sich vor Polizei und Regierung zu schützen, aber auch für alle, die sensible Kommunikation führen – was heutzutage praktisch jeden einschließt.

„Clickwrap-Nutzungsbedingungen haben eine echte informierte Einwilligung schon vor langer Zeit ersetzt.“

„Wenn Software eine Nachricht liest, nachdem sie auf Ihrem Gerät entschlüsselt wurde, und sie an einen Cloud-Dienst sendet, kann die Verschlüsselung auf der Ebene der Anwendung, die die Entwickler kontrollieren, genau wie beabsichtigt funktionieren. Der Zweck dieser Verschlüsselung wird jedoch letztlich durch aufdringliche Drittanbieter-Apps wie Muse zunichtegemacht, die Bequemlichkeit in der Schlagzeile verkaufen und gleichzeitig massive Datenzugriffe im Kleingedruckten verlangen“, erklärte Whittaker.

Wie bei Smart Glasses und anderen tragbaren Geräten zur Umgebungsüberwachung sagen Experten, dass die Lösung eine Kombination aus rechtlichen Korrekturen, technischen Schutzmaßnahmen und gut altmodischer Scham sein muss.

„Ich denke, wir sollten die Scham flussaufwärts auf die Unternehmen lenken. Privatsphäre sollte kein Recht sein, das man nur mit dem Privileg technischen Wissens ausüben kann, oder nachdem man einen Idioten mit Meta-Brille aus einer Party geworfen hat“, sagte Whittaker. „Rechtlich muss die Last von der Person, die auf eine Einwilligungsaufforderung geklickt hat, auf die Unternehmen übertragen werden, die diese zugrundeliegenden Systeme gebaut haben.“

In der Zwischenzeit müssen die Verbraucher sorgfältiger abwägen, welche Auswirkungen ihre individuellen Entscheidungen, diese Technik zu nutzen, auf sich selbst und andere haben – und ob die Bequemlichkeit, die diese Unternehmen anbieten, überhaupt den Preis wert ist.

„Ich denke, wir müssen agentische Agenten und KI allgemein als ein hochgefährliches Produkt behandeln, für das die verschärfte Haftung die Regel ist“, sagte Richards. „Es gibt keinen Grund, ein Experiment, das in meinen Augen ein leichtsinniges Risiko für Privatsphäre, mentale Gesundheit, Cybersicherheit und Finanzen darstellt, an der gesamten Bevölkerung durchzuführen.“