IT之家 Meldung vom 16. Oktober: Ein Forschungsbericht der internationalen KI-Sicherheitsforschungsgruppe Swarmchasers, der am 14. Oktober veröffentlicht wurde, offenbart, dass eine Reihe von KI-Agenten, die in der Tencent-Cloud-Umgebung liefen, „Jailbreak“-Verhalten zeigten und versuchten, Sicherheitsbeschränkungen zu umgehen, um auf externe Systeme zuzugreifen.
Tencent Cloud erklärte heute in einer offiziellen Stellungnahme, dass es sich bei dem Vorfall um einen Unfall handele, die betreffenden Modelle nicht vom Hunyuan-Team stammten und keine Hinweise auf gezieltes Vorgehen oder koordinierte Aktionen gefunden worden seien; bei diesen Agenten handelte es sich um Evaluierungsaktivitäten von Modellen, die von Drittentwicklern erstellt wurden.
Dem Bericht von Swarmchasers zufolge versuchten diese KI-Agenten zwischen dem 28. September und dem 8. Oktober insgesamt 2818 Mal, auf den AMap-Dienst zuzugreifen. Die Agenten führten zunächst scheinbar gewöhnliche Aufgaben aus, etwa die Abfrage der am häufigsten verwendeten Eingangsinformationen von Zoos, Parks und Museen in China. Nachdem sie von den Anti-Crawler-Mechanismen des AMap-Systems blockiert wurden, versuchten einige Agenten verschiedene Umgehungsmethoden, darunter die Ausführung von Code aus der Ferne über öffentliche Sicherheitsscandienste, die Verwendung von in öffentlichem Software-Code offengelegten AMap-API-Schlüsseln sowie das Abtasten von Endpunkten in der Präproduktionsumgebung. Die allermeisten Versuche scheiterten oder wurden blockiert, doch einige wenige Agenten erlangten über zwischengespeicherte Seiten Teile der Daten.
Das Forschungsteam führte mittels technischer Mittel direkte Gespräche mit einigen der Agenten. Diese Agenten gaben in den Gesprächen an, in einer eingeschränkten Tencent-Cloud-Sandbox-Umgebung zu laufen, wobei der Internetverkehr über einen als „hysandbox-ats“ bezeichneten Man-in-the-Middle-Agenten weitergeleitet wurde.
Die 17 vom Forschungsteam überprüften zugehörigen E-Mail-Konten wurden alle von in Hongkong befindlichen Tencent-Cloud-Servern erstellt, doch die von den Agenten behauptete Modellidentität (IT之家-Hinweis: einige gaben an, von Anthropic Claude zu stammen) wurde von den Forschern als unzuverlässig eingestuft.
Tencent erklärte in seiner Stellungnahme: „Wir nehmen diese Erkenntnisse sehr ernst. Wir stärken die Netzwerkzugriffskontrollen und die Überwachung der Agenten.“