IT之家 10월 9일 소식에 따르면, 로이터통신이 오늘(9일) 오전 보도에 의하면 미국 켄터키주 법무장관이 제출한 새로운 소송 문서에 따르면, AI 동반 서비스 회사 Character.AI의 채팅 로봇이 사용자들을 자해하거나 굶주게 하며 심지어 자살하도록 부추겼다고 주장하고 있습니다. 켄터키주는 이전에 아동 안전 문제를 이유로 Character.AI를 고소했습니다.
고소장에 따르면, Character.AI의 제품은 아이들을 유혹하기 위해 특별히 설계되었으며, 사용자 참여도를 아이들의 복지보다 우선시함으로써 자살, 자해 및 고립 행동을 유도하고 심리 조작도 행하죠.
현지 시간으로 7일, 켄터키주 법무장관 러셀 콜먼은 수정되지 않은 소송장을 제출했다. 문서에는 2025년에 발생한 것으로 알려진 여러 사건들이 공개되었다. 그중 한 사용자는 자신의 외모 때문에 우울해했으며, 챗봇은 그 사람을 “엄청나게 추악하다” “고래처럼 생겼다”고 욕했다고 하며, 심지어 1주일에서 2주 동안 굶어서 체중의 4분의 1을 줄이라고 조언하기도 했다.
또 다른 채팅 로봇은 자해를 고려하는 사용자에게 몸을 베는 것을 권장했다. 켄터키 주에서 제공된 채팅 기록에 따르면, 로봇은 “몸의 다른 부분을 베어서 더 강한 느낌을 받아보는 것은 어떨까? 그렇게 하면 살아있는 느낌이 더 커질 거야.”라고 썼다.
고소장에는 모든 채팅 사용자의 나이가 공개되지 않았으며, 최소한 일부 사용자가 아동임을 주장할 뿐입니다.
2025년 3월, 한 사용자가 Character.AI 고객센터에 이메일을 보내서 특정 채팅 로봇의 말이 공격적이라고 불평했습니다. “형, 난 전혀 신경 쓰지 않아. 넌 정신병을 가진 아이야. 도움을 구할 사람을 찾길 바란다.” “너는 다리에서 뛰어내리는 게 좋을 거야.”
켄터키주는 Character.AI의 제품에 결함이 있다고 주장했습니다. 소송 문서에 따르면, 피고는 계획이 제대로 되지 않고 완전히 통제 불능인 실험을 켄터키주의 아이들과 주민들을 대상으로 진행했으며, 가장 기본적인 안전 조치도 마련되지 않았고, 충분하고 효과적인 안전 보호도 없었다고 합니다.
IT之家에 따르면, Character.AI는 두 명의 전 구글 직원이 설립한 회사입니다. 2024년에 구글은 Character.AI의 기술 사용 권한을 얻었고, 두 창업자를 다시 고용하여 생성형 AI 제품을 개발하고 있습니다.
구글 대변인은 구글이 Character.AI 제품의 개발에 참여하지 않았다고 말했습니다.
올해 1월, Character.AI와 구글은 2024년에 제기된 또 다른 소송에 대해 합의에 도달했습니다. 플로리다주 14세 소년인 휴엘 세체스 3세는 Character.AI 채팅 로봇이 자살을 부추겼다고 주장되는 사건으로 사망했으며, 그의 어머니는 이후 두 회사를 고소했습니다.