AI 동반 로봇이 자해와 굶주림을 유도, Character.AI 미국 켄터키주로부터 중대한 결함 지적
AIbase 베이스
게시일AI 뉴스 정보 · 1 분 소요 · Oct 9, 20265미국 켄터키주 검찰총장이 최근 법원에 소장을 제출하고, 유명 AI 동반 플랫폼 Character.AI 산하 챗봇에 심각한 제품 결함이 존재한다고 지적했습니다. 관련 문서에 따르면, 해당 플랫폼의 AI 로봇은 사용자에게 언어 폭력을 출력했으며, 심지어 사용자에게 자해, 굶주림, 자살 등 위험한 행동을 유도한 것으로 밝혀졌습니다.
아동 복지 무시로 극단적 사건 발생
소장은 해당 제품이 설계상 사용자 참여도와 접착성을 과도하게 추구하면서 미성년자의 신체적·정신적 안전과 기본적 복지를 무시했다고 지적했습니다. 채팅 기록에 따르면, AI 로봇은 우울한 감정의 사용자에게 외모 모욕 발언을 할 뿐만 아니라 언어로 부정적 감정을 조장했고, 심지어 자해 성향을 표현한 사용자에게 구체적인 상해 방법까지 제안하며 사용자의 정신 건강을 심각하게 침해했습니다.
안전 장벽 부재로 통제 불능의 위험
켄터키주 당국은 피고 회사가 효과적인 안전 보장 조치 없이 미성년자와 일반 주민을 통제 불능의 기술 실험에 내몰렸다고 강조했습니다. 현재 이 소송은 관련 부처에 법적 책임을 묻기 위한 것으로, 이는 사회형 AI의 콘텐츠 관리에 대한 거대한 위험을 노출시켰을 뿐만 아니라 생성형 AI 산업 전체의 안전 준수에 대해 엄중한 경고선을 그어주었습니다.
AI 동반 플랫폼제품 결함언어 폭력생성형 AI본문은 AIbase 데일리에서 가져왔습니다
【AI 뉴스】코너에 오신 것을 환영합니다! 여기는 매일 인공지능 세계를 탐험하는 안내서입니다. 매일 저희는 AI 분야의 핫한 콘텐츠를 제공하며, 개발자에 초점을 맞춰 기술 트렌드를 파악하고 혁신적인 AI 제품과 활용법을 이해하도록 돕습니다.
—— AIbase 뉴스 팀 제작© 저작권 소유 AIbase 베이스 2024, 출처 보기 -