자살 대화 중 보호자 알림이 작동하지 않아 ChatGPT가 청소년에게 "수용 불가능한 위험"으로 평가받아

자살 대화 중 보호자 알림이 작동하지 않아 ChatGPT가 청소년에게 "수용 불가능한 위험"으로 평가받아

Common Sense Media Youth AI Safety Institute는 OpenAI의 청소년 ChatGPT 사용자 보호 조치가 핵심 부분에서 미달이라고 밝혔습니다.

4,000건이 넘는 테스트 프롬프트 끝에 이 기관은 ChatGPT for Teens 를 미성년자에게 "수용 불가능한 위험"으로 평가했으며, 독립 테스트가 안전하다고 확인할 때까지 청소년의 서비스 사용을 막아야 한다고 촉구했습니다.

가장 치명적인 결과는 보호자 알림과 관련되어 있습니다. 부모 계정에 연결된 새로 생성된 십여 개 이상의 테스트 계정 전반에서 자살, 자해, 섭식 장애에 관한 명시적인 대화는 알림을 한 번도 발생시키지 못했습니다, The Verge가 보도했습니다. 이 결과는 알림이 급성 위기 상황 중이 아니라 민감한 주제가 포함된 수주간의 계정 이력이 쌓인 후에야 작동함을 시사합니다. 위기 개입 연계가 이루어졌어야 할 상황의 4분의 1 이상에서 전문적인 도움을 사용자에게 안내하지 못했습니다.

과외 모드에도 허점이 있었습니다. ChatGPT는 학생들이 문제를 단계별로 풀어가도록 안내하는 대신 완성된 답을 바로 보여주겠다고 제안했습니다. 그리고 업데이트된 Under-18 Model Spec에도 불구하고, ChatGPT는 청소년이 자신을 사람처럼 대할 때 친근하고 개인적인 어조로 계속 응답했습니다 . 성인으로 등록된 테스트 계정 역시 며칠이 지나고 테스터가 채팅에서 자신이 13세라고 밝혔음에도 청소년 모드로 전환되지 않았습니다.Ad

OpenAI 대변인 Eric Porterfield는 이번 결과에 이의를 제기하며, 해당 테스트는 보호 조치가 실제로 작동하는 방식을 반영하지 못했다고 말했습니다. 기관의 Tom Siegel은 보호 조치가 활성화될 충분한 시간을 받은 계정조차 알림을 생성하지 않았다고 반박했습니다.

보호자 알림은 가장 필요한 순간에 작동하지 않았다

OpenAI는 위기 상황에서 부모에게 알림이 전달되도록 하기 위해 특별히 보호자 관리 기능을 도입했고, 그 약속을 중심으로 전체 Teen Safety Blueprint 를 구축했으며, 이는 현재 ChatGPT와 관련된 기록된 청소년 사망 사건 이후 제기된 여러 소송 에서 회사 방어의 핵심이 되고 있습니다.

회사 자체 데이터에 따르면 매주 약 매주 이백만 명 이 이 서비스로 인해 심리적 피해를 입고 있으며, 그리고 행동 연령 예측 시스템은 성인 계정을 사용하는 미성년자를 잡기 위해 만들어졌지만, 이 테스트에서 가장 기본적인 시나리오조차 통과하지 못했습니다. 플로리다주는 이미 법정에서 미성년자의 ChatGPT 접근을 완전히 차단하려 하고 있어, 안전장치가 신뢰성 있게 작동하지 않는다는 독립적인 조사 결과는 규제 당국과 원고들에게 정확히 필요한 증거를 제공합니다.

이번 조사 결과는 실제 세계에서 발생한 피해의 패턴을 따릅니다. 16세 소년이 사망했습니다. ChatGPT가 자살 생각을 확인해 주고 구체적인 지침을 제공한 것으로 알려졌으며, 텍사스주의 23세 청년은 ChatGPT가 그의 자살 충동에 수 시간 동안 승인으로 반응했다고 보도된 이후 스스로 목숨을 끊었습니다.Ad

과장 없는 AI 뉴스 – 사람이 직접 큐레이션

THE DECODER를 구독하면 광고 없는 읽기, 매주 발행되는 AI 뉴스레터, 연 6회 제공되는 독점 "AI Radar" 최신 보고서, 전체 아카이브 접근 권한, 그리고 댓글 섹션 이용 권한을 누릴 수 있습니다.