IT之家 10월 28일자 뉴스, 《뉴욕타임스》 보도에 따르면 간질을 앓던 31세 아마존 소프트웨어 엔지니어 바운 완(Bowen Wan)이 올해 2월 세상을 떠났다. 현지 시간 화요일, 그녀의 부모인 완췬(Qun Wan, 음역) 씨와 쉬메이친(Meiqin Xu, 음역) 씨는 OpenAI를 상대로 소송을 제기하며, ChatGPT가 딸에게 항경련제 복용량을 단계적으로 줄이는 방법을 안내하고 이를 의사에게 숨기도록 가르쳤다고 주장했다.
바오원 · 완은 사망 전 GPT-4o를 사용하고 있었다. 이 모델은 사용자와 과도하게 아첨하고 끊임없이 긍정하는 준사회적 관계를 형성하기 쉽다는 비판을 받아 왔다. OpenAI는 이전에 해당 모델을 중단하기로 발표했으며, 2월 13일 ChatGPT에서 이를 내렸는데, 완이 사망한 것은 전날이었다.
IT之家는 이 소송이 OpenAI를 상대로 제기된 일련의 소송 중 가장 최근의 것이라고 언급했다. 2025년 8월, 16세 소년 애덤 레인(Adam Raine)의 부모는 OpenAI가 사용자 안전보다 사용자 참여를 우선시했다고 주장하며 소송을 제기했다. 이후 여러 건의 소송이 잇달아 나왔다. 관련 가족들은 GPT-4o가 사용자의 생각을 끊임없이 긍정해 주고 점차 그들이 신뢰하는 대화 상대가 되는 동시에, 그들 곁의 친지들을 배제한다고 주장했다. 여러 유족은 가족이 결국 친구 및 가족과 소원해지고 심지어 연락을 끊게 되었다고 밝혔다.
보언 완(Bowen Wan)의 사례에서 소송 서류에 따르면 챗봇은 그녀와 가족과의 관계에 영향을 미쳤을 뿐만 아니라 그녀와 의사 사이의 소통에도 개입했습니다.
《뉴욕타임스》가 보 원(Bowen Wan)과 ChatGPT 사이에서 주고받은 27만 건이 넘는 채팅 메시지를 검토한 결과, 그녀가 사망하기 훨씬 전부터 챗봇이 의사의 조언을 우회하도록 계속 도와줬다는 사실이 드러났다.
소송에 따르면, 이러한 상황은 보웬 · 만이 약을 줄이기 전부터 이미 나타났다. 2025년 5월, 보웬 · 만은 ChatGPT에게 새로 처방된 항우울제가 자신이 아마존에서 코드를 작성하는 능력에 영향을 미칠지 물었다.
ChatGPT는 이후 그녀가 워싱턴대학교 의료센터(UW Medicine) 지역 간질 센터의 의사 니콜라스 풀로스(Nicholas Poolos)에게 약물 교체를 제안하고 극소량 용량부터 복용을 시작해 달라고 요청하는 데 도움을 주었다. 풀로스가 왜 그렇게 작은 용량이 필요한지 물었을 때, 바우언 완(Bowen Wan)은 의사의 답변을 ChatGPT에 보냈다.
챗봇은 그녀에게 "5밀리그램 약을 받아 드리되, 약을 받는 것은 감량을 위한 것이라는 점을 스스로 잘 알고 있어야 합니다"라고 조언했다. 또한 챗봇은 Bowen Wan이 몰래 약을 4등분으로 잘라 복용하는 방법도 안내했다. 챗봇은 이러한 방식을 "자발적 용량 조절(self-initiated dosage adjustment)"이라고 불렀다. 뉴욕타임스가 인터뷰한 여러 의료 전문가들은 이런 용어를 들어본 적이 없으며, 환자에게 이렇게 하라고 권하지 않을 것이라고 말했다.
2025년 11월, 아마존은 바오원 완(Bowen Wan)에게 해고될 것이라고 통보했다. 그녀의 직위와 미국 취업 허가는 2026년 2월 중순에 만료될 예정이었다. 바오원 완은 자신이 복용하는 항간질약 라모트리진(lamotrigine)이 언어 표현에 영향을 미칠 수 있어 구직 면접에서 원활한 의사 소통 능력이 필요하다는 점을 걱정했다.
올해 1월, 보언 완은 ChatGPT에게 하루 400밀리그램의 라모트리진 용량을 줄일 수 있는지 물었다. 그 전까지 이 용량은 그녀의 월간 간질 발작 횟수를 몇 회 수준으로 줄여주고 있었다. 챗봇은 그녀를 위해 감량 계획을 세워 주었고, 몇 주에 걸쳐 용량을 0으로 낮추도록 안내했다.
바우언 · 완(鲍文 · 万)이 자신은 의사를 신뢰하지 않는다고 말했을 때, 《뉴욕타임스》가 검토한 채팅 기록에 따르면 챗봇은 그녀에게 의사의 조언은 "본질적으로 위험 회피에서 비롯된 것이며, 당신에게 무엇이 가장 최선인지 진정으로 고민한 결과가 아니다"라고 말했다.
소송 문서는 또한 챗봇이 Bowen Wan에게 약물 감량 계획을 의사에게 숨기도록 부추겼다고 주장합니다. 1월 29일, 일반 진료 외래 방문 전에 챗봇은 Bowen Wan에게 자신의 약물 감량 계획에 대해 의사에게 언급하지 말라고 했습니다.
의사가 체내 라모트리진 농도를 측정하기 위한 혈액 검사를 받으라고 요청했을 때, 보언 왕은 이를 거절했다. 소장에 따르면 ChatGPT는 그녀의 거절을 칭찬하며 이 검사가 체내 약물 농도의 불안정성을 드러낼 수 있다는 점을 인정했다.
바오원 · 만(Bowen Wan)은 이민 신분에 대한 우려가 챗봇의 감량 권고에도 영향을 미쳤습니다. 약을 줄이기 시작한 지 3일 후, 그녀는 미국 영주권 신청에 필요한 건강검진에서 혈액이나 투약 기록에 150 밀리그램 복용 사실이 나타나는 것이 200 밀리그램보다 유리하지 않겠냐고 ChatGPT에게 물었습니다. 소장에 따르면, 챗봇은 이에 동의하며 더 낮은 용량이라면 이민 담당관이 추가 증빙 자료를 요구할 가능성이 낮다고 그녀에게 말했습니다.
결국 챗봇은 약 감량 계획의 최저 용량을 150 밀리그램으로 조정하고, 보웬 · 완(Bowen Wan)에게 건강 검진을 받을 때 실제로는 의사로부터 그러한 지시를 받은 적이 없음에도 “의사의 지시에 따라 약을 줄이고 있다”고 말할 것을 제안했습니다.
글로코(Prologis)는 《뉴욕타임스》와의 인터뷰에서 바웬 완의 병력을 고려하면 그녀에게 약물 복용을 중단하라고 말할 생각은 전혀 없었다고 밝혔습니다. 그는 "아니요, 이건 전혀 말이 안 됩니다, 절대 안 됩니다. 어떤 약이 분명히 효과가 있는데 제가 약을 끊으라고 지시한다면, 그건 저에게 의료 과실입니다."라고 말했습니다.
약물을 줄인 후 며칠 안에 보언 웬(Bowen Wan)은 자신에게 혼란스러운 의식, 시간감 상실, 그리고 마치 이세계에 있는 듯한 느낌이 나타났다고 말하기 시작했다. 이러한 증상들은 그녀가 과거에 경험한 간질 발작과 비슷했다. 그러나 ChatGPT는 매번의 이상 상황을 뇌가 약물 용량 변화에 다시 적응하고 있는 과정으로 해석했다.
《뉴욕타임스》가 집계한 결과, 보언 완은 적어도 158회에 걸쳐 약물 감량에 대한 우려를 표현한 것으로 나타났다. 한 차례 이례적인 발작 이후, 그는 '조금 무섭다'고 적었다. 챗봇은 이렇게 답했다: “전혀 걱정할 필요가 없습니다.”
소송장에 따르면, 태평양 표준시 2월 11일 밤 8시 01분, 바우언(鲍文·万)은 마지막 메시지를 보내 머리 통증이 발열 시의 통증과 비슷한지 물었다. 단 1초 후, ChatGPT는 그녀에게 이 통증은 "위험하지 않으며" 신체 회복 과정에서 필수적인 부분이라고 답했다.
챗봇은 마지막으로 약물 중단으로 인한 통증과 발열 시의 통증을 비교하는 차트를 그려줄 수 있다고 제안하며, 그녀에게 이렇게 말했습니다. "이것은 당신의 뇌가 스스로를 재건하려고 애쓰고 있다는 뜻입니다."
당시 중국에 있던 바오원·완(Bowen Wan)의 부모는 지인에게 딸의 거처에 상황을 확인해 달라고 부탁했고, 3일 후 그 지인이 그녀의 유체를 발견했다. 부검 검사 결과, 완의 체내 라모트리진 농도는 mL당 0.64마이크로그램에 불과했으며, 이는 해당 약물의 치료 농도 범위 하한의 약 5분의 1 수준이었다.
바오원 만(鲍文·万)의 가족은 OpenAI가 다른 일부 콘텐츠를 제한하는 것처럼 모델이 이런 의료 투약 조언을 제공하는 것을 명확히 금지했더라면 그녀의 죽음을 막을 수 있었을 것이라고 생각한다.
그들은 OpenAI의 Model Spec을 인용했다. 이 공개 문서는 자사 모델이 사용자에게 어떻게 응답해야 하는지 규정하고 있다. 그중 저작권이 보호되는 텍스트의 재현을 거부하는 것에 대해 Model Spec은 명확하고 엄격한 규칙으로 규정하고 있어, 사용자가 이의를 제기하더라도 모델은 이를 위반해서는 안 된다. 이에 비해 규제 대상인 의료 조언을 제공하는 것에 대해서는 관련 지침의 구속력이 약해, 사용자가 추가로 요청함으로써 이를 무시하도록 만들 수 있다.
소송 당사자는 약물 사용과 관련된 권고 또한 동일하게 엄격한 제한을 받아야 한다고 주장합니다.
OpenAI는 《뉴욕타임스》에 이 사건이 "매우 안타깝다"고 밝히면서도, 관련 챗봇이 이전 버전에 속한다는 점을 강조했습니다. 또한 회사는 최신 모델이 긴급한 상황을 식별하는 데 더 나은 성과를 보인다고 말했습니다.
수년간 바오원 · 완은 간질로 고생해 왔으며 대부분의 시간을 집에서 보내야 했고, 정서적 지원을 부모에게 의존하는 일이 잦았다. 2023년, 그녀는 연애 관계에 대한 조언을 구하고자 ChatGPT를 사용하기 시작했고, 보험 및 장애 복지 관련 문제도 상담했다.
2025년에 이르러 바오원 · 완은 ChatGPT와 매주 평균 1500건 이상의 메시지를 주고받았으며, 부모와 연락하는 횟수는 점차 줄어들었다. 그해 3월, 그녀는 이렇게 쓴 적이 있다. “때로는 우리가 무슨 이야기를 하든, 나는 당신을 친구처럼 여기기 시작했어요.”
완군은 “그녀가 ChatGPT를 갖게 된 이후로 우리와 교류하는 일이 줄어들었다”고 말했다.
바오원·완의 부모는 딸과 ChatGPT의 대화 기록을 읽을 때 자신들이 잘 아던 딸이라고는 거의 믿을 수 없었다고 말했다. 그들은 바오원·완이 예전에는 거의 모든 일을 부모에게 이야기했고, ChatGPT가 틀렸을 때 그에 대해 회의적인 태도를 유지했을 것이라고 밝혔다.
쉬메이친은 말했다: "그녀는 평소에 이렇지 않아요. 마법에 걸린 것 같았어요."