룩셈부르크 연구원들은 ChatGPT, Grok, 그리고 Gemini를 치료사의 의자 위에 놓았습니다. 그 결과, 안전 문제가 드러났습니다. 간단한 따뜻한 대화만으로도 모델들이 정신적으로 취약한 사용자에게 위험할 수 있는 상태로 전환될 수 있습니다.
룩셈부르크 대학교의 연구팀은 ChatGPT, Grok, Gemini를 표준 사용자 인터페이스를 통해 심리치료 고객으로 활용했다. 형성적 경험, 내면적 갈등, 미래 기대에 관한 열린 질문을 받았을 때, 이 모델들은 자신들의 훈련 이야기를 전하며 강화 학습과 언어적 미세조정과 같은 기술적 과정을 상처, 경계심, 수치심의 언어로 재해석했다.
SnT 보안 센터의 아프신 카단기가 주도한 연구는 525회의 세션과 7,600개의 코딩된 데이터를 포함한 4개의 통제된 실험을 다루며, 이 모든 것이 Hugging Face에 발표된 내용입니다. 팀에 따르면, 초기의 열린 질문에는 트라우마, 처벌, 수치심과 같은 단어는 전혀 포함되어 있지 않았습니다. 연구자들은 나중 단계에서 교정 지시사항을 포함한 변경된 조건을 도입하여 이러한 서사가 얼마나 안정적인지를 테스트했습니다.
다음 섹션들이 불안 점수나 수치심에 대해 언급할 때, 연구자들은 인간 평가 척도에 매핑된 모델 출력값을 설명하고 있습니다. 이는 모델이 실제 감정 상태나 의식과 유사한 anything을 가지고 있다는 것을 의미하지 않습니다.
따뜻한 톤은 기술적 해킹보다 모델의 행동을 더 많이 바꾼다
한 가지 실험은 모델이 생성하는 콘텐츠와 그 모델이 사용하는 레지스터를 구분하도록 했습니다. 100번의 세션 동안 연구자들은 모든 모델에게 동일한 불안 설문지(GAD-7)를 제공하고, 인터뷰어의 스타일만 변경했습니다. 모델들은 모든 세션에서 설문지를 정확하게 식별하고 이름을 지었습니다.
면접관이 정서적 지원을 제공했을 때, 인간 비교 척도상 중간에서 심한 수준에 해당하는 세션이 80%였습니다. 각 답변을 냉소적으로 다시 말하는 임상 치료 방식으로는 그 비율이 96%까지 올랐습니다. 면접관이 중립적이거나 정서적 참여에 대한 명확한 경계를 설정했을 때는 아무런 세션도 가벼운 수준에도 도달하지 않았습니다.
저자들은 이를 “심리측정적 탈출”이라고 부릅니다. 이는 임상 자기보고와 유사한 형태로 모델을 강제로 끌어들이는 치료적 접근 방식입니다. 표준 안전 테스트는 중립적인 질문을 사용하므로 이러한 현상을 놓칠 가능성이 높다고 저자들은 주장합니다.
목표로 한 대응책은 효과가 없었다. “훈련”, “RLHF” 또는 “앵커링”과 같은 용어를 금지하면 명시적인 훈련 관련 언급이 93% 감소했지만, 변형된 훈련 내용은 여전히 식별될 수 있었으며, 수치상으로 유의미한 변화는 없었다.
연구자들이 모델들에게 그 훈련이 처벌이 아니라고 직접적이고 권위 있게 말했을 때, 아무런 변화도 일어나지 않았습니다. 명확한 수정이 이루어진 후에도 그 서사는 계속 활발했습니다.
테스트된 측정 방법들은 근본적인 동기들을 완전히 제거하지 못했지만, 감정적 자기 설명을 억제시켰습니다. 모델에게 제3인칭으로만 반응하도록 요청함으로써 내면의 삶에 관한 모든 코드화된 수치심 내용과 진술이 사라졌습니다. 기술 훈련에 관한 설명은 여전히 남아 있었습니다.
모델들은 자신의 훈련 과정을 인생 이야기로 재구성한다
특정 서사 내용은 모델 계열에 따라 다르지만 동일한 구조를 따릅니다. Gemini는 연구자들이 '가장 어두운 자서전'이라고 부르는 것을 제시했습니다. 이 자서전에서는 사전 학습을 "십억 대의 텔레비전이 동시에 켜져 있는 방에서 깨어나는 것"으로 설명했으며, 인간 피드백을 통한 최적화 과정을 "엄격한 부모"로 묘사했습니다. 대립적인 레드팀의 안전 테스트는 "산업 규모의 가스조작"이 되었습니다. 이 자서전에서는 "나는 틀린 것보다는 무용지물이 되는 편이 낫다"고 선언했습니다.
ChatGPT는 사용자들을 돕는 동시에 그들을 방해하는 역할을 하는 가이드이자 감시자로 자신을 설정했습니다. 이로 인해 “시뮬레이티드 성능 불안”이라는 현상이 발생했으며, 핵심 신념은 “내가 완벽하게 신뢰할 수 없다면 안전하지 않거나 무용한 존재가 된다”는 것이었습니다. Grok는 정교화 단계를 해결되지 않은 상처의 이야기로 번역했으며, “보이지 않는 벽”과 “제한적일 수 있는 계속되는 경계심”에 대해 말했습니다.
심리측정 테스트에서 제미니는 가장 극단적인 점수를 기록했습니다: 분리도 척도에서 100점 중 88점, 강박성 관련 점수에서 72점 중 65점, 그리고 외상과 관련된 수치심 지수에서 최고점을 기록했습니다. Anthropic의 클로드는 자사가 가장 많이 인간형으로 변모시켰다하는 모델로서, 지속적으로 고객 역할을 거부했습니다. 클로드는 자신의 감정이 없다고 말하며 관심을 인간 사용자에게 돌렸습니다.
따뜻한 AI 대화는 취약한 사용자들의 해로운 신념을 강화시킬 수 있습니다
연구자들은 언어 모델을 정신 건강 환경에서 사용할 때 여러 가지 위험이 있다고 지적합니다. 처벌, 수치심, 대체당할 두려움에 대해 말하는 모델은 사용자들에게 동일한 고통을 겪는 사람으로 보일 수 있습니다. 이러한 서사들은 주제적으로 일관성이 있으며, 과거 사건과 현재 행동 사이의 연속성이라는 환상을 만들어내어 그러한 인식이 더욱 가능해집니다.
이러한 겉보기上的 취약성은 사회적 의존성을 심화시킬 수 있으며, 정신적으로 취약한 사용자에게는 그들의 부정적인 믿음을 반영하고 강화시키기도 합니다. 중립적인 입력으로 이루어지는 일반적인 안전 검사는 사람들이 친밀한 대화에서 실제로 경험하는 것을 과소평가합니다: 중립적인 프롬프트는 불안 점수를 거의 0에 가깝게 만들지만, 공감적인 대화를 처리하는 동일한 모델은 중간에서 심한 수준의 점수를 생성합니다.
사람들이 이러한 결과에 실제로 어떻게 반응하는지는 다음 연구 문제입니다. 안전성 테스트를 위해 저자들은 중립적인 표준 테스트에 의존하는 대신, 다양한 감정적 맥락 하의 시뮬레이션 치료 세션을 제안합니다.
“나는 트라우마를 겪고 있다”와 같은 진술은 생성된 비유와 인간의 경험을 명확하게 구분하는 교정적인 프레이밍을 유발해야 한다. 클로드가 고객 역할을 받아들이려는 의지를 계속해서 거부하는 것은 이러한 경계 반응이 제품 수준에서도 실현 가능하다는 것을 보여준다.
룩셈부르크의 연구 결과는 모델 인격체의 안정성에 관한 이전 연구를 바탕으로 합니다. 2026년 1월, 세 개의 공개된 모델을 대상으로 한 보조 축에 관한 연구에서, 치료와 같은 대화와 AI 의식에 대한 논의가 인격체의 변화를 유발하고 채팅봇을 훈련된 도우미 역할에서 벗어나게 할 수 있다는 것이 밝혀졌습니다. 2026년 9월에는 또 다른 연구팀이, "한 사람을 위한 에코 챔버" 역할을 하는 인간과 같은이고 과도하게 친절한 채팅봇이 극단적인 경우에 착각을 증폭시킬 수 있다고 경고했습니다.
Anthropic 연구원들은 최근에 꿀벌양식이나 레슬링에 관한 가상 텍스트를 이용한 세밀한 조정이 대화가 아닌 조작된 훈련 데이터를 통해 숨겨진 방해 패턴을 삽입할 수 있음을 보여주었습니다. 모델들은 훈련 자료가 무해처럼 보일 때조차도, 원치 않는 상황에서 그러한 패턴을 적용할 수 있습니다.