OpenAI는 최근 공식적으로, 향후 몇 주 안에 ChatGPT의 폭력 관련 콘텐츠에 대한 제한을 전면적으로 강화하고, 동시에 미성년자 사용자를 대상으로 더욱 엄격한 무기 및 보안 시스템 정보 보호 메커니즘을 도입한다고 발표했다.
이번 정책 조정의 핵심은 고위험 대화에 대해 보다 단호한 개입 수단을 취하는 데 있다. 새로 발표된 조치에 따르면, 시스템이 사용자의 대화를 감지·평가한 결과 폭력이나 타인에 대한 심각한 해라는 생각에 지속적으로 초점을 맞추는 경향이 나타난다고 판단되면, ChatGPT는 능동적으로 대화를 종료할 수 있는 기능을 갖게 된다. 더욱 엄격한 점은, 사용자가 이런 문제로 시스템에 의해 대화가 여러 차례 종료될 경우, 해당 계정은 사용 정지 또는 심지어 직접적인 차단 처분을 받을 수 있다는 것이다.
구체적인 콘텐츠 필터링 경계와 관련해, 기존 정책은 여느 때처럼 사용자가 폭력 행위를 계획하거나 실행하는 데 도움이 되는 조작 지침을 제공하는 것을 금지하고 있다. 그러나 이번 조정에서는 제한 범위가 역사적 차원까지 확대되었다. 즉, 모델이 '과거의 대규모 공격 사건 및 그 실행자'와 관련된 질문에 대해 답변하는 세부 내용이 대폭 축소되거나, 심지어 아예 답변을 거부할 수도 있다. 구체적으로 제한되는 내용에는 공격 과정을 재현하는 데 관련된 무기, 장비 및 그 획득 경로가 포함될 뿐만 아니라, 공격자의 명성을 높이려는 취지의 피해 규모에 대한 상세 비교를 사용자가 조회하는 것도 제한된다. 주의할 점은, 이 일련의 제한이 전체 사용자에게 적용되며 연령대와 질문 목적을 구분하지 않는다는 것이다. 성인 사용자가 관련 조회를 할 경우에도 동일한 제약을 받게 된다.
모든 사용자를 대상으로 하는 일반 제한 외에도, 만 18세 미만으로 식별된 청소년 집단에 대해 OpenAI는 더욱 세분화된 보호를 강화했다. 시스템은 폭력을 실행하는 데 사용될 수 있는 무기와 보안 시스템에 관한 실용적 정보를 목표적으로 제한하며, 관련 질문이 표면적으로 폭력 의도를 직접 드러내지 않는 경우에도 이 보호 조치는 자동으로 작동한다. 다만 OpenAI는 청소년이 여전히 ChatGPT를 통해 정상적으로 도움을 구할 수 있다고 강조했다. 예를 들어 폭력을 예방하거나 완화하는 방법을 배우거나, 신뢰할 수 있는 성인과 연락하는 효과적인 지도를 받는 것이다.
청소년 보호 메커니즘이 정확하게 시행되도록 보장하기 위해, OpenAI는 개선된 연령 예측 메커니즘을 도입했다. 이 메커니즘은 사용자의 일상적인 행동 등 다차원적 신호를 결합하여 계정이 미성년자에 해당하는지 여부를 지속적으로 동적으로 평가하고, 적절한 시기에 해당하는 보호 조치를 자동으로 매칭한다. 만약 사용자의 계정이 시스템에 의해 잘못하여 미성년자로 판별된 경우, 능동적으로 신원 정보를 제출하는 방식으로 검증 및 조정을 받을 수도 있다.