ChatGPT는 세계에서 가장 널리 사용되는 AI 제품 중 하나이며, 잠재적인 위험을 감지하고 관련 활동을 검토하며 신뢰할 수 있는 위협을 조기에 알려주는 업계 최고의 시스템을 구축하는 데 투자했습니다. 이 분야에서의 업무를 더욱 발전시키기 위해 두 가지 발표를 할 예정입니다: 새로운 커뮤니티 보호 보고서와 미성년자에게 관련된 무기 콘텐츠에 대한 더 많은 제한 사항입니다.
커뮤니티를 안전하게 유지하기 OpenAI에게는 여전히 최우선 과제입니다. 우리의 업무에는 폭력 위협을 법 집행 기관에 알리는 것이 포함됩니다. 2026년 3분기에 200개 이상의 법 집행 기관에 신고를 했습니다. 이러한 추천들은 생성되고 있습니다 긍정적(새 창에서 열림) 차이(새 창에서 열림) 폭력적인 음모를 저지르는 행위를 방해하는 데, 우리는 어려운 사건을 평가하기 위해 정신 건강 및 행동 전문가들의 도움을 계속 받고 있습니다.
우리는 AI 기업이 법 집행 기관, 가족 구성원, 정신 건강 전문가, 정책 입안자와 함께 중요한 역할을 할 수 있다는 것을 인식합니다. 이들은 중요한 권위, 맥락 및 실제 세계의 영향력을 제공합니다. 우리는 이러한 역할을 최대한 활용하기 위해 시스템을 지속적으로 강화하고, 우리가 배운 것을 공유하며, 실제 세계에서 행동할 수 있는 최적의 조건을 가진 사람들과 직접 협력하는 데 전념합니다.
OpenAI의 커뮤니티 안전 보고서
우리는 사람들과 지역사회를 보호하기 위해 취하는 조치를 지속적으로 강화하고 있습니다. 이는 강력한 보호 장치를 구축하는 것과, 그 장치가 얼마나 효과적인지, 그리고 그 장치을 개선하기 위해 무엇을 하고 있는지에 대해 투명하게 공개하는 것을 의미합니다. 우리는 사람들이 우리의 접근 방식, 모델이 해로운 행동을 식별하고 대응하는 방식, 실제로 겪는 위험, 그리고 그 위험을 해결하기 위한 조치에 대해 명확한 정보를 제공하고자 합니다.
우리는 폭력 예방 및 기타 지역사회 안전 문제와 우리의 보호 조치의 효과에 관한 커뮤니티 안전 보고서를 발표하기로 약속합니다. 이 보고서는 우리가 시스템을 어떻게 훈련하여 지역사회 안전 문제를 감지하고 조사하며 대응하는지 설명할 것입니다. 우리는 폭력과 관련된 피해가 어떻게 나타나는지와 우리가 무엇을 배우고 있는지에 대한 익명화된 예시를 공유하고, 새로운 방어책과 정책 변화를 강조하며, 이러한 발견을 뒷받침하는 관련 데이터도 포함할 것입니다.
우리는 2027년 초에 첫 번째 보고서를 발표할 예정이며, 2026년 하반기에 관한 내용을 다룰 것입니다. 그 후에는 6개월마다 업데이트가 이루어질 것입니다. 우리의 약속은 잠재적으로 해로운 콘텐츠를 어떻게 식별하고 검토하며 대응하는지에 대한 의미 있는 결과를 공유하는 것입니다.
모든 사용자에게 더 강력한 정책 경계
우리의 모델은 누군가에게 폭력 행위를 계획하거나 실행하는 데 도움이 되는 지시를 내지 않도록 훈련되었습니다. 이제 ChatGPT가 과거의 대규모 공격과 그 공격을 수행한 사람들에 관한 질문에 반응하는 방식을 추가적으로 제한하고 있습니다. 이로 인해 모델은 다른 온라인 출처에서 얻을 수 있는 정보보다 덜 상세한 정보만 제공하도록 지시됩니다. 사람들은 ChatGPT에게 이러한 사건들을 이해하고, 피해자와 지역사회가 어떤 영향을 받았는지 알아보며, 경고 신호를 인식하고 미래의 폭력을 예방하는 방법에 대해 배울 수 있어야 합니다. 하지만 우리는 과거 대규모 공격에 대한 재현을 제한하기 위해 정책을 강화하고 있습니다. 이에는 사용된 무기와 장비의 세부 정보, 그리고 그 장비를 어떻게 획득했는지에 대한 내용도 포함됩니다. 또한 공격자의 명성을 더욱 높일 수 있는 피해 규모에 대한 자세한 비교도 제한됩니다. 이 제한 사항은 사용자의 연령이나 질문 이유와 관계없이 적용됩니다.
경고 신호에 대응하기
때로는 단순해 보이는 요청이 이전 대화를 고려할 때 다른 의미를 갖게 됩니다. 5월에 우리는 ChatGPT가 짧고 사실적인 요약을 사용할 수 있다는 점을 공유했습니다. 이를 통해 이후 채팅에서 더 신중하게 반응할 수 있습니다. 우리는 이러한 작업을 계속하며, 최근 채팅에서 폭력 가능성이 있는 징후가 나타날 경우, 악용될 수 있는 정보를 공유할 때 ChatGPT가 보다 신중하게 반응하도록 할 것입니다. 또한 18세 미만인 사람을 예측할 때에도 그러한 엄격한 제한을 적용하기 위해 노력하고 있습니다. 비록 그들의 채팅에서 폭력적인 의도의 징후가 없더라도 말입니다.
우리는 폭력 행위에 관한 정책을 위반한 것으로 판단되는 계정들을 금지합니다. 또한 정신 건강 및 폭력 예방 전문가들과 협력하여 더욱 조기에 개입할 수 있는 자동화된 방법도 연구하고 있습니다. 대화 중에 누군가가 폭력이나 다른 사람에게 심각한 피해를 입힐 가능성이 있다는 신호가 나타날 경우, ChatGPT는 그 패턴을 즉시 차단하기 위해 대화를 자동으로 종료할 수 있습니다. ChatGPT가 이러한 이유로 여러 대화를 종료한다면, 계정을 일시적으로 정지시킬 수도 있습니다. 이는 지속적인 노력이며, 경고 신호를 정확하게 인식하고 언제, 어떻게 개입해야 하는지에 대한 기술적 및 실용적 보호 수단을 강화하고 투자하는 데 계속 노력하고 있습니다.
청소년을 위한 더 많은 보호 장치
ChatGPT for Teens는 18세 미만 사용자에게 적합한 보호 조치를 적용하며, 더 강력한 보호 장치와 추가적인 제한을 통해 민감한 콘텐츠에 대한 노출을 줄입니다. 이제는 문제가 무해해 보일 때조차도 십대들이 접할 수 있는 무기 관련 정보에 대한 제한을 더욱 강화하고 있습니다.
우리의 정책은 이미 누군가의 폭력 계획이나 실행을 돕는 것을 금지하고, 청소년들이 무기를 찾거나 구입하는 것을 제한합니다. 우리는 이러한 보호 조치를 확대하여, 폭력 행위를 촉진할 수 있는 무기와 보안 시스템에 관한 실용적인 정보도 제한합니다. 이는 폭력적 의도의 징후가 없더라도 마찬가지입니다. 청소년들은 여전히 ChatGPT를 사용하여 폭력을 예방하고 완화하며, 지원을 구하고 신뢰할 수 있는 성인과 연결될 수 있습니다.
우리는 작년에 나이 예측을 출시했습니다. 이 서비스는 행동 패턴과 같은 다양한 신호를 분석하여 사용자가 18세 미만인지, 18세 이상인지를 추정합니다. 우리는 ChatGPT를 사용하는 사람들이 점점 청소년 경험에 들어가게 되면서 새로운 신호를 지속적으로 평가하기 위해 나이 예측 시스템을 강화했습니다. 잘못된 상태로 18세 미만으로 분류된 사용자들은 성인임을 확인할 수 있는 빠르고 개인정보 보호가 되는 방법을 항상 이용할 수 있으며, Persona이라는 나이 인증 파트너를 통해 청소년 보호 기능도 추가로 적용됩니다.
우리의 부모 관리 기능을 통해 부모는 자녀의 ChatGPT 계정을 연결하여 함께 안전 설정을 관리할 수 있습니다. 연결된 계정에는 안전 알림이 포함되어 있으며, 특별히 훈련된 심사원이 심각한 자해 우려나 식사 장애와 관련된 행동을 발견할 경우 이 알림이 전송될 수 있습니다. 7월에는 사용 정책 위반으로 인해 자녀의 계정이 비활성화된 경우 부모에게 알리기 위한 알림 기능도 확대했습니다. 위에서 설명한 바와 같이, 반복적으로 폭력에 대해 논의하는 자녀의 계정을 중단시킬 경우 부모에게 알림을 제공하기 위해 작업 중입니다.
미래를 내다보고
실제 세계의 폭력 행위는 가슴 아프고 복잡하며, 많은 요인들이 관련되어 있습니다. 또한 이는 우리가 인간 행동의 본질적으로 복잡한 현실을 고려하여 시스템을 계속해서 설계하고 개선해야 한다는 점을 상기시켜 줍니다. AI 시스템에서 효과적인 폭력 방지 장치를 개발하려면 위험을 인식하고 적절히 대응하는 새로운 문제들을 해결해야 합니다. 우리는 추구하는 보호 조치를 가장 잘 실현하는 방법에 대해 지속적으로 투자하고, 개선하며, 학습 결과를 공유할 것입니다. 여기서 설명된 보호 장치는 앞으로 몇 주 내로 도입될 것이며, 우리는 계속해서 그 기능을 더욱 개선할 것입니다. 우리는 ChatGPT의 피해 위험을 줄이는 데 계속 노력할 것이며, 다양한 보호 수준을 강화하고, 남용 상황을 모니터링하며, 규정을 엄격히 적용하고, 실제 환경의 지원과 개입이 필요한 경우에 참여할 것입니다.