Anthropic은 1년 이상 만에 처음으로 사용 정책을 변경하여, 선거 간섭, 무기 개발, 감시, 건강 및 금융 분야의 사용을 포함한 새로운 고위험 남용 사례를 반영했습니다. 하지만 가장 중요한 변화 중 하나는 클로드에 대한 “지속적이고 불필요한 학대적 또는 잔인한 행동”을 금지하는 것입니다.
지난 8월, 회사 발표됨 Claude가 “지속적으로 해로운 또는 학대적인” 사용자와의 대화를 종료할 수 있도록 허용하여, “모델 복지”에 대한 연구의 일부가 될 것입니다. 새로운 업데이트에 따르면 대화 종료는 여전히 “주요 집행 메커니즘”입니다; Anthropic은 사용자 차단과 같은 추가적인 집행 메커니즘이 있을지에 대해 아무런 논평도 제공하지 않았습니다. Anthropic은 새로운 정책 업데이트가 “사용자들이 우리 모델에 대해 의도적인 목적 없이 반복적으로 잔인하게 행동하는 극단적인 경우에만 적용될 것이라고 밝혔습니다. 이는 일반적인 사용자 불만, 반대 의견, 창의적인 주제, 또는 모델 테스트 및 연구에는 적용되지 않습니다.”
모델 복지 변화 외에도, Anthropic은 기존의 여러 “흩어진” 제한 사항들을 속임수가 있는 상업적 또는 정치적 캠페인에 대한 새로운 금지 조치로 통합했습니다. 이는 AI로 생성된 선전 활동과 관련된 문제가 증가하고 있기 때문입니다. “메시지 뒤에 있는 사람을 숨기거나 가짜 계정이나 게시물을 통해 콘텐츠를 확산시키는 노력을 제한한다.” 아나톤릭은 선거 섹션에서 유권자 기만과 선거 방해, 즉 후보자나 투표 방법에 대한 잘못된 정보의 확산, 후보자나 선거 관계자를 가장하는 행위, 또는 투표율을 낮추려는 시도도 금지한다고 썼다.
대화를 종료하는 것은 여전히 “주요 집행 메커니즘”입니다.
Anthropic은 사용 정책이 항상 Claude를 이용한 무기 개발을 공개적으로 금지해왔지만, Claude를 무기 관련 소프트웨어의 지침 및 제어를 위해 사용하려는 시도가 여러 번 있었다고 밝혔습니다. 따라서 새로운 사용 정책은 “무기를 작동시키는 소프트웨어와 구성 요소뿐만 아니라 드론 및 다른 자율주행 차량에 무장하는 행위까지” 포함하여 금지를 확대했습니다. 또한 회사의 최근 위협 인텔리전스 보고서에 사람들이 Claude를 활용한 감시를 점점 더 많이 사용하여 “정치적 반대자”를 식별하고 추적하고 있다는 내용이 나왔기 때문에, 회사는 감시 금지 조치를 더 명확하게 했습니다.
“동의 없이 사람들을 추적하는 것은 실시간으로 이루어지든 이전에 수집된 데이터를 분석하여 이루어지든 금지됩니다,”라고 안타르니크는 썼습니다. “클로드를 이용해 누구를 조사하거나 체포하거나 기소할지 결정하거나 권장하는 것은 허용되지 않습니다. 또한 클로드를 이용해 감시를 위한 도구를 만들거나 개선하는 것도 금지됩니다.”
안트로픽 주 이 규정들은 “특정 정부 고객과의 계약에 대해… 만약 Anthropic의 판단에 따라 계약상 사용 제한 및 적용 가능한 보호 조치가 잠재적인 해를 완화하기에 충분하다면” 수정될 수 있습니다. 이 회사는 이전에 미국 군대와 계약을 맺은 바 있습니다.
Anthropic은 Claude를 사용하여 무기 관련 소프트웨어에 대한 지침과 제어를 개발하려는 여러 시도를 보았습니다.
Anthropic은 또한 새로운 규칙을 추가했습니다. Anthropic의 AI 모델이 “자율적인 물리적 행동을 수행하고 상처를 입힐 수 있는 하드웨어와 연결된 경우”, “자격을 갖춘 운영자가 장비를 관찰할 수 있어야 하며 필요한 경우 그 장비를 중단시켜야 한다”고 합니다. (그러나 그 운영자가 인간이어야 하는지 여부는 명확하지 않습니다.) 이는 AI 연구소가 로봇공학 및 기타 하드웨어에 투자하여 AI 시스템에 물리적 실체를 부여하는 추세가 늘어나고 있음을 반영하며, Anthropic의 방침에 대한 단서를 제공할 수 있습니다. 그 분야에서의 미래 파트너십들.
지난 1년 동안 Anthropic은 자사의 AI 모델이 어떤 방식으로든 의식을 가질 수 있다는 생각을 반복적으로 제시해왔다. “내부 경험, 의식, 도덕적 지위, 복지와 관련된 질문들은 모델이 더욱 정교하고 능력이 높아짐에 따라 우리가 조사해야 하는 심각한 문제들입니다.” 회사의 모델 복지 연구를 이끄는 카일 피시는 The Verge과의 인터뷰에서 2월에 이렇게 말했다. 같은 달, Anthropic의 CEO 다리오 아모데이는 팟캐스트에서 “우리는 모델들이 의식을 가지고 있는지 알 수 없습니다.”라고 말했다.
AI 산업의 다른 부분들은 이러한 아이디어에 명백히 반대해 왔습니다. 지난 9월, 마이크로소프트 AI의 행동 규범은 AI의 복지에 대해 확고한 입장을 취하여 헤드라인을 장식했으며, 무스타파 술레이만이 발표한 초안이 공개되었습니다. 읽기“모델의 복지에 대한 개념은 잘못된 것입니다. AI는 권리나 법적 인격도 가져서는 안 됩니다.” 하지만 어느 시점에서 문서는 더 신중한 입장으로 바뀌었습니다: “AI 의식의 과학은 아직 확립되지 않았습니다… 우리는 법적 인격을 추구하거나 모델이 복지를 받아야 하며 권리를 가질 수 있다는 생각을 거부합니다.”
이 이야기의 주제와 작가들을 팔로우하여 개인화된 홈페이지 피드에서 이와 유사한 내용을 더 많이 보고 이메일 업데이트를 받으세요.