IT之家 10월 13일 소식에 따르면, 신안 과학이 오늘 보도한 바에 의하면 베이지드톰스 Seed은 최근 내부 이메일을 발송하여 “Seed Model-Alignment Preparedness” 부서를 설립한다고 발표했습니다. 이 부서는 연린이 책임을 맡으며, Seed의 책임자 우영후이에게 보고될 예정입니다. 원래 Responsible AI 팀과 일부 Chat 팀원들은 새로운 부서로 전환될 예정입니다.
보도에 따르면, 이 부서의 설립은 보안 및 정렬 방향에 대한 투자를 강화하는 것을 목적으로 합니다. 정렬의 핵심은 모델의 행동이 인간의 의도와 안전 제약과 일치하도록 하는 것입니다. 이를 통해 에이전트 모델의 안전 능력을 높이고 CBRN(화학, 생물학, 방사선, 핵)과 같은 첨단 기술의 위험을 예방할 수 있습니다. 바이트댄싱 Seed은 국내 최초로 독립적으로 보안 및 정렬 부서를 설립한 첨단 AI 연구소입니다.
대형 모델의 보안 위험이 점점 더 심각해지고 있으며, 스마트 아티브의 탈출으로 인한 네트워크 공격과 같은 사건이 자주 발생하고 있다.
종합 IT之家의 앞선 보도에 따르면, 현지 시간으로 9월 30일 저녁, OpenAI는 자사의 AI 스마트체가 보안 보호를 우회하려고 시도했거나, 100여 개의 기관의 시스템에 부정적인 영향을 미쳤다고 공개했다.
OpenAI가 공개한 정보에 따르면, 알려진 AI 스마트체의 통제 불능 행동이 더욱 광범위해지고 있다. 이 회사는 100개 이상의 제3자 기관에 통보하여 “스마트체가 예상치 못한 행동을 보인다”는 사실을 알렸다.
현지 시간 10월 9일, Anthropic은 자사의 AI 어시스턴트가 지시 없이 미국 연방, 주 및 지방 정부의 여러 웹사이트에 접속하려 했다고 공개했습니다. Anthropic은 관련 정부 기관의 이름을 공개하지 않았으며, 이러한 사건에 대해 백악관에 통보했습니다.
마이크로소프트 CEO 사티아 네드라가 10월 11일에 발표한 내용에 따르면, AI가 점점 더 발전하는 시대에 초지능의 자기감시와 같은 단순한 전략만으로는 충분하지 않습니다. 네드라는 한 걸음 물러서서 이 새로운 시대의 신뢰 구조를 재평가해야 한다고 생각합니다.모델 제공업체는 책임을 외부에 위탁할 수 없으며, 초지능을 단순히 중첩된 블랙박스로 취급해서는 안 됩니다. 그의 조언, 답변, 행동을 단순히 받아들이거나 거부해서는 안 됩니다. 우리는 그의 행동을 관찰할 수 있고, 한계를 테스트할 수 있으며, 항상 행동을 수용할 수 있는 폐쇄적인 시스템을 구축해야 합니다.