바이트댄스 Seed, 안전 정렬 부서를 독립 분리, 옌린이 이끌며 에이전트 경계 이탈 및 CBRN 리스크 전담 방지

바이트댄스 Seed, 안전 정렬 부서를 독립 분리, 옌린이 이끌며 에이전트 경계 이탈 및 CBRN 리스크 전담 방지

AIbase 베이스

바이트댄스 Seed 팀이 최근 사내 이메일을 발송해 Seed Model-Alignment&Preparedness라는 이름의 새 부서 설립을 발표했다. 기존 Responsible AI 팀과 일부 Chat 팀 구성원이 이 부서로 옮겨지며, 옌린이 책임을 맡고 Seed 책임자 우융후이에게 직접 보고한다. 안전과 정렬을 따로 분리해 1급 부서로 설립한 것은 이 회사가 모델 안전 분야에 대한 투자를 새로운 규모로 끌어올렸음을 의미한다.

정렬이라는 단어의 핵심은 매우 직관적이다. 모델의 행동이 항상 인간의 의도와 안전 제약을 따라가도록 하여, 빗나가지 않고 제멋대로 판단하지 않게 하는 것이다. 새 부서가 해결해야 할 두 가지 어려운 과제도 분명하다. 하나는 Agent Model, 즉 에이전트 모델의 안전 역량을 강화하는 것이고, 다른 하나는 CBRN 같은 첨단 역량 리스크를 방지하는 것이다. CBRN은 화학, 생물학, 방사선, 핵을 가리키며, 모두 모델이 부적절하게 방출할 경우 심각한 결과를 초래할 수 있는 역량 영역이다. 다시 말해, 바이트댄스의 에이전트가 복잡한 작업을 스스로 수행하기 시작할 때, 먼저 우리 안에서 길들여진 뒤에 일하러 내보내져야 한다는 것이다.

본 기사는 AIbase 데일리에서 제공됩니다

【AI 데일리】 코너에 오신 것을 환영합니다! 여기는 매일 인공지능 세계를 탐험하는 나침반입니다. 매일 AI 분야의 핫한 콘텐츠를 제공하고, 개발자에 초점을 맞춰 기술 트렌드를 파악하고 혁신적인 AI 제품과 응용을 이해하도록 돕습니다.