바이트댄스 Seed는 최근 “Seed Model-Alignment & Preparedness” 부서 설립을 발표했으며, 옌린(严林)이 책임을 맡아 Seed 책임자 우용후이(吴永辉)에게 보고한다. 기존 Responsible AI 팀 및 Chat 팀 일부 멤버가 신설 부서로 옮겨지며, 모델 안전 및 정렬 분야에 대한 투자를 한층 강화한다.
신설 부서는 에이전트 모델(Agent Model)의 안전 역량 향상에 중점을 두고, 화학·생물·방사선·핵(CBRN) 등 프런티어 역량이 가져올 잠재적 리스크를 방지한다. 이 부서의 업무는 모델 규범 제정, 안전 평가 체계 구축, 정렬 훈련, 방어 시스템 구축 및 리스크 모니터링을 포괄하며, 외부 연구기관 및 제3자 평가기관과의 공개적 협력도 강화한다.
알려진 바에 따르면, 대형 모델의 역량과 자율성이 계속 강화됨에 따라 모델 행동이 예상에서 벗어나는 문제, 에이전트 악용 및 사이버 공격 등 안전 문제가 더 많은 주목을 받고 있다. 이전까지 국내 대형 모델 팀의 안전 및 정렬 업무는 대부분 기업의 전체 보안·컴플라이언스 체계에 편입되어 있었다. 이번 조정은 Seed가 안전과 정렬을 독립된 기능으로 구축한다는 것을 의미한다. 관련 정보에 따르면, 바이트댄스 Seed는 안전 및 정렬 부서를 별도로 설립한 국내 최초의 프런티어 AI 연구소이다.
Seed 내부에서는 안전과 정렬이 리스크 방지에 관련될 뿐만 아니라, 모델이 복잡한 시나리오에서 규모화된 적용을 실현할 수 있는지에도 영향을 미친다고 본다. 신설 부서는 프런티어 모델이 안전 규범과 권한 제약 하에서 효과적으로 임무를 수행하도록 보장하고, 모델 악용 및 행동 이탈 리스크를 지속적으로 낮추며, 미지의 리스크에 대응하는 안전 체계를 완비하는 데 힘쓸 것이다.