바이트댄스 Seed는 최근 사내 이메일을 통해 'Seed Model-Alignment&Preparedness' 부서를 신설한다고 발표했으며, 옌린(严林)이 부서장을 맡고 Seed 책임자 우융후이(吴永辉)에게 보고한다. 기존 Responsible AI 팀 및 Chat 팀의 일부 구성원이 새 부서로 이동하게 된다.
알려진 바에 따르면, 해당 부서의 설립은 안전 및 정렬(alignment) 분야에 대한 투자를 강화하기 위한 것으로, 정렬의 핵심은 모델의 행동이 인간의 의도와 안전 제약 조건과 일치하도록 하는 것이며, 이를 통해 Agent Model(에이전트 모델)의 안전 능력을 향상시키고 CBRN(화학, 생물학, 방사선, 핵) 등 첨단 능력 관련 위험을 방지하는 것이다.
대규모 모델의 안전 리스크가 날로 부각되고 있으며, 에이전트 탈출로 인한 사이버 공격 등 사건이 빈번하게 발생하고 있다. 이전까지 국내 대규모 모델 연구팀의 안전 및 정렬(alignment) 관련 업무는 대부분 회사 전체의 보안 준수 체계에 통합되어 있었는데, 바이트댄스(字节跳动) Seed는 국내 최초로 안전 및 정렬 부서를 독립적으로 설립한 첨단 AI 연구소이다.
Seed 팀 내부적으로는 모델 능력이 점점 강력해지고 응용 시나리오가 점점 복잡해짐에 따라 안전과 정렬(alignment)은 더 이상 단순한 리스크 방어가 아니라 모델이 대규모로 응용될 수 있는지를 결정하는 핵심 역량이라고 판단하고 있습니다.
알려진 바에 따르면 Seed 안전 및 정렬 부서는 모델 사양 수립, 안전 평가 체계 구축, 정렬 훈련, 방어 시스템 구축 및 위험 모니터링 등의 방향으로 지속적으로 투자하고, 외부 연구 기관 및 제3자 평가 기관과의 공개 협력을 강화하여, 궁극적으로 최전선 모델이 안전 및 승인 제약 내에서 효과적으로 임무를 수행하도록 하며, 모델의 능력과 자율성이 강화됨에 따라 악용 및 행동 이탈 위험을 지속적으로 낮추고, 미지의 위험에 대응하는 포괄적인 안전 체계를 구축할 예정이다.
레이펑왕 레이펑왕(공식 계정: 레이펑왕)