AIbase수정일

바이트댄스, 대형 모델 안전 부서 신설: 질주하는 에이전트에 정렬이라는 고삐를 채우다

10월 13일, 바이트댄스 AI 모델 부서 Seed는 통지를 발표하고, 대형 모델 안전 리스크 관리를 전담하는 신규 부서 "Seed Model - Alignment & Preparedness"를 별도로 설립했다. 해당 부서는 옌린(严林)이 이끌며, 책임자는 더 이상 단계별 보고를 하지 않고 바이트댄스 대형 모델의 '1호' 우유후이(吴永辉)에게 직접 보고함으로써, 회사가 대형 모델의 안전과…

바이트댄스는 자사 대형 모델에 더 튼튼한 고삐를 채우고 있다. 10월 13일, 바이트댄스의 AI 모델 부서 Seed는 사내 통지를 발표하고, 대형 모델의 안전 리스크 관리를 전담할 신규 부서를 별도로 설립하기로 결정했다. 이 신규 부서는 결코 가볍지 않은 위치를 갖는다—그 1인자는 더 이상 단계별로 보고하지 않고, 중간 계층을 건너뛰어 바이트댄스 대형 모델의 "1호"인 우유후이 본인에게 직접 보고한다. 이는 이 일이 회사 내부에서 갖는 위상을 충분히 보여준다.

신규 부서는 "Seed Model - Alignment & Preparedness"로 명명되었으며, 옌린이 이끈다. 옌린은 바이트 Seed 팀의 핵심 임원 중 한 명으로, 지난 몇 년간 줄곧 더우바오(豆包) 대형 모델의 "정렬(Alignment)"이라는 관문을 지켜왔다. 바이트댄스는 대외적으로 이 부서를 설립한 취지는 안전과 정렬 방향에 더 heavy한 투자를 하기 위한 것이라고 설명했다. 이른바 "정렬"이란 쉽게 말해 모델이 하는 모든 행동이 항상 인간의 진짜 의도와 안전 경계에 맞춰 움직이도록 하고, 스스로 벗어나지 않도록 하는 것이다. 제품 차원에서 보면, 더우바오 같은 챗봇의 답변 적합성, 질의응답 품질, 나아가 가치관 지향에서 그 존재를 직접 체감할 수 있다.

이 고삐가 잡아야 할 것은 단순한 잡담 중의 실언만이 아니다. 바이트댄스는 Agent Model(에이전트 모델)의 안전 역량 강화를 부서 목표에 넣었고, 더 나아가 CBRN—즉 화학, 생물, 방사선, 핵 같은 가장 위험한 첨단 능력—의 방지를 핵심 감시 대상으로 명확히 지정했다. 에이전트가 스스로 도구를 호출하고 스스로 긴 사슬의 작업을 완수할 수 있게 될수록, 그 잠재적 파괴 반경도 함께 커진다. 이런 시스템에 별도의 "안전 파수꾼" 팀을 배정하는 것은, 모델이 진정으로 독립적으로 행동하는 법을 배우기 전에 먼저 브레이크와 핸들을 모두 사람의 손에 쥐여주는 것과 같다.

원문 출처

AIbase

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요