バイトダンスSeed、安全アライメント部門を単独分割、厳林が率いエージェントの越権とCBRNリスク防止に特化

バイトダンスSeed、安全アライメント部門を単独分割、厳林が率いエージェントの越権とCBRNリスク防止に特化

AIbase基地

バイトダンスSeedチームは先日、社内メールを発信し、Seed Model-Alignment&Preparednessという名の新部門の設立を発表した。元Responsible AIチームとChatチームの一部メンバーが異動し、厳林が責任者を務め、Seed責任者の呉永輝に直接報告する。安全とアライメントを単独で一級部門として立ち上げたことは、同社がモデル安全の方向への投資を新たな規模に引き上げたことを意味する。

アライメントという言葉の核心は非常にシンプルだ。モデルの挙動が常に人間の意図と安全上の制約に沿って進み、逸脱せず、独断で行動しないようにすることである。新部門が取り組む2つの難題も明確だ。一つはAgent Modelすなわちエージェントモデルの安全能力を高めること、もう一つはCBRNといった先端能力のリスクを防ぐことである。CBRNとは化学・生物・放射線・核を指し、いずれもモデルによって不適切に解放されれば重大な結果を招き得る能力領域である。言い換えれば、バイトダンスのエージェントが複雑なタスクを自ら実行し始める際、まず檻の中で調教され、それから働きに出されるということだ。

本文はAIbaseデイリーより

【AIデイリー】コラムへようこそ!ここは毎日AIの世界を探索するためのガイドです。毎日AI分野のホットな話題をお届けし、開発者に焦点を当て、技術トレンドの把握と革新的なAI製品・アプリケーションの理解をサポートします。