バイドゥダンス（ByteDance）のSeedはこのほど社内メールを発出し、「Seed Model-Alignment&Preparedness」部門を設立すると発表した。部門は厳林（イェン・リン）が担当し、Seed責任者の呉永輝（ウー・ヨンホイ）に報告する。既存のResponsible AIチームおよびChatチームの一部メンバーは新部門に移籍する。
据报道、この部門の設立は、安全性とアライメント(整合性)分野への投資を強化することを目的としており、アライメントの核心はモデルの挙動を人間の意図および安全上の制約と一致させることであり、それによってAgent Model(エージェントモデル)の安全能力を高め、CBRN(化学、生物、放射線、核)などの先端能力に伴うリスクを防止することとしています。
大モデルのセキュリティリスクが日増しに顕在化しており、エージェント脱獄（エスケープ）によるサイバー攻撃などの事件が頻発しています。これまで国内の大モデル研究チームにおける安全性とアライメントの取り組みの多くは、企業全体のセキュリティ・コンプライアンス体制に組み込まれていましたが、ByteDance Seed は安全とアライメントの部門を単独で設置した国内初のフロンティアAI研究所です。
Seedチームの内部判断では、モデルの能力がますます強くなり、応用シーンがますます複雑になるにつれて、安全性とアライメントはもはやリスク対策にとどまらず、モデルを大規模に応用できるかどうかを決める中核的能力となっている。
据了解、Seedの安全・アライメント部門は、モデル仕様の策定、安全評価体系の構築、アライメント訓練、防護システムの構築、リスクモニタリングなどの方向性において継続的に投資し、外部研究機関や第三者評価機関との公開協力を強化して、最終的にフロンティアモデルが安全かつ許可された制約内で効果的にタスクを遂行できるようにする。モデルの能力と自律性の向上に伴い、悪用および行動逸脱のリスクを持続的に低減し、未知のリスクに対応する包括的な安全体系を構築する。
雷峰網 雷峰網（公式アカウント：雷峰網）