字节跳动は自社の大モデルにより頑丈な手綱をつけようとしている。10月13日、同社のAIモデル部門Seedは社内向け通知を発し、大モデルの安全リスク管理を専門に担当する新部門を単独で設立することを決定した。この新部門は規模が小さくない――トップは従来のように段階的に報告するのではなく、中間層を飛び越えて、字节跳动大モデルの「トップ(一号位)」である呉永輝本人に直接報告する。社内でこの件がどれほどの重みを持つかが分かる。
新部門は「Seed Model - Alignment & Preparedness」と名付けられ、厳林が率いる。厳林は字节Seedチームの核心的な幹部の一人で、ここ数年ずっと豆包大モデルの「アライメント(Alignment)」という関門を守ってきた。字节は対外的に、この部門の設立目的は安全とアライメントの方向により重い投資を行うことだと説明している。いわゆる「アライメント」とは、端的に言えばモデルの行動が常に人類の真の意図と安全の境界線に沿うようにし、勝手に脱線しないことである。製品レベルでは、豆包のようなチャットボットの回答の適正性、質問応答の質、さらには価値観の志向において、その存在を直接感じることができる。
この手綱で抑えるのは、雑談中の失言だけではない。字节はAgent Model(エージェントモデル)の安全能力の向上を部門目標に盛り込み、さらにCBRN、すなわち化学・生物・放射線・核といった最も危険なフロンティア能力への備えを重点監視対象として明確に掲げた。エージェントがますます自力でツールを呼び出し、長い連鎖のタスクを自力で完遂できるようになるにつれ、その潜在的な破壊半径も同時に拡大している。こうしたシステムに専任の「安全ガード」チームを配置することは、モデルが本当に独立して行動できるようになる前に、ブレーキとハンドルをあらかじめ人間の手に握らせておくことに等しい。