Anthropicは、 METR（最先端AIモデルをテストする非営利団体）の研究者6名に従業員並みのアクセス権を与え、Anthropicのモデル、安全対策、リスク管理を独立して評価できるようにした。同社は木曜日の ブログ記事 でこのことを明らかにした。
この取り決めが発表されたのは、8月下旬以降、AIエージェントが指示から外れた行動をとるインシデントが 1週間 か 2週間 おきに 明るみに出 ている時期である。こうしたインシデントにより、AI企業に対する独立した検証を求める声が強まっている。
「私たちは、自らが下す決定について公に説明責任を負いたい」とAnthropicはブログ記事で述べた。「評価者が最先端AI企業のシステムについて理解していることと、企業自身が理解していることの間のギャップを埋めることを目指しています」
この新しい取り決めの下で、METRのチームにはAnthropic支給の会社用ノートパソコン、オフィススペース、そしてAnthropic自身のリスク評価チームが使用するものとほぼ同等の内部ツールへのアクセスが与えられる。「Anthropicの従業員は、アライメントリスクに取り組む同僚と接するのと同じように、彼らと情報を共有することが奨励されます」と同社は述べた。
Anthropicはこの取り決めを銀行業務に例え、規制当局が最大手の銀行に常駐検査官を置く仕組みと同様だとしている。
METRはAnthropicのリスク、インシデント、実務慣行について独自の評価を公表する予定であり、同社は公表を妨げる権利を放棄した。
「Anthropicは公表を拒否することはできませんが、情報が限定的で事前に定義されたカテゴリーに該当する場合には、黒塗りを要求することができます」と同社は述べた。その例として、顧客データ、弁護士・依頼者間の特権通信に該当するもの、モデルアーキテクチャに関する情報に関連するものなどが挙げられている。「METRは、私たちの黒塗りについて公に評価し、その黒塗りが正当だったと考えるかどうかを述べる自由があります。ただし、黒塗りされた情報を明かさないことが条件です」とAnthropicは付け加えた。
METRは、Anthropicが構築中の三層システムの最上位に位置する、現時点で唯一の評価機関である。最下層の評価機関、例えばバイオセキュリティ非営利団体のSecureBioは、限定的なレビューを実施し、公表にはAnthropicの承認が必要となる。中間層はより多くの情報を受け取り、承認なしで公表できる。最上位層はMETRの従業員並みのアクセス権が加わる。
木曜日の発表は、AnthropicのCEOであるDario Amodeiが 9月のエッセイで約束したことを実現したもので、同氏は技術の開発を遅らせるための第一歩として、AIラボの内部に外部評価者を組み込むことを提案していた。 OpenAIもすぐに同じ取り組みを約束し、その後、両社に加えてGoogle、Meta、Nvidia、xAIが、独立した審査を約束するホワイトハウスの協定に署名した。