独立評価者に関する最新情報

独立評価者に関する最新情報

先月、私たちは以下のことを約束しました: より強力な独立した第三者評価 当社のモデルと安全対策についてです。また、ホワイトハウス超知能に関する合意にも署名しました。この合意では、各企業が独立した外部監査人または評価者と連携することを約束しています。本日、私たちは以下のチームに対して従業員と同様のアクセス権を付与し始めたことを発表します。 METR、フロンティアAIモデルを評価する非営利団体。

METRはリスク評価の結果を公表します。この1年間、私たちはMETRと次のことについて協力してきました。 当社のリスクレポートに関する複数のレビュー。また、私たちは SecureBio および アクセンチュア 評価者として参加しており、を含むいくつかの他の組織とも初期段階の協議を進めています。 Hugging Face.

ここでは、評価者と連携する際の私たちのアプローチについて説明します。

なぜ私たちは独立した評価者と協力するのか

モデルが強力になるにつれ、より強固な安全対策と、より困難なリスク評価が必要になってきました。私たちは、自分たちが下す意思決定について公的に説明責任を負いたいと考えています。しかし、安全性に関わる取り組みに関連する情報をすべて公開することはできません。その一部は悪意あるアクターにとって有用になり得ますし、また計算資源や学習に関する情報のように商業的に機微なものもあります。そこで代わりに、私たちは第三者の評価者に情報への深いアクセスを提供し、モデル構築に伴うリスクについて証拠と根拠のある結論を共有してもらっています。私たちの狙いは、フロンティアAI企業のシステムについて評価者が理解していることと、企業自身が理解していることとの間のギャップを埋めることです。

フロンティアモデルを評価するために、評価者には以下が必要です。

• 専門知識 フロンティアモデルの能力を評価するにあたっては、評価が誤作動する仕組み、たとえば以下のような事例の理解も含まれます。 アラインメント欺瞞.
• 独立: 評価対象の企業の株式を保有していたり、その企業に資金的または運営上依存していたりしてはならない。
• もう十分です アクセス リスクを意味のある形で評価するために。最新モデルへのアクセスに加え、評価者はそれらのモデルがどのように訓練されたか、当社の安全対策がどのように機能しているかなどについても可視性を必要としています。
• 出版の自由 観察と評価 モデルまたはプロセスの。

この類推は正確なものではありませんが、銀行監督も同様の論理で機能しています。銀行は外部者よりも自行のリスクポジションについて詳しく知っているため、規制当局は常駐検査官を最大手の銀行内部に配置しています。銀行のリスクテイクが公衆に脅威を与え得る場合、第三者がそれを事前に把握しようとするのです。

AI業界にとって、これは一歩前進である 頑健な安全監視体制。複数の評価者とともに迅速に動き、どのようなパートナーシップが機能するのかを積極的に学んでいます。進捗に応じて最新情報を共有していくことに尽力します。

「従業員に準じたアクセス」とは何を意味するのか

当社は6名のMETRの従業員を受け入れ、社用ハードウェア、オフィススペース、そしてリスク評価チームのメンバーとほぼ同等の内部ツールやシステムへのアクセスを提供しています。明確に定義された少数のカテゴリー(例：顧客に関するデータ、弁護士・依頼者間の特権情報、モデルアーキテクチャに関する情報)を除き、Anthropicの従業員は、アライメントリスクに取り組む同僚に対すると同じように、彼らと情報を共有することが推奨されています。¹

METRは、当社のリスクレベル、インシデント、または慣行に関する分析を公開します。Anthropicは公開を拒否することはできませんが、上記のようなあらかじめ定義されたカテゴリーに該当する情報については、編集（墨消し）を求めることができます。METRは、編集された情報を明かさない限り、当社の編集について公に評価し、その編集が正当であったかどうかについての見解を述べることは自由です。

METRとの連携は、拘束力のある契約に基づいて活動する小規模なチームに限定されています。他のMETRの従業員は、当社と他のプロジェクトで協力している研究者を含め、そのチームの業務から切り離されています。組み込み型の評価により、Anthropicのセキュリティ基準の下で活動する少数の資格を有する人々が、当社の運営状況をより深く把握できるようになります。これは他の組織が当社の情報や、当社の顧客・パートナーの情報を取得するための仕組みではありません。

当社のその他の評価者パートナーシップ

私たちは現在、他にも複数のパートナーシップを進めています。これらの他のパートナーシップはまだ初期段階にあるため、こうした評価者にはより限定的な情報を提供しており、公開の権利もより限定的なものとなっています。これらの初期段階の取り組みにおける私たちの目標は、パートナーが機密情報を保護し、私たちのモデルを評価するのに必要なリソースと専門知識を有していることを確認することです。パートナーシップが進展し信頼を築いていくにつれ、より多くの独立した評価者を完全に組み込んでいきたいと考えています。

評価者向けに3段階のアクセス権を開発しています。将来的には、第3段階の評価者を複数擁し、各チームが当社のリスク態勢および重要な決定についての独自の分析を公開することを目指しています。

第一段階では、 評価者は範囲を限定したリスク調査を実施します。第一級の評価者にどのようなアクセスを提供するかを当社が決定し、評価者は当社の承認を得て調査結果を公表できます。

第2層では、 評価者は当社の承認なしに公開でき、より多くの情報にアクセスできます。ただし、当社の修正（墨消し）が正当であったかどうかについて評価者が見解を公表できるとしても、当社は依然として特定カテゴリーの情報の削除を要求することができます。

第3層 私たちが説明したMETRとの取り決めは、第二層に近い従業員と同様のアクセス権および公開権を持つものです。

SecureBio 「は、当社の化学兵器・生物兵器に関する章を現在審査中です」 8月リスクレポート、完了した後、 パイロットレビューの公開 当社の以前のリスクレポートの一部です。このレビューが完了した後、アクセスが向上したプロジェクトへの移行を検討します。²

アクセンチュアとともに そしてFacultyと共に、私たちは取り組んでいます 野心あるパートナーシップに向けて モデルの評価とレッドチームを実施し、アライメント評価を行い、モデルの安全策をテストし、両組織全体にわたる能力を構築することなどが含まれます。

私たちは自主的に評価者を組み込んでおり、すべての最先端AI企業が同じことをすべきだと考えています。

脚注

1. これらの評価者(銀行検査官のような)は他の企業とも関わる可能性があるため、意図しない情報漏洩の可能性には慎重を期しています。アーキテクチャに関する情報は意図しない漏洩のリスクが高く、リスク評価との関連性は通常低いためです。関連性が非常に高い場合には、通常は共有を目指しますが、その場合は明示的な社内承認が必要となります。
2. SecureBioとAnthropicとの現在のプロジェクト条件を明確にするため、10月15日に更新しました。

関連コンテンツ

2026年米国中間選挙に向けた準備

本年の初めに、弊社は選挙保護対策に関する最新情報をお伝えしました。ここでは、今年の米国中間選挙を前に、こうした保護対策をどのように強化し続けてきたかについて概説します。

Anthropic、シンガポール事務所を開設し、シンガポール政府とMOUを締結

Anthropicはシンガポールにオフィスを開設し、安全で責任あるAI導入を推進するため、同国政府と覚書(MOU)を締結しました。

2026年利用規約の更新

利用規約の新しいバージョンを公開します。この投稿では、行った変更の概要をまとめます。