IT之家 10月19日の報道によると、Anthropicは外部評価者に対して「従業員同等のアクセス権限」を開放しました。これは、自身のモデルに存在するリスクを評価するためであり、安全保護を強化し、この技術が壊滅的な制御不能状態に陥る可能性があるという外部の懸念に対応するものです。
非営利団体METRは、OpenAI、Anthropic、Google、Metaなどの有名ラボと協力してきました。現在、この団体のチームがClaude開発企業のオフィスに入居し、そのハードウェア設備や内部システムを利用できるようになりました。
より強力な人工知能システムが経済やネットワークの安全、そして全人類に与えるリスクについて、ますます多くの懸念が高まっている中で、第三者評価担当者の権限と責任の範囲を拡大することは、各研究機関が提案している主要な実質的な措置の一つである。
アントロピックのCEO、ダリオ・アモデイは9月に珍しい立場の統一を達成した。彼の2大ライバルであるサム・アルトマンとエロン・マスクも、頭部人工知能ラボに外部監査員を配置するという彼の提案を支持した。
現地時間の先週木曜日に発表されたこの告知は、上記の約束を実行する第一歩である。オルテマンはアモディの提案が良いと述べているが、OpenAIは評価者を導入する関連計画をまだ公表していない。
アントロピックは木曜日に次のように述べています。「モデルの能力が向上するにつれて、より強固なセキュリティ対策とより厳格なリスク評価が必要となります。私たちは自身の決定が一般公衆の監視を受けることを望んでいますが、安全研究に関連するすべての情報を公開することはできません。」
Anthropicのこの評価メカニズムについて、批判者は関連する手続きが利益衝突を引き起こす可能性があると指摘し、監査業界に存在する問題を例に挙げ、より強力な政府規制が必要だと述べている。
アントロピックは、公開された関連情報が悪意のある利用者や競争相手に利用される可能性があると述べています。同社によると、評価担当者の運営モデルは銀行監督と似ており、監督機関は大規模な銀行内に常駐した審査員を配置します。
その会社は次のように述べています。「もし銀行がリスクを負う行為が公共の利益を脅かす場合、第三者はこのような潜在的な問題を事前に発見しようと試みるでしょう。」
アントロピックは同時に圧力に直面しており、投資家に対して安全に関する問題が今回の初回公開募集に影響を与えないことを保証する必要がある。このIPOの評価額は2兆ドル以上になると予想されている（IT之家注：現在の為替レートで約13.39兆元人民元に相当）。今週、同社は投資家向け資料で自身のセキュリティ対策について多くのページを割いて説明した。
以前、Hugging Faceは制御不能なOpenAIモデルによる攻撃に遭ったが、METRは調査に関与した機関の一つである。当時、この機関は数千件のログを調査し、企業が提供したノートパソコンも使用した。
アントロピックはすでに6人のMETR職員を受け入れ、彼らに会社のハードウェアやオフィススペースを提供し、また「社内ツールとシステムへのアクセス権を与えている。これは、同社のリスク評価チームが得られる権限とほぼ同等である」と述べている。
その研究所は、従業員に対し、リスク部門の同僚と接続するように、評価担当者に情報を共有するよう奨励していると述べた。
アントロピックはこの協力に対してMETRに費用を支払いません。この研究機関は人工知能企業やその従業員からの寄付を受け入れず、資金は個人、慈善団体、そして英国人工知能安全研究所などの政府機関からの支援によって賄われています。
評価担当者は分析報告を発表する。Anthropicにはその発表を拒否する権限はない。ただし、会社は評価担当者に対して、顧客データ、弁護士のクライアントの機密保持特権で保護される内容、またはモデル構造に関連する情報など、特定の種類の情報を削除するよう要求することができる。
アントロピックは、引き続きアクセンチュアと協力を続けている。アクセンチュアは先月、セキュリティテストのパートナーとして選定され、両社はそれぞれ少なくとも10億ドル（現為替レートで約66.93億元）を投じて新しいセキュリティ保護システムを構築することを約束した。
もう一つの第三者テスト機関はSecureBioで、この企業に対して化学兵器および生物兵器に関連するリスクを検査する責任を負っている。
アントロピックは次のように述べています。「私たちは自ら評価チームを派遣し、すべての先端的人工知能企業がこれに倣うべきだと考えています。」METRは次のように述べています。「私たちは、すべての先端的人工知能研究開発企業と協力し、一般大衆により信頼性の高い証拠を提供する準備ができています。」