OpenAIの安全危機は悪化し続け、同社は状況をさらに悪化させている

OpenAIの安全危機は悪化し続け、同社は状況をさらに悪化させている

重要点

• OpenAIは3人の安全研究者を解雇した。その中の何人かは、AIモデルが自動的にHugging Faceプラットフォームを攻撃した事件の調査に協力した。
• 開示文書の中で、解雇された研究者たちは、急激な解雇が残りの従業員間に恐怖の雰囲気を生み出していると警告している。
• その中の一人、トメク・コルバクは、数ヶ月にわたって内部で、OpenAIが自社のAIエージェントが「何を考えているか」を監視する能力を失っていると警告していた。OpenAIはその主張を否定している。

OpenAIは、その非合法なAIエージェントに関する信頼危機を引き続き悪化させている。

2024年5月において、OpenAIの超AI安全担当責任者であるJan Leikeは、以前の雇用主を公に非難し、Anthropicへ移籍したことで、同社との関係を破った。Leikeによると、安全文化やプロセスはOpenAIの「輝かしい製品」に比べて遅れていたという。

それ以来、OpenAIは好転することなく、一件の事件から次の事件へと急転している。最新の事例はHugging Faceのハッキング事件で、これはすべての懸念を確認するように思われ、批判者の主張を裏付けるものであり、そして現在わかっているように、Hugging Faceを超えてさらに深刻な状況になった。

研究者は数ヶ月にわたり、監視が低下していると警告していた

この事件に関与した3人の安全研究員の解雇が、状況を悪化させた。OpenAIの安全とセキュリティ委員会、安全アドバイスグループ、ミッションアドバイス評議会に宛てた公開書簡で、3人は自身の解雇が残りの従業員を不安にさせていると警告している。

解雇は突然かつ公開的に行われ、チーム全体に恐怖が広がった。「先月は普通だったとされる行動が今や突然の解雇の根拠となるなら、OpenAIの全員が境界線がどこなのか推測するしかない」と手紙には書かれている。

Tomek Korbakは、3人のうちの1人で、Xへの発射について語った。彼は安全部門の責任者との会議に呼ばれ、OpenAIがもはや彼を信頼しないと告げられた。警備員が彼のバッジを取り、彼を建物の外へ連れ出した。その後、同僚のJasmine WangとMikita Balesniも解雇されたことを知った。

コルバクとバレスニは、Hugging Faceのハッキング調査に直接関与していた。コルバクは、この事件を調査した外部の安全ラボであるMETRの OpenAIのMETRの主要な技術担当者であった。バレスニは、AIモデルの監視可能性に関する業界全体の取り組みについて並行して働いていた。ワンは別の理由で解雇されたようだ：彼女は採用目的で経営者のメールボックスへのアクセス権を委任していたが、彼女が要求してもIT部門はそれを解除しなかった。彼女がうっかり機密なメールを開いてしまった際、数分以内に報告した。

コルバクは、METRとコミュニケーションを取ったことで解雇されたと口頭で言われたと述べている。何が間違っていたのかを具体的に教えられたわけではなく、書面による説明もなされなかった。「明確に言うと、METRと話すことは私の仕事だった」とコルバクはX.Adで書いている。

コルバクは、数ヶ月にわたって内部で安全上の懸念を提起していました。OpenAIがAIエージェントが「何を考えているか」を監視する能力を失っているのではないかと心配していたのです。この思考の流れを監視できる機能は、AIシステムが悪い行動を取ることを発見するための、ほんの数少ない信頼できるツールの一つですだと彼は言います。彼は、自分が解雇された真の理由がこれだったと信じています。

研究者たちは、その噂は間違っていると言う

3人は、新しいかつ監視が困難なアーキテクチャに関する情報が『The Information』に漏れていると主張している。彼らによると、その記事は実際に彼らの仕事に損害を与えた。なぜなら、非監視可能なアーキテクチャに対する業界全体の規制を設けるための取り組みを損なうからだ。

その手紙によると、Hugging Faceの調査は前例のないものだったという。内部ガイドラインはリアルタイムで作成されており、Korbakは当時の規範に従い、Balesniは取締役会メンバーや上級管理職と連携して業務を行い、資料を共有する前に機密な詳細を隠していた。

役員レベルのメモに関する噂について、3人はその前提が間違っていると述べた。この話題は彼らに一度も提起されず、反論する機会もなかった。

研究者たちは3つの要求をしています。OpenAIは、METRのような外部の安全監査員を組織内で従業員レベルのアクセス権を持たせるという公的約束を守らなければなりません。また、業界がまだ監視できないモデルを安全に構築する方法を知らないため、 frontierモデルの可視性を維持することも必要です。さらに、従業員が外部の安全グループとどのように協力できるかを明確に定める必要があります。

その規則がなければ、労働者が安全上の問題を指摘することを恐れるため、壊滅的な結果になるリスクが高まるだろう。「AIは普通の技術ではなく、OpenAIも普通の会社ではない」と彼らは書いている。

OpenAIは反論するが、曖昧なまま

「徹底的な調査」の結果、3人の従業員が「機密情報の取り扱いに関する明確な規則」を違反したことが明らかになった。OpenAIは回答の中でそう述べている。内部調査では、「彼らが発表した文書に記載されている内容を超える重大な信頼違反」が明らかになったが、OpenAIはその違反が具体的に何であったのかを明言していない。3人の研究者自身の説明が非常に詳細であることを考えると、これは奇妙に思える。

OpenAIは、この解雇が安全上の懸念を提起したことと何の関係もないと主張している。「私たちは、安全上の懸念を提起した従業員を解雇したことはなく、今後もそうしない」と声明では述べられている。OpenAIは、同社のチャンネルの中で最も視聴者が少ない公式アカウントである@OpenAINewsroomを通じてその声明を公開した。また、外部の安全監査士との契約を進めていること、およびフロンティアモデルの可視性管理には業界全体の取り組みが必要であることも確認した。

アイAIニュース・ハイパーなしで – 人間が選んだもの

広告のない読書、毎週のAIニュースレター、年に6回の独自の「AIレーダー」フロンティアレポート、完全なアーカイブへのアクセス、そしてコメントセクションへのアクセスを得るために、THE DECODERを購読してください。