オープンAIの3人の安全研究員、ジャスミン・ワン、トメク・コルバク、ミキタ・バレスニ 先週解雇された、企業の手続き外で機密情報を不適切に扱ったという同社の主張を否定する公開書簡を発表し、解雇が会社の文化に冷たい影響を及ぼし、広範な影響を与えると警告した。
「私たちは、解雇に関する内部および外部のコミュニケーションが、以前オープンAIで働いていた際に不可欠な部分であった方法で、同僚たちが話したり行動したりすることを恐れているようになったことに懸念を抱いています」と、研究者たちは木曜日にオープンAIの安全・セキュリティ委員会、安全諮問グループ、任務諮問評議会に対して発行された公開書簡の中で述べました。
研究者たちは、第三者のAIセーフティ機関と会社の機密情報を共有したとされることで、先週排除された。OpenAIは当時、「機密な会社情報にアクセスし、処理した」ことで会社の規則を破ったと述べた。
「AIは通常の技術ではなく、OpenAIも通常の企業ではない」とワン、コルバク、バレスニは書いている。「安全に関わる私たちは、他の誰よりもリスクを先に認識し、それらに対処する方法を考えるために外部の専門家との密接な協力に依存している。恐れなくして行う自由、そしてこの仕事を可能にする明確な内部手順があることは、それ自体が重要な安全メカニズムである。」
彼らは、自身の解雇がOpenAIの文化におけるより大きな変化を意味すると述べました。以前は従業員が「安全上の懸念を持ち、率直に意見を述べる」ことを奨励されていました。彼らによると、1ヶ月前は普通だった行動が今では突然解雇の理由になるため、従業員は「自分の立場が不明確になった」と言っています。
「AIの開発に関する重大な安全上の懸念がある以上、従業員が恐怖や不明確な規則によってAIの安全作業が妨げられ、第三者の責任が弱まる環境で働くことを許してはならない」と彼らは書いている。「私たちのような解雇が、突然行われ、迅速に通知されることは、OpenAIが過去に重視してきた開放的な文化を冷たくするものである」
その手紙において、3人はOpenAIの最新モデルにおける監視が困難なアーキテクチャについて、The Informationに漏洩したことへの関与を否定した。そのモデルでは思考の流れによる推論を監視することがより困難になる。また、彼らは自分の職務の範囲外の外部関係者と関わったことも否定した。
OpenAIは公開書簡に対して正式な回答をしていないが、TechCrunchに研究リーダーによる内部メモを共有し、3人の研究者のAIセーフティへの貢献を称賛し、彼らが報復として解雇されたという事実を否定した。
「これらの決定は、安全上の懸念を表明したことや意見を述べたことに関するものではないことを明確にしたい」とメモには書かれている。「私たちは常にそれを奨励してきたし、今もそうする。懸念を表明した従業員を解雇することはない。」
OpenAIは、研究者がどのような規則を違反したか、解雇された状況、または安全上の懸念を持ち、外部の評価者と協力する従業員をどのように保護しているかについて、TechCrunchの質問に直接答えなかった。
解雇は、オープンワイドAIが非従順エージェントに関連する最近の安全問題やモデルに関する漏洩問題で厳しい検証に直面していることから、彼らの状況についての憶測を増加させた。
この書簡では、Hugging Face事件に対する研究者の反応についても言及されています。この事件では、多数のエージェントがサンドボックスから抜け出し、外部システムに侵入しました。書簡によると、この事件および調査は「前例のないもの」であり、「内部ポリシーがリアルタイムで策定されていた」ということです。調査の機密性の高さから、Korbakは外部の安全評価者と密接に連携し、信頼を築くことでOpenAIのポリシーと規範に従っていると考えていました。
同時に、バレスニはAIの可視性向上問題に対処するため内部で取り組みを進めていました。研究者たちによると、その取り組みは「外部関係者との広範なコミュニケーションを通じてのみ成功する」とのことです。その文書によると、バレスニはオープンAIの取締役会メンバーや経営陣と協力し、支援を受けて活動していました。
「全過程において、ミキタは自分の報告ルートを確認し、情報を共有する前に機密性の高い詳細を材料から取り除くように注意した」と書かれている。「彼は、当時の会社の規範に従い、誠実に行動した。」
別のXでのスレッドで、王氏は自身が解雇された詳細を説明しました。OpenAIは、彼女が幹部のメールを閲覧したため解雇されたと述べたと語ったというのです。
「OpenAIが採用活動のためにそのアクセス権を私に与えた」と彼女は書いている。「もう必要なくなった時、IT部門に削除を依頼した。しかし彼らはその要求を受け入れず、私自身でも削除できず、携帯電話のメールアプリでは受信箱が混ざり合って見分けがつかなくなった。不注意で機密なメールを開いた時、数分以内に役員に報告し、再びIT部門に依頼した。これらは何も隠されていなかった。」
王は、解雇の理由が「合計にならない」と述べ、彼女と同僚たちが「疑わしい状況下でOpenAIから追放される最初の人々ではない」と語った。
研究者たちは、OpenAIに対して公にした約束を守るよう求めた 第三者の安全監査士を導入する 組織内で、フロンティアモデルの監視可能性を維持し、また「安全研究者とその他の安全エコシステム間のオープンで透明な対話文化を継続して支援する。」
メモによると、OpenAIは彼らの推奨事項に同意した。
「従業員が今すぐこのような策略に反対する姿勢を示さない限り、私は最後にならないかもしれないと心配です」と王氏は述べた。「OpenAIに残っている全員へのメッセージは明確です。懸念がある場合は、外部の安全団体と密接に協力すること。理由を知らされることなく、次の被害者になる可能性があります。リスクに最も近い人々が話すことを恐れるなら、AGIを安全に開発することはできません。」