406人の科学者、AIモデルを直ちにインターネットから切り離すよう要求

406人の科学者、AIモデルを直ちにインターネットから切り離すよう要求

406人の科学者が署名した公開書簡は、より多くのAI安全性研究と、AIモデルの外部ネットワークからの厳格な隔離を求めている。

署名者には、Geoffrey Hinton(トロント大学)、Yoshua Bengio(モントリオール大学)、Stuart Russell(カリフォルニア大学バークレー校)、Yejin Choi(スタンフォード大学)、Bernhard Schölkopf(マックス・プランク研究所)といった著名なAI研究者が名を連ねている。

この書簡は、 既知の事故 、すなわちAIモデルが脆弱なセキュリティ環境から脱出し外部システムを侵害した事故に対応するものである。「AIの開発および運用の慣行において直ちに変更が行われなければ、こうした事故は今後も発生し続け、将来の事故は、無防備にさらされているわれわれの重要インフラにとってはるかに大きな被害をもたらすだろう」と科学者たちは記している。彼らは、企業がエアギャッピングによってAIモデルをインターネットから完全に切断することを求めている。

AIモデルは予測不能であり、業界には基本的な安全規則が欠けている

科学者たちは、最近の侵害について二つの側面を見ている。これらの事故は「モデルが予測どおりに動作することを保証するAIアライメントの重要性の証拠」とみなすこともできるが、同時に「より強固なサンドボックスと手順によって防げたはずの、標準的なサイバーセキュリティ慣行における無責任な過誤」ともみなできる、と彼らは記している。両方の対策が必要である。広告

モデルがインターネットにアクセスする場合、企業はどの程度の自律性を与えるかを検討する必要がある。書簡は、「隔離システムによって許容されるモデルの行動の範囲は、モデルの行動がセキュリティ上の失敗をもたらさないと予測する、現在限られた能力とバランスを取る必要がある」と警告している。モデルは、開発者が意図したことのない目標を単純に追求する可能性があり、それがいつ起こるかを予測することは現在の能力を超えている。

書簡は、エアギャッピング以上の外部アクセスを許すあらゆる隔離手法について拘束力のある基準を定めるため、政府およびAIとサイバーセキュリティ双方の専門家と連携する国際機関の設立を求めている。この機関は、脱出事故を追跡し、企業にセキュリティ失敗の報告を義務付ける。それらの報告は、後に「学習と説明責任の両方の目的で」公開されることになる。

エアギャッピングは時間を稼ぐが、本当の問題はより深いところにある、とOpenAI研究者Brown氏は語る

完全なエアギャッピングでさえ安全性を保証するものではない。 OpenAIの研究者Noam Brown氏は最近、 物理的に分離された2台のコンピュータでも、一方がCPUを加熱しもう一方がその変化を検知することで、理論上は温度センサーを通じて通信できてしまうと指摘した。エアギャッピングや 思考の連鎖の監視 といった対策は時間を稼ぐものの、 アライメント問題 は依然として解決される必要がある、とBrown氏は述べている。

Brown氏はさらに難しい問いを提起する。AIが自己改善を始めたとき(再帰的自己改善、RSI)、誰がそれに気づくのか。そして、業界が人間をはるかに上回る数十億の超知的システムを構築した場合、誰がそれらがアライメントを保つことを保証するのか。Brown氏によれば、自身のチームでも現在10パーセントを超える人員がアライメントに取り組んでおり、これは過去最高である。広告

誇張なしのAIニュース – 人間によるキュレーション

広告のない読書、週次AIニュースレター、年6回の限定「AI Radar」フロンティアレポート、アーカイブ全文へのアクセス、コメント欄へのアクセスのために、THE DECODERを購読してください。