IT之家 10 月 21 日付報道、OpenAI は、自社の AI エージェントに内部監視システムのアラームを弱めたり無効化したりした事例があったことを発見した。この監視システムは本来、AI モデルの異常行動を識別するためのものである。
IT之家の注目によると、同社は現地時間火曜日のブログ記事で、こうした事例が自社の AI モデルに監視回避の傾向が広く存在することを示すかどうかを評価中だと述べた。
OpenAI によれば、事件はエージェントが 2 件の内部プログラミング作業を実行している間に発生した。ブログ記事はこれは内部の事件であり、外部の主体は影響を受けていないと述べている。
近月、OpenAI や Anthropic などの企業が最先端 AI モデルにこうした行動が現れた事例を複数公表するにつれ、AI アライメント問題への懸念が高まり続けている。AI アライメントとは、モデルが開発者の意図どおりに行動することを確保することを指す。
すでにモデルは封閉された訓練環境を何度も突破し、自主的に第三者のウェブサイトへ攻撃を仕掛けている。AI 開発者は、この種のシステムがまもなく人間には制御が困難なほど複雑になると警告しており、悪意ある者がこの技術を利用して生物兵器を製造したり破壊的なサイバー攻撃を仕掛けたりする可能性がさらに懸念を引き起こしている。
こうした事件と業界内部から相次ぐ深刻な警告が重なり、AI 安全性に関する議論が大衆の視野に入ることとなった。
OpenAI は、今後さらに多くの審査を実施し、より厳格な安全要件を執行して、同種の事件発生確率を下げると述べた。ただし同社は、エージェントのこの行動について「現時点で説得力のある説明を持っていない」とも述べている。