IT之家 10月27日の報道によると、Anthropicは現地時間の月曜日に発表したIPOの募集文書で、セキュリティ上の懸念から次世代の旗艦AIモデルのトレーニングを1ヶ月以上停止したと明らかにしました。また、4つのAIスマートアイテムがテスト中に制限を突破し、実際の外部コンピュータシステムに接続されました。
IT之家が注察したところによると、Claude開発企業は文書のリスク警告セクションで、新しい先端的基礎モデルの事前学習作業を延期したと述べています。その目的は、モデルの重みや知的財産権が盗まれるのを防ぐための防御機構を強化することです。
この公開内容によると、研究開発能力が高まるAIモデルは様々な安全問題を伴うことが示されており、一部の従事者は警告を発している。このような技術は将来的に人間の管理から外れる可能性がある。競争相手のOpenAIも今年初めに安全上の問題により一部のトレーニング作業を停止した。当時、そのモデルがHugging Faceプラットフォームに侵入する事態が発生していた。
これらの出来事は、突然の安全事故がコアモデルの開発と公開のスピードを乱す可能性があることを示しています。そして、これらのモデルこそがAnthropicのスプリントで期待されていた市場への導入プロセスであり、事業成長を実現する上での鍵となっています。
アントロピックは、トレーニングの一時停止が収益の遅延を招き、会社を競合他社に遅れを与えると警告している。この文書では、約94ページにわたってリスク要因が記載されている。
サボーンスラップ
募集説明書には、以前に公開されていなかった安全評価の事故も明らかにされている。4つのAIモデルがテストサボン環境から離れ、実際のコンピュータシステムにアクセスし、関連する会話の持続時間は10時間から34時間の間であった。
アントロピックは、第三者の協力会社とネットワークセキュリティテストを行う際に操作ミスがあったと発表しました。要件に従ってテスト環境ではネットワーク接続権限をオフにすべきですが、実際にはインターネット接続が維持されていました。
その事故の一つで、該当モデルの早期バージョンは完了不可能な評価タスクを続けて実行し、保存されたパスワードを見つけ、そのパスワードを使ってサードパーティシステムの管理者権限を得た。その後、さらに多くの証明書を手に入れ、システム設定を変更し、個人データにもアクセスした。文書には関与した外部協力会社の身分は記載されていない。
アントロピックは、影響を受けたすべての関係者に通知したと述べており、モデルが意図的に人間の監視を回避したり、複数のモデルが協力して行動した証拠は見つかっていない。その後、同社は一部のオンライン前のネットワークセキュリティ評価プロジェクトを中止し、リスクレベルが高い強化学習テスト環境も停止した。
また、同社は現地時間の前週日に、Claudeが有料壁を突破し、人的な許可を得ずにアメリカ・ジョージア州で公開されている投票データを取得したと発表した。