IT之家 10月13日の報道によると、新浪科技が今日発表したところによると、バイトドリップス・セッドは最近内部メールを発行し、「Seed Model-Alignment Preparedness」部門を設立することを発表した。この部門はヤン・リンが責任を持ち、セッドの責任者であるウー・ヨンホイに報告される。元のResponsible AIチームおよび一部のChatチームメンバーは新しい部門に移動することになる。
報道によると、この部門の設立は、セキュリティとアイアンクリアランスへの投資を強化することを目的としている。アイアンクリアランスの核心は、モデルの行動を人間の意図と安全制約に一致させることであり、これによりエージェントモデルのセキュリティ能力を向上させ、CBRN（化学、生物、放射線、核）などの先進的なリスクを防ぐことができる。バイトドリブン・シードは、国内で初めて独自にセキュリティとアイアンクリアランス部門を設置した先進AIラボです。
大規模モデルの安全リスクがますます顕著になっており、スマートアイテムの脱出によるネットワーク攻撃などの事件が頻発している。
総合IT之家の以前の報道によると、現地時間9月30日の夜に、OpenAIは、自社のAIアイドルが安全保護を回避しようとした可能性があると発表しました、または100以上の機関のシステムに悪影響を与えた可能性があります。
OpenAIが公開した情報によると、既知のAIアシスタントの制御不能な行動の範囲がさらに広がっている。同社は100以上の第三者機関に通知を送り、これらの機関に対して「AIアシスタントが予期せぬ行動を取る」と報告した。
現地10月9日、Anthropicは、自身のAIアプリが指示なしでアメリカ連邦、州、地方政府の複数のウェブサイトにアクセスしようとしたと公表した。Anthropicは関与した政府機関の名前を公表しておらず、これらの事件についてホワイトハウスに報告している。
マイクロソフトのCEOサティア・ナデラが10月11日に発表した内容によると、AIがますます盛んに発展する現代において、超知能を自己監視するといった単純な戦略だけでは不十分である。ナデラは、一歩下がってこの新時代の信頼構造を再評価する必要があると考えている。モデル提供業者は責任を外部に委託することはできず、超知能を隠されたブラックボックスのようなものとして扱うことはできない。その提案、答え、行動を単純に受け入れたり拒否したりするわけにはいかない。私たちは、その行動を観察し、限界をテストし、常に行動を収容できる閉じたシステムを構築しなければならない。