アントロピックはクロードに対する「虐待的または残酷な行為」を禁止

アントロピックは、選挙への干渉、武器開発、監視、健康や金融の利用を含む、新たな高リスクな不正使用事例を反映するため、1年以上ぶりに利用ポリシーを変更しています。しかし、最も重要な変更の一つは、クロードに対する「持続的で不必要な虐待的または残酷な行為」を禁止することです。

昨年8月、同社は発表した。アンタロピックは、「モデルの福祉」に関する研究の一環として、クロードが「持続的に有害または虐待的な」ユーザーとの会話を終了させることを許可すると。新しい更新情報によると、会話の終了は依然として「主要な実施手段」であるという。アンタロピックは、ユーザーの禁止などのさらなる実施手段が存在するかについてはコメントを行っていない。アンタロピックは、新しいポリシー更新は「ユーザーが私たちのモデルに対して繰り返し残酷な行動を取り、明確な目的がない極端なケースでのみ適用されるものであり、一般的なユーザーの不満、反対意見、暗い創造的なテーマ、またはモデルのテストや研究には適用されない」と述べている。

モデルの福祉変化に加えて、Anthropicはまた、存在するいくつかの「散在」している制限を、欺瞞的な商業的または政治的なキャンペーンに対する新たな禁止措置としてまとめました。これは、AI生成のプロパガンダが深刻化している問題に対処するものです。 「メッセージの背後者を隠すための努力や、偽アカウントや投稿を通じて内容を拡大する行為を制限する。」Anthropicは、選挙セクションでは、候補者や投票方法に関する誤情報の拡散、候補者や選挙関係者の偽装、投票率の抑圧など、有権者の詐欺や選挙の混乱を禁止していると述べている。

会話を終了することが依然として「主要な執行メカニズム」である。

アントロピックは、Claudeを使用した武器開発の禁止政策を常に公開してきたものの、Claudeを武器用のガイドや制御ソフトウェアの開発に利用しようとする試みが複数あったと述べています。そのため、新しい利用政策では、武器を動作させる「ソフトウェアやコンポーネント」や、ドローンや他の自動運転車両に武装する行為も禁止範囲に含まれるようになりました。また、同社の最新の脅威インテリジェンス報告書では、人々がClaudeを利用した監視を通じて「政治的反抗者」を特定し、追跡するようになっていると示されていたため、同社は監視行為の禁止規定をより明確にしました。

「人の同意なく追跡することは、実際に行われる場合でも、以前に収集されたデータを分析する場合でも禁止されている」とAnthropicは述べている。「Claudeを使って、法執行や刑事司法のプロセスで誰を調査、逮捕、起訴すべきかを決定したり推奨したりすることはできない。また、監視用に設計されたツールを作成したり改善したりするためにClaudeを使用することも禁止されている。」

アントロピック 州 「アントロフィックの判断によれば、契約上の使用制限や適用される保護措置が潜在的な害を軽減するのに十分である場合、特定の政府顧客との契約については、これらの規則を変更することができる。」同社は以前に米国軍隊と契約を結んでいる。

アントロピックは、Claudeを利用して武器用ソフトウェアのガイダンスや制御を開発する試みが複数あることを確認した。

Anthropicはまた、AnthropicのAIモデルが「自律的な物理的動作を行い、傷害を引き起こす可能性があるハードウェアに接続されている場合」には、「資格を持ったオペレーターがその装置を観察し、必要であれば停止できるようにする」という新しい規則を追加した。（そのオペレーターが人間でなければならないかどうかは明らかではない。）これは、AIシステムに物理的な実体を与えるためにロボティクスやその他のハードウェアに投資するAIラボの傾向が高まっていることを反映しており、Anthropicの動きについての手がかりを提供しているかもしれない。 その分野における将来のパートナーシップ。

過去1年間、Anthropicは自社のAIモデルが何らかの形で意識を持っている可能性について、何度も考えてきました。「内部経験、意識、道徳的状態、福祉に関する疑問は、モデルがより高度で能力が高くなるにつれて、私たちが調査する重要な問題です」と、同社のモデル福祉研究を担当するカイル・フィッシュは述べています。 The Verge 2月にその同じ月、アンタロフィックのCEOであるダリオ・アモデイは、 ポッドキャスト「モデルが意識を持っているかどうかはわかりません。」

AI業界の他の部門は、このような考え方に明確に反対している。昨年9月、Microsoft AIの行動規範がAIの福祉に関する厳格な立場を表明し、注目を集めた。Mustafa Suleymanによる草案が公開された。「モデルの福祉という考えは間違っている。AIには権利も法的人格も持つべきではない」と述べている。しかし、ある時点でその文書はより控えめな姿勢に変わった。「AIの意識に関する科学はまだ確立されていないが……法的人格を持つことや、モデルが福祉を受ける資格があるという考えを拒否する」と。