Anthropicは修正版S-1ファイルにおいて、同社がまもなく再帰的自己改善(RSI)に関連する能力閾値に到達する可能性があると開示し、AIによる自社研究開発の加速が新たな安全性リスクをもたらす可能性があると警告した。
11月の報道によると、Anthropicは月曜日に提出した修正版S-1Aファイルにおいてリスク要因の開示を更新し、同社がAIシステムを自社の研究開発の加速にますます活用しており、モデル能力の向上速度が安全性検証、較正、保障措置の整備速度を上回る可能性があると指摘した。Anthropicは、過去にAI支援による研究開発がもたらしたモデル能力の飛躍を適時に察知できなかったことを認め、今後も同様の状況が生じる可能性があるとしている。
ファイルは特に、同社の将来モデルに対する内部評価と予想に基づき、Anthropicがまもなく「責任あるスケーリング政策」におけるAIが自らの発展を著しく加速させることの定義、すなわち再帰的自己改善(RSI)に関連する閾値に到達する可能性があると述べている。ただし同社は、現時点で既存のいずれのモデルもこの基準に達したとは認定しておらず、関連データの評価を継続していると強調した。
RSIとは、AIが自らの能力を活用してモデル研究開発を継続的に改善し、それにより能力の反復的加速が生じるプロセスを指す。Anthropicは、これが生産性向上や科学の発見を推進する可能性がある一方、技術進歩の速度が人類の安全性ガバナンス能力を超える可能性もあると考えている。
このためAnthropicは、技術的に実現可能であったとしても、実質的な人間の監督と理解がない状況でClaudeに次世代フロンティアモデルを自律的に設計・構築させることはないとし、「責任あるスケーリング政策」の更新を検討して、人間が常にフロンティアモデルの研究開発を支配下に置くことを確保していると表明した。