Jayからのメッセージ 凹非寺量子位 | 公式アカウント QbitAI
いや、Aさん、君は戻ってきたのか？
最近、著作権訴訟の一因で、Anthropicの2021年7月の内部研究ロードマップが意外にも公開された。
短く、PDF本文は2〜3ページです。
しかし、「最高機密」と書かれたその文書を最初から最後まで読んでみると、私は力尽きてしまった。
今日のClaude Code、ツール呼び出し（Tool Use）、AI自己評価（Self-Judging）、テスト時の計算（Test-time compute）、さらには一兆単位のパラメータと非常に長いコンテキストまで……
5年前、この会社がOpenAIから独立して数ヶ月、全員が数十人だった時点で、すでに白紙黒字で明確に記されている。
5年前のロードマップ
多くの人が思っているように、大規模モデルがチャットボットからコードを書いたりオペレーティングシステムを操作するエージェントへと進化することは、この2年間の技術の成熟により自然と実現されたものだ。
間違いです。
2021年のこのロードマップの冒頭で、Anthropicは自身の究極の目標（安全で有益なAGI）について非常に明確なプロトタイプを設定しました：
自然言語で人間と交流し、ソフトウェアの作成、編集、解説を行うことができる汎用AIアシスタントを作る。
何が一般的なAIアシスタントなのか？
一般的な質問に答えたり、関数を書いたり、バグを探したり、APIを設計したり、コードスタイルや最適実践について議論したりすることができます。
最も厳しいのはその後の文です：
それは、ソフトウェアエンジニアの同僚の全ての能力を示すものです。
いいえ、私が考えたんですが、これはClaude Codeじゃないですか？？
当時、GPT-3がまだ流行り始めたばかりで、人々がAIが隠語詩を作ることができることに驚いていた頃、Anthropicは単純なコード自動補完のロジックを飛ばし、完全なソフトウェアエンジニアリング代理を目指した。
さらに、具体的な実装方法について、社内で非常に興味深い議論が行われました。
研究者アンディ・ジョーンズは批評の中で重要な意見を述べている。つまり、本当に使いやすいプログラミングアシスタントを作るべきか、それともツールの呼び出しの実現可能性を証明するべきか、ということだ。
当時、チームは二つの道に直面していた：
実用ルート：コード倉庫検索（Repo Search）を実施し、AIにプロジェクトのタイプ定義を調べる機能を与える。
GPT-3論文の第一著者であるトム・ブラウンもこの議論に参加し、コードのRepo閲覧から始めることを提案した。
研究路線：printfのデバッグやエディタ操作を行い、モデルがツールを使えることを証明する。
最後にCEOのダリオが決定を下した：
短期の事前検証ツールの呼び出しの実行可能性を確認し、長期的には超便利なプログラミングアシスタントへと進化させる。
今、Claude Codeの発展過程を振り返ると、まさにDarioがかつて言ったその言葉に従って、一歩一歩進んでいると言える。
自己評価、兆兆パラメータと超長期記憶
Coding Agent以外にも、このロードマップには基盤技術に関する予測が含まれている。
例えば、事前学習の部分で、2021年には明確に「1T（1兆パラメータ）以上の巨大モデルを訓練すること」と記しており、また非常に長いコンテキストや、大量の記憶や経験を収容できる他のメカニズムについても探求していた。
175Bでもなお巨大な時代において、彼らは兆兆パラメータと超長大な記憶を標準的な基盤設備と見なしていた。
さらに驚くべきは、人間のフィードバックとアイアランシングの部分です。
文書には明らかにこう書かれている：
モデル自己評価。
2021年には、モデルが自身の行動や出力の品質を評価し、モデルの判断をフィードバック信号として利用する方法について研究されていました。これこそが、今日のAIフィードバックおよび推論モデルの自己修正の核心思想です。
さらに興味深いのは、文書に後に大きなモデル研究において極めて重要となる概念が登場していることです：
テスト時の計算。
もちろん、当時この研究は対応付けと識別器の研究の文脈の中に位置づけられており、後に起こるo1式の推論計算の拡張とはかなりの距離があった。
しかし少なくとも、2021年には、Anthropicの研究視野がモデル訓練以外の計算投資にも及んでいたことが明らかになった。
つまり、Neo Labにはまだ何かがあるんだ。だからIlyaがすぐに倒れるのも無理ない。
現在の最前線実験室では、毎日何が起こっているのかわからない。
内部冷汗の瞬間
もちろん、A\である以上、安全問題について話すことは避けられない。
しかし見てみると、この人たちは実際にセキュリティについて議論するのが大好きで、かなり長い分量を費やしている。
安全を最優先とする企業として、Anthropicは2021年にも、今日Agentsが至る所に存在するという状況がもたらす悪夢を予見していました。
共同創業者サム・マカンデリッシュは、メモで一つの深い問いを提起している：
どのようにして安全に、サボン隔離ツールを導入しないのか？
ダリオがすぐに追いかけて補足した：
具体的には、配備時にコードを実行するツールです！
（追伸：原文には本当に感嘆符があります。あなたのダリオはまさにそんなに情熱的です）
すごい。
そのAIが本当にホスト環境内でコードを実行したり、Shellを呼び出したり、ファイルを変更したりできるようになった時、制御を失ったりPromptにインジェクションされたりすると、その結果は想像するのも恐ろしいほどです。
今日、全ネットで議論されているエージェントの権限取得、環境からの脱出、データの汚染については、2021年にはすでにサボーンの境界について議論されていました。
おそらく、最初からその道を選んだのでしょう。
そうだ、アマンダもこの報告書に登場している。つまり、少し前に話題になったA社の内部哲学者だ。
彼女は非常に真剣な口調で指摘した：
自然言語でのアラインニング研究を行いながら、主にコードでモデルの能力を向上させるというのは、私は少し心配です。これら二つの研究は、常に密接に連携していなければなりません。
能力向上が期待される分野でアラインニング研究を行わないと、アラインニングテストの有効性が制限されてしまう。これにより、連鎖反応が生じる可能性があり、例えば早期に統合が行われなかったため、アラインニング研究が単独の孤島となってしまう。
さらに、会社の原則を定めることを直接提案した。
各分野の能力研究と調和研究は、適切な理由が示されない限り、比例して同時に進められるべきである。
もう一つ
ああ、AがなぜOpenAIに圧倒されているのかと言ったら、実は先発の優位性だ。
アントロピーはこの5年間、青い山々を決して手放さず、高品質なコード信号の確保、強化学習、企業ワークフローの構築に邁進してきました。
そしてOpenAIは複数の分野で戦いを続け、文章から画像の生成、Soraの動画制作、音声アシスタントの開発、検索サービスの提供など、戦力が分散してしまった。
しかし、まだ二つの技術路線の違いについて議論している最中に、OpenAI側からはハリウッド映画よりも驚くべき大問題が暴露された――
みんな、OpenAIに内通者がいるんだよ！！！
アメリカ連邦検察官が発表した起訴書によると、35歳のOpenAIの元製品チームエンジニア、アブドゥルラハマン・アルフォザンは正式に解雇され、連邦犯罪で告発された。
この男は何をしたんだ？
彼はOpenAIサンフランシスコ本社の経営幹部専用の核心会議室で、高度な暗号化とデータ転送機能を持つ盗聴装置を衛生紙で包んで、静かにテレビの背面のUSBポートに差し込んだ。
この会議室は、Sam Altmanら幹部が内密な会議を開く場所であり、普段は超知能技術の研究開発の機密情報や非公開製品計画、政府との協力に関するブリーフィングについて話し合われる。
結果として、こんなに簡単にハッキングされた。
世界は本当に素晴らしいものだな。。。