雷峰网 AI更新日

5年前の機密文書が流出:Anthropic のすべての勝利は、早くも 2021 年に書かれていた

5年前の研究開発リストが、現在の AI 業界の大半の成果を実現していた。 著者丨高允毅 編集丨岑峰 最近、著作権訴訟の過程で、Anthropic の内部機密文書『Concise Research Roadmap』が偶然にも暴露された。これは Anthropic の5年前の研究ロードマップである。 この文書は Anthropic の共同創業者 Jared Kaplan…

5年前の研究開発リストが、現在の AI 業界の大半の成果を実現していた。

    著者丨高允毅

編集丨岑 峰

                                                                                                       

最近、著作権訴訟の過程で、Anthropic の内部機密文書が偶然にも暴露された『Concise Research Roadmap』、これは Anthropic の5年前の研究ロードマップである。この文書は Anthropic の共同創業者 Jared Kaplan によって執筆されたもので、わずか三四ページだが、今日私たちが議論している Coding Agent、Tool Use、長いコンテキスト、RL、自動化フィードバック、さらには Agent の安全問題まで登場している……この文書には、Anthropic の「最強の頭脳」たちによるびっしりとした注釈が集められている。たとえば、Anthropic の共同創業者 Tom Brown は「リポジトリ閲覧は簡単で高価値な入り口だ」と指摘し、システムと解釈可能性の研究科学者 Nelson Elhage は「プロジェクト内の型定義を自動で検索する」ことがユーザー価値の非常に高い機能になると予見していた。「最強コーディングアシスタント」と「ツール能力のデモ」という路線対立を前に、CEO Dario はその場で方針を定めた:「短期的にはまずツール使用をデモし、長期的には最強のコーディングアシスタントを作り上げる。」 アライメント科学者の Amanda Askell はより深い懸念を提起した:「自然言語分野でのみアライメントを行い、コード分野では能力研究だけを行えば、必ず乖離が生じる。」彼女は、安全と能力はいかなる段階でも緊密に結び付けられなければならないと強調した。思い起こせば、その年 Anthropic は設立まだ半年で、資金調達総額はわずか 1.24 億ドルだった。その時点で ChatGPT が世界を席巻するまであと 16 か月、Claude 1 のリリースまであと 20 か月だった。業界全体がまだ大規模モデルが過渡的な製品なのかを疑っていた。OpenAI を飛び出したこの人たちは、すでに一歩一歩「極めて高い GPU 利用率の実現」「長いコンテキストの研究」「ツール使用の強化学習」「社会への影響の評価フレームワーク」を計画していた……その後の5年間、彼らはロードマップ上のすべての分岐を実現し、驚くべき答えを提出した。Claude 1 から Opus 5 まで、憲法 AI(Constitutional AI)から解釈可能性まで、さらに最近の Computer Use、MCP プロトコル、Claude Code、ハイブリッド推論に至るまで、すべて 2021 年のあのロードマップの中にアンカーポイントを見つけることができる。

01


2021 年の Anthropic は、

一体何を見抜いていたのか?

2021年、ChatGPT はまだ登場しておらず、業界全体が大規模モデルの応用の方向を模索していた。しかし Anthropic は内部文書の中で AGI の核心的な道筋を明確に記していた。それは、長期記憶能力を持つ大型生成モデルを作り、自動化報酬と人間のフィードバックを組み合わせた強化学習(RL)によってファインチューニングを完成させる、というものである。すべての研究プロジェクトは、この中心を軸に行われた探索実験だった。彼らは、この路線を検証する最初の担い手が「対話型ソフトウェアエンジニアアシスタント」だと考えた。それは対話を通じてソフトウェアの作成・編集・解説を完成させ、関数を書き、バグを見つけ、API を設計でき、コードスタイルやエンジニアリングのベストプラクティスについても議論でき、最終的にはソフトウェアエンジニアの同僚の水準に達するものだった。これこそが今日の Claude Code の具体的な原型である。Dario Amodei はこのため二段階の実現スケジュールを定めた:短期的にはまず能力検証を優先し、長期的には深い生産性ツールを磨き上げる。チームはプリントデバッグやコードリポジトリ閲覧といった軽量なツール能力から着手し、その後、コード実行や自然言語ドキュメント編集といったより複雑なツール能力へと段階的に拡大していった。この目標をめぐり、彼らは「スケーリング」をすべての研究方針の最上位に置き、当初から兆パラメータ規模に備えていた。Jared Kaplan は Scaling Laws 理論の第一著者であり、この認識を OpenAI から Anthropic に持ち込み、早くから兆(1T)あるいはそれ以上の規模のモデルをどう訓練するかを考えていた。超大規模パラメータモデルそのものに加え、彼らは GPU 利用率を高める方法を議論し、TPU、Trainium などの次世代ハードウェアへの早期対応を進め、ブロックスパースアテンションのような複雑なエンジニアリングをカプセル化して非専門家でも容易にハイパーパラメータを設定できるようにする方法、そして大規模モデルの重みといったコア資産のための安全防護体系をどう構築するかを検討していた。Anthropic はさらに、事前学習とデータを非常に重視していた。彼らは当初から業界最高性能の言語+コードの両方に対応した基盤モデルを訓練し、その後のすべてのファインチューニング、機能探索、能力の反復のための基礎とするつもりだった。彼らは早くから全工程にわたる高品質データセットの構築に着手した。自然言語とコードだけでなく、Diff(バージョン差分)、PR(プルリクエスト)、デバッグ記録、コード実行の評価結果までカバーし、ソフトウェア開発の全工程データを完全に網羅していた。データ品質についても非常に細かくこだわり、データのフィルタリング、移行、ファインチューニングから多様性の最適化まで、全プロセスを一つ一つ磨き上げた。こうしてデータの土台を固めることで、その後より高度な強化学習環境で比較実験や能力の反復を行っても、道を外すことがないようにした。同時に、彼らは兆パラメータあるいはそれ以上の規模を支える機械学習の基盤技術に早めに取り組み、超長いコンテキスト能力の探索や、膨大な記憶と経験をカプセル化できる同等の外部アタッチメント方式の研究も並行して進めた。能力とアライメントを同時に推進することは、Anthropic が文書の中で示したもう一つの大きな特徴である。Amanda Askell は文書のコメントの中で、コード能力とアライメント研究の乖離のリスクを早くも予見していた。一方ではコード能力が持続的に強化され続けるのに、対応するアライメントの制約が欠けている。他方では、アライメント研究が依存するモデルの能力が不足すると、テストの深さや成果の実用価値も制限され、長期的にはアライメント研究が能力の発展から乖離した「情報の孤島」と化してしまう。そこで彼女は、各分野の能力研究とアライメント研究が比例して同時に進むべきだと要求し、安全はモデルの能力が成熟してから付け足すものではないとした。この原則をめぐり、Anthropic は具体的な研究方向を一式計画した。彼らは人間のフィードバックでモデルを訓練し、単に問題に答えられるだけでなく、自発的に助けを提供し、フィードバックに応じて行動を調整し、ユーザーの意図が曖昧なときに自発的に質問を明確化できるようにした。チームはアライメントが失敗するシナリオを体系的に整理し、難易度ごとに分類・帰因し、アライメント効果がモデルの規模に応じてどう変化するかの法則を専門的に研究した。訓練を導く報酬モデルそのものも繰り返し検証された:適合する人間フィードバックデータ、Stack Exchange などの静的データセット、GAN 敵対的生成データ上で交差検証を行い、報酬シグナルが人間の意図に真に合致し、異なるデータソースの下でも十分に信頼できることを確保した。最終的にこれらの実験はすべて一般的方法論として蓄積され、人間のフィードバックをどう使えば最も効率的か、異なるアライメント目標にどれだけのデータとリソース投入が必要か、すべてが定量的に実装された。これこそが、Claude がいち早く金融、医療、法律などの高いコンプライアンスが求められる業界に進出できた理由である。Anthropic はさらに、「解釈可能性」の長期的な探索にも持続的に投資していた。Anthropic はモデルの内部で一体何が起きているのかを解明したかった。このため、解釈可能性分野の代表的な学者 Christopher Olah が、大規模モデルのニューロン、アテンションヘッド、内部の機能回路を専門的に分解した。Olah はさらに、データ・ツール方向の研究と解釈可能性の仕事を結合すべきだと提案した。彼らは、算術推論、マルチターン対話、コード生成が、神経ネットワーク内部で一体どう実現されているのかを、根源的なメカニズムから解明することを望んでいた。 彼らは RL for Tool Use を重要な研究方向として列挙した。研究の核心は、大規模言語モデルにツールの使用を学ばせ、環境と目標を理解させ、強化学習を通じて絶えず改善させることだった。当時、彼らはすでに情報検索やプリントデバッグ(printf debugging)などのタスクを研究計画に列挙していた。これらのタスクは実用的価値があるだけでなく、次のことを検証するためにも使えた:モデルがツールに接続された後、単にテキストを生成する能力の限界を突破できるのか?教師あり学習に比べ、ツールとの相互作用と強化学習による訓練は、より良いスケーリング効果とより高い計算効率を得られるのか?Dario Amodei の視野はコードのシナリオにとどまらなかった。彼はさらに、自然言語エディタも探索に値すると提案した。たとえば、モデルに Google Docs のような環境でドキュメントを修正させれば、高価値な安全研究成果を生み出せるだけでなく、幅広い応用シーンも備えている。そしてこの二種類のエディタを支えるツールと基盤インフラの多くは汎用的だった。彼らが本当に検証したかったのは、モデルが「答えを生成する」から「ツールを借りて複雑なタスクを完成する」へと進めるのかどうかだった。この路線が成立すれば、能力の限界はソフトウェア開発からさらに多くのナレッジワークのシーンへと広がることになる。そして安全への配慮は、すべての研究方針の中に終始貫かれていた。この科学者たちは初日から一種のギーク的な理想主義を抱いていた。Sam McCandlish は当時すでに魂の問いを投げかけた:「非サンドボックス化されたツールをどう安全にデプロイするのか?」Dario はさらに警告した:デプロイ段階で直接コードを実行できるツールはリスクが極めて高い、と。今振り返ると、Agent 分野で日々議論されているサンドボックス隔離や権限遮断は、すべて彼らの当時の推演の中にあった。それだけでなく、彼らは会社を AI 倫理研究の「山頂の城」として築き上げ、学術界や政府とともに独立評価を行い、最高基準の安全フレームワークで業界全体の規範を打ち立てようとしていた。最終的に、これらすべてが Anthropic のフルスタックで閉じた研究マップを構成した:基盤の計算工学(GPU/TPU 対応、訓練効率)から、モデル基盤(事前学習、データエンジニアリング、長いコンテキスト)、コア能力(ツール呼び出し、コード生成)、安全体系(アライメント、解釈可能性、重みの安全)、そして社会ガバナンス(第三者評価、業界エコシステム)に至るまで、完全で明らかな弱点のない AGI 研究開発のクローズドループを形成した。

02


この5年間、Anthropic は何をしてきたのか

これらの議論を見た多くのネットユーザーは、神だと称した。「私たちが今競って作っているAgentは、あの人たちのTODOリストだったのか」。また、フロンティア研究者にとってはこうした見識はさほど珍しくなく、すでに多くが共通認識になっていると語るネットユーザーもいた。しかし、本当にすごいのは、これらの研究路線を軌道から外れることなく実際に実現できたことだという。5年後の今日、Claude は一度に 1M token の長文テキストを処理できるようになり、エンジニアリング用途に特化した記憶最適化手法も進化させ、大規模言語モデルは Opus 5.5 まで繰り返し更新されてきた。安全調整のラインにおいても、初期の人手によるアノテーションフィードバックに依存する訓練方式から、「AI が AI を監督する」憲法式訓練へ、そして現在のハイブリッド方式へと進化した。当時の文書に書かれていた研究路線は、Anthropic の各転換点における戦略的方向となった。2022年、Anthropic は最も核心的な「アライメント」レースにおいて、業界の認識を覆す方法論をいち早く提示した。2022年末、ChatGPT は RLHF(人間のフィードバックによる強化学習)によって一夜にして爆発的に人気となり、大規模言語モデルを一般の視野に引き込んだ。しかし、この手法の弱点も明らかだった:大量の人を雇ってアノテーションを行う必要があり、コストが高くスケールしにくく、アノテーター個人の好みが混入しやすい。ChatGPT の公開からわずか半月後、Anthropic は論文を発表し、 「憲法 AI」 という考え方を提案した:まずモデルに一連の行動原則を与え、次に一つのモデルに別のモデルの回答を評価・修正させ、反復的な改善を経て、モデルは有用でありながら境界を越えないことができるようになる。対内的には、モデル能力の向上に安全調整が追いつかないという問題を解決し、チーム初期の「能力と安全を同時に進めるべき」という懸念にちょうど応えるものだった;対外的には、Claude シリーズの鮮明な製品特性――礼儀正しく、抑制が効き、自ら境界を越えない――を定義し、同時代の GPT モデルと極めて強い識別性を形成した。訓練手法を固めた後、Anthropic はモデルをより大きく、より長くすることに着手し、2023年には製品と計算資源の両ラインで同時に突破口を開いた。この年の3月、初代 Claude が正式に外部との連携を開始し、長文テキスト処理と安全性を主打張りとした。使った人の多くは、同期の GPT-3.5 よりも「はるかに礼儀正しい」と感じた。これは Anthropic が初めて市場向けの実体ある製品を打ち出した瞬間だった。
5月、Anthropic は Claude のコンテキストウィンドウを 9K から一気に 100K token まで拡大し、これは約 7.5 万英語単語に相当する;2ヶ月後の Claude 2 パブリックベータもこの能力を引き継いだ。比較として、当時の主流だった GPT-4 は最高でも 32K(約 3 万余り token)のコンテキストしか対応できず、Anthropic 自身の前世代モデルは 10K 未満の容量しかなかった。この飛躍的な長文能力により、一冊の本やコードベース全体を一度に読み解くことが現実となった。安全体制も同時に整備されていった。9月、Anthropic は初版の《Responsible Scaling Policy》(RSP)を発表し、モデルの潜在的リスクに等級を設け、能力が高いほど安全管理を厳格化した。これは業界で初めての体系だった動的安全メカニズムである。2023 年 10 月には、Google がリード投資家を務めたラウンドにより、Anthropic の評価額は 184 億ドルに達した。世界の大規模言語モデル業界は初期の「一超多強」に別れを告げ、二つのトップ独立研究所が双璧をなす姿がかすかに現れ始めた。この年、世界の AI 業界も激動していた。GPT-4 のリリースが新たな能力の標準を打ち立て、OpenAI は長期安全に賭ける専門チームを設立し、マスクは xAI を創業し、グーグルは DeepMind を統合して Gemini を発表した。中国国内では「百模大戦」が始まり、百度、アリババなど大手企業の大規模モデルが相次いでお披露目され、智譜、Moonshot AI(月之暗面)、DeepSeek(深度求索)などのスタートアップも集中して資金調達を開始した。2024 年は Anthropic の爆発の年となり、あらゆる方向で代表作を打ち出した。3月、Claude 3 シリーズは三つの製品を一気にリリースし、フラッグシップ・バランス・軽量の三大シーンをカバーし、マルチモーダル能力も補完した。うちフラッグシップモデル Opus はデフォルトで 100K の処理長に対応し、長文テキスト評価で極めて高い精度を示し、初めて GPT-4 を逆転し、長いコンテキスト技術を確固たる製品競争力に転換した。続いて6月に登場した Claude 3.5 Sonnet モデルは能力が大幅に向上し、複数の核心指標で GPT-4o に追いついた;10月にアップグレード版が登場すると、このモデルはコード評価セット SWE-bench Verified で当時のすべてのクローズドソース競合を上回り、Anthropic はソフトウェアエンジニアリングとエージェント開発市場で明らかな競争優位を獲得した。真に Anthropic を一歩リードさせたのは、2024 年 5 月に巻き起こったあの解釈可能性ブームである。2021年、「解釈可能性」と「ツール使用強化学習」はいずれもあまりにも学術的で、パラメータを積み上げたりリーダーボードを競ったりするほど実利的には聞こえなかった。2024 年 5 月、Anthropic チームは疎自己符号化器(SAE)を用いて Claude Sonnet 内部の数百万個の特徴の「内部スキャン」に成功し、モデルから 3400 万個の特徴を抽出し、「ゴールデンゲートブリッジ」「プログラムのバグ」といった具体的な概念に対応する内部回路まで特定した。机上の空論でないことを証明するため、彼らは実験も行った:「ゴールデンゲートブリッジ」に対応する特徴を手動で活性化し、モデルがどんな質問に答えてもゴールデンゲートブリッジから逃れられないようにしたのだ。これは人類が初めて、商用レベルの大規模言語モデル上で内部メカニズムの精密な解釈と操作を実現したものである。これは、AI 安全研究がもはや「ブラインドボックスを開ける」必要がなくなったことを意味する。同時期に OpenAI も関連研究を行っていたが、具体的な進展は公表されなかった;中国の学術界にも追跡研究はあったが、製品レベルの検証はほとんどなかった。このレースにおいて、2024 年の Anthropic はほぼ圧倒的な独走状態だった。10月、新版 Claude には 「コンピュータ操作」機能が搭載され、モデルは人間のように画面を見、マウスをクリックし、キーボードを打ち、デスクトップソフトを自律的に操作できるようになった。わずか一ヶ月後、Anthropic はさらに MCP プロトコルをオープンソース化し、モデルと各種ツール・データの間の接続方式を統一した。これは AI アプリケーションの「汎用インターフェース」とも言える。これが MCP ブームを巻き起こし、2025 年第1四半期には OpenAI とグーグルが相次いで MCP 対応を宣言し、中国国内でもアリババ、テンセント、百度、支付宝が4ヶ月間で関連サービスを集中リリースした。各社が独自にツールインターフェースを作っていた状態から、MCP の統一利用へと、業界は半年で陣営選びを完了した。これは Anthropic が初めて、モデル能力ではなくインフラ層で競合に追随させた瞬間だった。

2024 年、Anthropic の評価額は年初の 184 億から年末には約 410 億に上昇した。評価額急騰の裏には、製品が本格的に収益を生み始めたことがあり、当時すでに Claude の年間売上は 10 億ドルを突破していた。

2025 年、Anthropic は重点をエージェントに置き、主戦場をソフトウェア開発に選んだ。2 月 24 日、Claude 3.7 と Claude Code が同時にリリースされた。前者は「クイック回答」と「深い思考」の二つのモードを切り替えられるモデルで、ユーザーは思考の度合いを自分で制御できる;後者は専用のコーディングアシスタントで、コードベース全体を自分で調べ、型定義を確認し、バグを修正し、コードをコミットし、テストを実行できる。この瞬間、2021 年の文書にあったすべての議論が現実となった:「リポジトリ閲覧は良いエントリーポイント」から「まず能力をデモし、次に生産性ツールを作る」というリズムまで、すべて一ミリも違わず実現した。大規模言語モデルはもはや単なるチャットツールではなく、パソコンの前で本当に働ける「AI の同僚」となった。5月にリリースされた Claude 4 シリーズは、長時間連続作業の能力をさらなる高みへと引き上げた。フラッグシップ版は数時間連続してプログラミングタスクを実行でき、複数のプログラミングテストでいずれも一位を獲得した。9月の 4.5 バージョンでは、コーディングとエージェント能力がさらに一段階上がり、AI の能力は初級エンジニアのレベルに達した。同時期、オフィス向け製品も相次いで投入され、Anthropic の生産性ツールはプログラマー層から一般ホワイトカラーへと拡大した。9月には、Anthropic が新たな資金調達ラウンドを完了し、評価額は約 1830 億ドルに達した。2026 年に入ると、競争はさらに深い層に移った。5月から10月にかけて、Anthropic は 5.5 世代の全シリーズモデルを集中的に更新し、フラッグシップから軽量まで順次リリースし、マルチモーダル・深い思考・エージェントの三つの能力が同時に成熟した。製品は単一能力の爆発を追求するのではなく、 「製品レベルの使いやすさ」 の全面的な磨き上げへと転換し、エコシステムでの発言権もますます重くなった。MCP はすでに世界の AI ツールの事実上の標準となり、モデルベンダーからアプリ開発者までが接続しており、Anthropic は真に「製品を作る側」から「ルールを決める側」へと変わった。そして安全フレームワーク、サードパーティの安全テスト、業界フロンティアフォーラムといった継続的な取り組みも、当時の「機械学習の山の上の都市を築く」というビジョンを一歩一歩実現している。今や世界の AI 業界は、OpenAI、グーグル、Anthropic の三社が先行する安定した構図を形成している。5年の間に業界の流行は何度も入れ替わり、無数の会社が話題を追って方向転換したが、Anthropic は当時描いた線に沿って着実に前進し続けた。多くの人は Anthropic が時代の幸運に恵まれたと言うが、このリークされた文書が証明するのは、彼らの今日の成果は本質的にすべて計画済みの技術的実現だったということだ。業界が暗闇の中を急いでいたとき、すでに誰かが地図を見通し、一歩一歩ゴールまで歩いていたのである。参考リンク:https://i.smitop.com/concise-research-roadmap.pdf

さあご乗車を。雷峰網(公式アカウント:雷峰網)が世界のAIトップ会議の精華をご案内します

独占的にご覧いただけます:

専門家の講演PPT

大会レポート全文

人気論文の解説

学術新星へのインタビュー

上のQRコードをスキャンするか

「阅读原文」をクリックして専用ページをフォローしてください。

雷峰網のオリジナル記事です。無断転載は禁止されています。詳細は転載须知をご覧ください。

原文の出典

雷峰网 AI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください