TasteVal と呼ばれる新しいベンチマークは、AI システムがどれだけ自律的に実験を設計し、その結果を解釈できるかを測定する。その結果は、異例なほど急峻な改善曲線を示している。
Anthropic 共同創設者の Jack Clark によれば、この能力は 2025 年 12 月以降、おおよそ 3 か月ごとに倍増しているという。研究ラボ P-Zero Research はこれを「研究の審美眼(research taste)」と呼んでいる。すなわち、適切な実験を選び、そこから正しい結論を導く能力である。テストされた最良のモデルは、24 人の人間の専門家からなる比較グループを、わずかなコストで上回った。
Clark は Anthropic を共同設立し、 Import AI ニュースレターを執筆している。この数字を踏まえ、彼は現在、AI システムが自らの後継を開発する再帰的自己改善(RSI)が早ければ 2027 年にも可能になる可能性があると考えている。これまで彼は 2028 年と予想していた。
このベンチマークは、AI システムがすでに自己改善していることを証明するものではない。なぜなら、それは科学的工作のごく狭い一部しか捉えていないからだ。しかし、議論がどこへ向かっているか、つまり生のモデル性能から、言語モデルが実際にどれだけの独立した研究業務を担えるかという問いへと向かっていることを示してはいる。
TasteVal は全体の一部しか測っていない
P-Zero Research は研究の審美眼を 3 つの能力として定義している。どの研究課題が追求する価値があるかを見極めること、それに答えるための実験を設計すること、そして結果を正しく解釈することである。TasteVal は最後の 2 つのみをテストする。最も有望な研究方向を選ぶことは科学的直観の核心とみなされることが多いが、TasteVal ではその決定はすでにモデルのために為されている。
8 つのタスクのそれぞれは、AI モデル開発からの固定された研究目標と、測定可能なスコアを指定している。タスクは、訓練データの選択、言語モデルの事前学習とファインチューニング、人間の選好に基づく訓練、敵対的プロンプトへの防御といった領域をカバーしている。
モデルは次にどの実験を実行するかを決め、その結果を次のステップの指針に使う。コーディング能力が結果を歪めないよう、固定されたコーディングエージェントが単一の Nvidia H100 GPU 上ですべての実験を実行する。各実行は 40 GPU 時間の計算、または 120 時間の実時間経過で終了する。
人間のベースラインは、最近 OpenAI、Google DeepMind、Nvidia、Microsoft Research などで働いていた 24 人の専門家から得られた。彼らは同じタスクに取り組み、各タスクに少なくとも 2 人が参加した。タスクごとの最良の人間の試みがベンチマークとして採用された。
計算効率を通じて測定される研究の審美眼
研究の審美眼を定量化可能にするため、P-Zero Research はこれを計算効率に変換する。その論理は、AI 研究では実験計算が希少であるため、適切な実験を選び、その結果を正しく読み取ることは、より少ない実行回数で同じ予算からより多くの進歩をもたらす、というものである。
同ラボは、その「AI Futures Model」を援用している。このモデルは、 コーディングが自動化されれば実験計算が最大のボトルネックになると予測している。そこで TasteVal は、専門家のスコアに一致するためにモデルがどれだけの計算を必要とするかを測定する。この 定義によれば、半分の計算でそこに到達するモデルは 2 倍の研究の審美眼を持つことになる。P-Zero Research はこの比率を計算マルチプライヤーと呼んでいる。
首位のモデルである Anthropic の Opus 5.5 は 2.3 の計算マルチプライヤーを達成し、半分未満の計算で専門家レベルのスコアに到達した。ただし統計的範囲は 1.15 から 4.37 に及ぶ。下限では、モデルはかろうじて優位を保つ程度になる。1 回の実行のコストは、専門家の試み 1 回の平均コストの約 30 分の 1 だった。
複数のモデル世代にわたり、計算マルチプライヤーは 2025 年 12 月以降、おおよそ 3 か月ごとに倍増している。ここでも不確実性は大きく、報告された倍増時間は 1.7 か月から 5.0 か月の範囲にある。
以前の年には、モデルの研究の審美眼ははるかにゆっくりと成長していた。曲線が急になり始めたのは 2025 年から 2026 年への変わり目あたりである。それが持続的な傾向かどうかは単一のベンチマークからは判断できず、著者自身も、自分たちの結果は「研究の審美眼がどれだけ速く向上しているか」を過大評価している可能性があることを認めている。これらのタスクは迅速かつ安価に検証できるものであり、まさに AI ラボが最も最適化しやすい種類のタスクである。比較グループには、トップレベルの研究者は含まれていなかった。
Clark、タイムラインを前倒し
Clark は昔から、創造性を AI システムが自己改善できる速度の鍵となる要因と呼んできた。今年初め、彼はモデルがまだ画期的な規模でこの能力を示していないと書いた。今彼は、数学的ブレークスルーや TasteVal のようなベンチマークにおける進歩を、これが変わりつつある兆候として挙げている。
5月の長文エッセイの中で、クラーク氏はより慎重な数字を示していた。彼は、より強い後継モデルを独自に訓練できるシステムの確率を 2028年末までに約60パーセント、2027年までに30パーセントと見積もった。この予測は、ベンチマークの首位を占めるモデルを持つ企業の共同創業者によるものであり、予測にはバイアスの層が加わることになる。
批評家たちはまさにこの能力を一線としていた
TasteValが重要なのは、大規模なAIブレークスルーの障壁として懐疑論者たちが指摘していたまさにその能力を測定するからだ。AI研究者のハービー・ブラッドリー氏はクラーク氏の5月のエッセイに反論し、モデルがジュニア研究者の仕事を引き継ぐことはあり得るかもしれないが、リサーチテースト、創造性、一貫した長期的な研究計画といったより高度なスキルはまだ全く見えていないと主張した。
実験の計画と評価に関しては、TasteValはその評価に反する結果を示しているが、長期的な研究課題の選定については何も語っていない。
実務上のギャップがどれほど残っているかは、復旦大学のチームが主導した AIエージェントを用いたAI開発に関する研究 に表れている。研究者たちは自社モデルの開発を分析し、AIエージェントが方法論の提案の最大55パーセントに貢献した一方で、最終決定の85パーセント以上は依然として人間が下していたことを発見した。著者らは、結果が出る前にAIが多様な研究の方向性を生成しその価値を評価できるかは依然不明であると指摘しており、それこそがまさにTasteValがモデルから取り上げて測る種類の意思決定なのだ。
議論は変わりつつある
このベンチマークは、大手AI企業自身が始めた議論の最中に登場した。6月、Anthropicは再帰的自己改善は まだ達成されていない が「ほとんどの組織が準備できていないより早く訪れる可能性がある」と書いた。AnthropicのCEOであるダリオ・アモーディ氏は現在、AI開発の管理された減速を 呼びかけており 一方OpenAIは、完全自律的なRSIは まだ起きていない と認めつつ、人間による監督が保証される場合にのみ追求されるべきだと述べている。
TasteValは「進歩」の定義を変えるものだ。長い間、焦点は数学の問題やコーディングの課題のような明確に定義されたタスクをモデルがどれだけうまく解けるかに置かれていたが、今や、研究を前進させる意思決定をモデルが行えるかという問いがますます重要になっている。
P-Zero Researchが測定した傾向が他のテストでも維持されるなら、その影響は両方向に及ぶ。AI開発はより速く、より安価になるが、同時に研究の徐々に大きな割合が、モデル自身が実験を計画し評価するようになるため、人間には検証が難しくなるだろう。