TasteVal이라는 새로운 벤치마크는 AI 시스템이 실험을 얼마나 잘 스스로 설계하고 그 결과를 해석하는지를 측정한다. 이번 연구 결과는 비정상적으로 가파른 개선 곡선을 보여준다.
Anthropic 공동창립자 Jack Clark에 따르면 그 능력은 2025년 12월 이후 약 3개월마다 두 배가 되어 왔습니다. 연구 단체 P-Zero Research는 이를 '연구 감각(research taste)', 즉 올바른 실험을 선택하고 그로부터 올바른 결론을 도출하는 능력이라고 부릅니다. 테스트된 최고 모델은 24명의 인간 전문가 비교 집단을 훨씬 적은 비용으로 능가했습니다.
Clark는 Anthropic의 공동 창립자이며 다음을 집필합니다. Import AI 뉴스레터. 이 수치들을 바탕으로 그는 이제 AI 시스템이 스스로의 후속 시스템을 개발하는 재귀적 자기 개선(RSI)이 빠르면 2027년에 가능해질 수 있다고 믿고 있다. 그는 이전에 2028년으로 예상했었다.
이 벤치마크는 AI 시스템이 이미 스스로를 개선하고 있다는 것을 증명하지는 못한다. 과학 연구의 극히 일부분만을 측정하기 때문이다. 그러나 이 논쟁이 어디로 향하고 있는지는 보여준다. 즉, 모델의 원시적인 성능에서 벗어나 언어 모델이 실제로 얼마나 많은 독립적인 연구 업무를 수행할 수 있는지라는 질문으로 방향이 옮겨가고 있다는 것이다.
TasteVal은 전체 그림 중 일부만 측정합니다
P-Zero Research는 연구 취향을 세 가지 능력, 즉 어떤 연구 질문을 추구할 가치가 있는지 식별하는 능력, 그에 답하기 위한 실험을 설계하는 능력, 그리고 결과를 올바르게 해석하는 능력으로 정의한다. TasteVal은 마지막 두 가지만 시험한다. 가장 유망한 연구 방향을 선택하는 것은 과학적 직관의 핵심으로 여겨지는 경우가 많지만, TasteVal에서는 그 결정이 이미 모델을 위해 이루어져 있다.
여덟 가지 과제 각각은 AI 모델 개발에서 고정된 연구 목표를 명시하고 있으며, 측정 가능한 점수를 함께 제시합니다. 이 과제들은 학습 데이터 선정, 언어 모델의 사전학습 및 파인튜닝, 인간 선호에 기반한 학습, 적대적 프롬프트 방어 등의 분야를 다룹니다.
모델이 다음에 실행할 실험을 결정하고 그 결과를 활용해 이후 단계를 안내합니다. 코딩 실력이 결과에 영향을 주지 않도록, 고정된 코딩 에이전트가 단일 Nvidia H100 GPU에서 모든 실험을 실행합니다. 각 실행은 40 GPU시간의 연산 또는 120시간의 실제 경과 시간이 지나면 종료됩니다.
인간 기준선은 최근 OpenAI, Google DeepMind, Nvidia, Microsoft Research 등에서 근무했던 24명의 전문가로부터 도출되었습니다. 이들은 동일한 작업을 수행했으며 각 작업에 최소 두 명이 참여했습니다. 작업별 최고의 인간 성과가 벤치마크로 사용되었습니다.
연산 효율성으로 측정한 연구 감각
연구 취향을 정량화 가능하게 만들기 위해 P-Zero Research는 이를 연산 효율성으로 환산합니다. 그 논리는 AI 연구에서 실험용 연산 자원이 희소하기 때문에, 올바른 실험을 선택하고 그 결과를 정확하게 읽어내면 동일한 예산으로 더 적은 실행 횟수로 더 많은 진전을 이룰 수 있다는 것입니다.
이 연구소는 실험용 컴퓨팅이 일단 다음 조건에 도달하면 가장 큰 병목이 된다고 예측하는 "AI Futures Model"을 활용합니다. 코딩은 자동화되었습니다. 따라서 TasteVal은 전문가들의 점수에 도달하는 데 모델이 얼마나 많은 연산량을 필요로 하는지를 측정합니다. 절반의 연산량으로 그 지점에 도달하는 모델은 이 기준으로 연구 취향이 두 배입니다. 정의P-Zero Research는 이 비율을 컴퓨트 배수(compute multiplier)라고 부른다.
최상위 모델인 Anthropic의 Opus 5.5는 컴퓨트 배수 2.3을 기록하며, 절반 이하의 컴퓨트로 전문가 수준의 점수에 도달했습니다. 다만 통계적 범위는 1.15에서 4.37까지입니다. 낮은 끝의 경우, 이 모델은 아주 근소하게 앞서는 정도에 그칠 것입니다. 단 한 번의 실행 비용은 전문가 시도의 평균 비용의 약 30분의 1에 해당했습니다.
여러 모델 세대에 걸쳐 연산 배율은 2025년 12월 이후 약 3개월마다 두 배가 되어 왔습니다. 여기서도 불확실성이 크며, 보고된 배가 시간은 1.7개월에서 5.0개월까지 다양합니다.
지난 몇 년 동안 모델의 연구 취향은 훨씬 더 느리게 성장했습니다. 곡선이 가팔라지기 시작한 것은 2025년에서 2026년으로 넘어가는 무렵에야였습니다. 이것이 지속되는 추세인지는 단일 벤치마크만으로는 판단할 수 없으며, 저자들 스스로도 자신들의 결과가 "연구 취향이 얼마나 빠르게 향상되고 있는지"를 과장했을 수 있음을 인정합니다. 이 과제들은 빠르고 저렴하게 검증할 수 있는데, 이는 AI 연구소들이 최적화하기 가장 쉬워하는 유형의 과제입니다. 또한 비교 대상 집단에는 최상위권 연구자가 포함되지 않았습니다.
Clark이 자신의 타임라인을 앞당기고 있다
Clark은 오랫동안 창의성을 AI 시스템이 스스로 개선될 수 있는 속도의 핵심 요인이라고 불러왔다. 올해 초, 그는 모델들이 어떠한 획기적인 규모에서도 이 능력을 보여주지 못했다고 썼다. 그는 이제 수학적 돌파구와 TasteVal 같은 벤치마크에서의 진전을 이러한 상황이 변하고 있다는 징후로 지목하고 있다.
5월에 발표한 긴 에세이에서 Clark은 좀 더 신중한 수치를 제시했다. 그는 자율적으로 더 강한 후속 모델을 훈련하는 시스템의 확률을 2028년 말까지 약 60 퍼센트, 2027년까지 30 퍼센트로 추산했다. 이 예측은 벤치마크 정상을 차지한 모델을 보유한 회사를 공동 창업한 사람이 내놓은 것으로, 예측에 편향의 층이 더해진다.
비판자들은 정확히 이 능력에 한계선을 그렸다
TasteVal이 중요한 이유는 회의론자들이 주요 AI 돌파구의 장애물로 지목했던 바로 그 능력을 측정하기 때문이다. AI 연구자 Herbie Bradley는 Clark의 5월 에세이에 반박하며, 모델이 주니어 연구자의 작업을 대신하는 것은 가능할 수 있지만, 연구 감각, 창의성, 일관된 장기 연구 계획 수립 같은 더 까다로운 역량은 눈에 띄지 않는다고 주장했다.
실험을 계획하고 평가하는 부분에서 TasteVal은 그 평가에 반박하지만, 장기 연구 의제를 선택하는 것에 대해서는 아무것도 말해주지 않는다.
실질적인 격차가 얼마나 남아 있는지는 푸단대학교 팀이 이끈 AI 에이전트를 활용한 AI 개발에 관한 연구 에서 드러난다. 연구자들은 자체 모델의 개발 과정을 분석한 결과, AI 에이전트가 방법론 제안의 최대 55 퍼센트를 담당했지만 최종 결정의 85 퍼센트 이상은 여전히 인간이 내렸음을 발견했다. 저자들은 결과가 나오기 전에 AI가 다양한 연구 방향을 생성하고 그 가치를 평가할 수 있는지는 여전히 불명확하다고 언급했으며, 그것이 바로 TasteVal이 모델의 몫에서 빼낸 종류의 결정이다.
논쟁은 이동하고 있다
이 벤치마크는 주요 AI 연구소들이 스스로 시작한 논쟁 한가운데 등장했다. 6월에 Anthropic은 재귀적 자기 개선이 아직 달성되지 않았지만 "대부분의 기관이 준비된 것보다 더 빨리 올 수 있다"고 밝혔다. Anthropic CEO Dario Amodei는 현재 AI 개발의 통제된 감속을 촉구하고 있으며 , OpenAI는 완전 자율적 RSI가 아직 일어나지 않고 있으며 인간의 감독이 보장되는 경우에만 추구해야 한다고 인정했다.
TasteVal은 무엇이 진전인지에 대한 기준을 바꾼다. 오랫동안 초점은 수학 문제나 코딩 과제처럼 잘 정의된 과제를 모델이 얼마나 잘 푸는가에 맞춰졌지만, 이제는 연구를 앞으로 나아가게 하는 결정을 내릴 수 있는가라는 질문이 점점 더 중요해지고 있다.
P-Zero Research가 측정한 추세가 다른 테스트에서도 유지된다면, 그 함의는 양면적이다. AI 개발은 더 빠르고 저렴해지겠지만, 동시에 연구에서 모델이 점점 더 큰 비중을 차지하면서 인간이 검증하기 어려워질 것이다. 모델이 스스로 실험을 계획하고 평가하게 되기 때문이다.