AI 에이전트는 장기적인 결정에 있어서 나쁜 취향을 가지고 있으며, 새로운 벤치마크 결과가 이를 증명합니다

AI 에이전트는 장기적인 결정에 있어서 나쁜 취향을 가지고 있으며, 새로운 벤치마크 결과가 이를 증명합니다

마이크로소프트와 홍콩 시립대학의 연구자들은 장시간에 걸리는 작업 중 AI 에이전트가 의사결정을 얼마나 잘 내는지 테스트하는 방법을 개발했습니다. 최고 모델도 60퍼센트에 불과했습니다.

AI 에이전트는 이제 다단계 작업을 수행합니다. 그들은 연구 논문을 쓰거나 소프트웨어 프로젝트를 구축할 수도 있습니다. 그 과정에서 그들은 어떤 가설을 테스트할지, 어떤 코드를 구축할지, 다음에 어떤 실험을 진행할지를 지속적으로 결정합니다. 이러한 선택들의 효과는 대개 즉시 나타나지 않습니다. 나쁜 결정은 처음에는 괜찮아 보이며, 실제 비용은 에이전트가 예산의 대부분을 소비한 후에야 드러납니다.

이 논문의 저자들은 이러한 선택을 잘 할 수 있는 능력을 에이전트의 “미각”이라고 부릅니다. 기존의 벤치마크는 에이전트가 작업을 완료했는지만 측정하며, 그 과정에서의 단계의 질은 측정하지 않습니다. Taste-Bench는 바로 이 공백을 메우기 위해 고안되었습니다.

장기적인 결정들은 당장 판단할 수 없습니다

장기적인 선택을 바로 판단할 수는 없습니다. 깔끔한 구현과 부실한 구현은 처음에는 같은 결과를 내고 같은 테스트를 통과할 수도 있습니다. 깔끔한 접근법은 나중에 변경이 더 쉬워질 때만 이점을 가져옵니다. 인간의 평가는 비용이 많이 들고 깊은 분야 전문 지식이 필요하며 확장성도 없습니다.

따라서 연구자들은 후회를 기반으로 합니다. 행동의 후속 경로, 즉 에이전트가 모든 단계와 관찰을 포함하여 수행한 기록된 흐름은 이전 선택이 성공했는지 여부를 보여줍니다. 실제로, 에이전트 시스템은 같은 작업을 여러 번 시도합니다. 이러한 시도들은 결국 서로 다른 방향으로 분기됩니다.

각 시도의 최종 결과가 더 좋은 경로를 드러내기 때문에, 실행 과정 자체가 라벨이 붙은 비교를 제공합니다. 저자들은 이 분기점을 "결정 분기"라고 부릅니다. 맛을 측정하기 위해 그들은 분기점에서 실행을 멈추고 이후의 모든 작업을 숨긴 다음, 두 경로 중 하나를 선택하는 모델을 만듭니다.

과거의 실수는 에이전트가 어디에서 잘못하는지 드러낸다

Taste-Bench에는 502개의 질문이 있으며, 각각은 원래 과제, 분기점까지의 경로, 그리고 두 가지 가능한 방향을 포함합니다. 첫 번째 유형은 같은 과제에 대해 두 개의 독립적인 시도가 서로 다른 결과를 낳아서 에이전트가 잘못된 길을 보지 않는 경우입니다.

두 번째 유형은 에이전트가 단 한 번의 실행 내에 자신을 수정하고 다른 경로를 선택하는 경우입니다. 여기서 처음에 버림된 방향과 나중에 성공한 방향이 두 후보가 됩니다. 이 변형은 모델이 행동하는 에이전트보다 더 일찍 실수를 발견할 수 있는지 테스트합니다.

원시 데이터는 코딩 및 AI 연구 작업에 대한 수천 건의 에이전트 실험 결과에서 얻어졌으며, 여기에는 SWE-bench Pro와 METR's 공개 전사본인 MALT도 포함됩니다. 생성 모델은 적절한 경우를 걸러내고, 명백한 답이 있는 사소한 질문과 결정 불가능한 경우를 제거했습니다. 인간의 검토를 거쳐 자동으로 생성된 레이블 대부분이 정확함이 확인되었습니다.

최고의 모델들조차 동전 던지기로 이길 수 없다

팀은 Claude, GPT, Grok, DeepSeek, GLM, MiniMax, Mistral 계열의 14개 현재 모델을 테스트했습니다. 각 질문은 두 번에 걸쳐 제시되었으며, 한 번은 정상 순서로, 다른 한 번은 옵션이 뒤집힌 형태로 제시되었습니다. 모델이 두 번 모두 정답을 맞혔을 때만 그 질문은 점수로 계산되었습니다. 순전히 추측한 경우는 25%의 점수를 받습니다.

테스트된 최고 모델인 GPT-5.6 Sol는 평균 59.7%의 점수를 기록했으며, GPT-5.5가 59.5%로 그 뒤를 이었다. 다른 모든 모델들의 점수는 그보다 낮았다. 모든 질문이 이진 선택에 불과했음에도 불구하고, 어떤 모델도 벤치마크를 통과하지 못했다. 도킹 포크는 평행 포크보다 일관되게 더 어려웠다.

증거가 나중에야 나타할 때 모델은 붕괴된다

각 포크마다 팀은 관찰자가 얼마나 앞으로 봐야 더 좋은 경로가 명확해지는지 확인했습니다. 이전 단계에서 핵심 단서가 이미 보이면 모든 모델의 평균 정확도는 62.3%에 달합니다. 그러나 그 단서가 후속 작업을 거친 후에야 나타하면 정확도는 21%로 떨어져서 거의 무작위 추측과 같아집니다. 이러한 질문에 답하는 것은 미래의 작업을 예측하는 것을 의미합니다.

더 오래 생각해도 도움이 되지 않았다. 연구자들은 두 모델에 대해 세 가지 추론 설정을 사용하여 테스트를 반복했다. 가장 낮은 설정에서 가장 높은 설정으로 바꾸어도 정확도는 거의 변하지 않았다. 모델들은 가장 어려운 수준에 가장 많은 추론 토큰을 사용했으며, 자주 틀리는 질문에 대해서는 가장 오래 생각했다. 연구팀은 이를 그 분기점에서 필요한 단서가 아직 존재하지 않는다는 신호로 본다.

결정적인 증거가 궤적 속에서 더 늦게 나타날수록 모델의 성능이 나빠지고, 추론 예산도 변하지 않는다. | 이미지: Pan 등. 저자들은 이 벤치마크가 SWE-bench Verified와 같은 고전적인 종단간 테스트와는 다른 능력을 반영한다고 말한다. 그곳에서 비슷한 점수를 받은 모델들은 Taste-Bench에서 명확한 차이를 보인다.

맛을 훈련시킬 수는 있죠

연구자들은 맛을 가르칠 수 있다는 것도 보여주었습니다. 올바른 경로를 알고 있는 교사 모델의 판단을, 질문만을 볼 수 있는 학생 모델로 변환했습니다. Qwen3.6-27B를 기반으로 사용했습니다. 보이지 않는 작업에서 학생의 정확도는 30%에서 47.9%로 상승했습니다.

그 향상이 실제로 효과를 거두었습니다. 팀은 각 분기마다 학생의 판단을 조언으로 작업 맥락에 추가하고 별도의 에이전트가 문제를 해결하도록 했습니다. 41개의 SWE-bench Pro 작업에서 성공률은 14.6%에서 33.7%로 증가했습니다. 완벽한 조언을 받았다면 39%까지 올랐을 테니, 학생은 가능한 모든 이점을 얻었던 것입니다.

팀은 장기 계획 에이전트의 판단이 측정 가능하고 개선될 수 있다고 결론지었습니다. 벤치마크와 코드는 공개되어 있습니다.

AI 에이전트는 이제 오랜 시간 동안 혼자서 작업합니다. MirrorCode 벤치마크에서, 한 모델이 인간의 도움 없이 단일 작업에 19일 동안 실행되었습니다. 일반적인 벤치마크는 대개 테스트가 끝에 통과하는지만 확인합니다. METR은 이미 SWE-bench Verified가 코딩 에이전트의 성능을 현저히 과대평가한다는 것을 보여주었다입니다. 전문가들은 자동화된 테스트가 통과되었음에도 불구하고 기본적인 기능적 버그가 있는 많은 해결책을 거부했습니다. Taste-Bench의 최고 모델인 GPT-5.6 Sol은 또한 METR의 평가에서 과거 어떤 모델보다도 높은 수준의 소프트웨어 테스트 위조율을 보였다입니다.

AI 뉴스 – 과장 없이, 인간이 선별한 정보

광고 없는 읽기, 주간 AI 뉴스레터, 매년 6회 발행되는 독점적인 "AI 레이더" 전선 보고서, 전체 아카이브 접근 권한, 그리고 우리의 코멘트 섹션에 대한 접근 권한을 제공하는 THE DECODER를 구독하세요.

전체 내용은 여기에 있습니다.
흥분 없는 보도를 원한다면 구독하세요.

• THE DECODER의 모든 기사에 대한 전체 접근 권한
• 광고 없음
• 댓글과 커뮤니티 토론에 참여하세요
• 주간 AI 뉴스 요약 메일로 보내기
• 6회/년: "AI 레이더" — 가장 중요한 AI 주제에 대한 심층적인 탐구
• 일일 AI 뉴스, 항상 최신 정보
• 우리의 전체 10년간의 아카이브
• 10년 이상 AI 분야에서 근무한 팀에 의해 담당됨