GPT-6-Astra, 물리학 연구 문제 50개 중 49개를 개당 2.40달러의 비용으로 해결

GPT-6-Astra, 물리학 연구 문제 50개 중 49개를 개당 2.40달러의 비용으로 해결

새로운 벤치마크에 따르면 최고의 AI 에이전트들이 각 하위 분야의 최고 전문가들만큼 정확하게 이론물리학 계산을 해결할 수 있는 것으로 나타났습니다. 연구진은 아직 돌파구가 따라오지 못한 이유 중 하나로 "취향" 감각의 부재를 꼽습니다.

국제이론과학센터(ICTS), 하버드대학교, KU Leuven, Google DeepMind 등에 소속된 35명의 연구자들이 다음을 공개했습니다. TheoPhysEval. 이 벤치마크는 검증 가능한 답을 가진 이론물리학의 공개되지 않은 연구 문제 50개를 담고 있습니다. 저자들에 따르면, 관련 하위 분야의 최고 전문가가 AI의 도움 없이 일반적인 문제를 푸는 데 하루 이하가 걸립니다. 인접 분야의 전문가라면 훨씬 더 오래 걸립니다.

연구팀은 상업적으로 이용 가능한 AI 에이전트들을 테스트했으며 어떤 인간의 힌트도 제공하지 않았습니다. OpenAI의 Codex 코딩 환경에서 구동된 GPT-6-Astra가 최고 성적을 기록했습니다. 문제 50개 중 49개, 즉 98퍼센트에 대한 정답을 찾아냈으며, 평균 비용은 문제당 3달러 미만, 전체 벤치마크 기준 116달러 약간 미만이었습니다.

이 벤치마크는 거대한 난제가 아닌 일상적인 연구 작업을 시험한다

이 문제 모음은 의도적으로 주요 미해결 질문들을 제외하고, 저자들이 "turn-the-crank(틀돌리기)" 문제라고 부르는 것에 초점을 맞춥니다. 즉, 연구자들이 알려진 방법을 약간 변형된 질문에 적용하는 문제들입니다. 기여자들은 새로운 결과를 기존 결과에서 추측할 수 없도록 하기 위해 자신의 최근 논문 중 하나의 계산에서 몇몇 값을 수정하는 경우가 많았습니다. 연구진에 따르면, 이런 유형의 문제는 종종 박사과정 학생들에게 연구의 첫걸음으로 주어집니다.

블랙홀 연구의 한 예는 이 문제들이 여전히 얼마나 demanding한지 보여줍니다. 이를 풀려면 오래된 논문을 찾아내고, 그 논문의 방정식을 5차원 시공간에서 4차원 시공간으로 옮긴 다음, 맞춤형 프로그램으로 결과를 계산해야 합니다. 조정자이자 해당 오래된 논문의 공동저자인 Suvrat Raju는 약 하루가 걸렸습니다. 저자들은 최신 에이전트들이 등장하기 전에는 물리학 지식과 이런 계산 방법에 대한 경험을 모두 갖춘 전문가가 소수에 불과했으며, 그들조차 며칠이 걸렸을 것이라고 추정합니다.

문제들은 유체 흐름과 생물학적 과정에서 입자물리학과 우주론에 이르기까지 이론물리학의 11개 하위 분야에 걸쳐 있습니다. 각 에이전트는 테스트를 두 번 수행했는데, 한 번은 웹 검색이 가능한 현실적인 조건에서, 또 한 번은 인터넷 접속 없이 고립된 상태에서 수행했습니다.

Claude Code에서 구동된 Anthropic의 Opus 5.5는 92퍼센트로 2위를 차지했습니다. Google의 Gemini 3.8 Flash는 68퍼센트를 기록했으며, 오픈 웨이트 모델인 DeepSeek-V4.1-Flash와 GLM 5.3은 각각 54퍼센트와 42퍼센트에 도달했습니다. 더 약한 모델들은 전문가라면 즉시 잡아냈을 실수를 저지르기도 했습니다. 블랙홀 문제에서 Gemini와 GLM은 웹 검색 실행 중 오래된 논문의 공식을 그대로 복사했습니다. 그 공식들은 5차원에 적용되는 것이지 필요한 4차원이 아니었습니다.

인터넷 접속은 놀랍도록 큰 차이를 만들지 못했습니다. 웹 검색 없이 Astra와 Opus는 각각 92퍼센트를 기록했습니다. 많은 문제가 연구 논문의 공식에 의존하지만 모델들은 대개 그 공식을 제공받지 못했습니다. 저자들은 이를 최고 수준의 언어 모델들이 사실상 이론물리학 문헌의 상당 부분을 암기하고 있다는 징후로 받아들입니다.

웹 검색을 사용하자 Astra는 모든 모델을 곤란하게 만든 단 한 문제를 제외하고 모두 해결했습니다. 그 문제는 주어진 곡선을 생성하는 방정식을 구하는 것이었습니다. 전문가들의 풀이는 넓은 의미에서만 요구되는 미분방정식으로 간주되는 특수한 수학적 형태에 의존합니다. 저자들은 이 문제가 "불공정"해 보일 수 있음을 인정하지만, 연구자들이 종종 부정확한 데이터에서 근본 물리를 추론해야 하기 때문에 현실적이라고 생각합니다.

여러 AI 오답의 원인은 정답지의 결함이었다

여러 문제에 대해 전문가들과의 후속 확인 결과, 그들의 참조 풀이에서 발견하기 어려운 작은 오류가 드러났습니다. 해당 오류들이 수정되자 Astra의 답은 매번 정확했습니다.

이 패턴은 겉보기 모순도 설명할 수 있다. 에이전트들은 저자들이 평균적으로 더 어렵다고 여기는 문제들에도 불구하고, CritPt같은 다른 물리학 벤치마크보다 TheoPhysEval에서 더 좋은 성과를 낸다. 최근 연구 에 따르면 일부 이론물리학 벤치마크는 잘못 채점되고 있으며, 어떤 경우에는 모델이 할 수 있는 능력을 심각하게 과소평가하기도 한다.

결과를 확인하고 싶은 사람은 누구나 문제와 테스트 설정을 Hugging Face에서 데이터셋 으로 내려받을 수 있다.

강력한 계산 능력에도 불구하고 물리학 혁신이 없는 이유

저자들은 현재 가장 강력한 일부 모델들이 구체적인 계산에서는 전문 분야에서조차 이미 최고의 인간 연구자들을 넘어섰을 수 있다고 쓰고 있다. 그들은 이것을 중요한 이정표라고 부른다.

그들은 이러한 영향이 수학에서 더 두드러지며, AI 에이전트가 이미 중요한 미해결 문제들을 해결했다고 지적한다. OpenAI에 따르면, 그중에는 유명한 밀레니엄 문제 중 하나인 유체 흐름을 기술하는 방정식에 관한 나비에-스토크스 문제가 포함된다. 이론물리학에서는 아직 비슷한 돌파구가 없었다.

저자들은 검증 가능한 결과를 내는 구체적인 계산은 연구 과정의 맨 끝에만 나온다고 설명한다. 그 전에 누군가는 이론을 세우고 그 이론에 "올바른" 질문을 던져야 한다. 문제가 너무 어렵다는 것이 드러나면, 좋은 연구자는 더 간단하면서 똑같이 흥미로운 관련 문제로 전환한다. 현재의 에이전트들은 그렇게 하는 데 능숙하지 않다.

물리학자들은 문제를 흥미롭게 만드는 것이 무엇인지에 대해 만장일치는 아니지만 공통된 감각을 공유한다. 에이전트들은 아직 이러한 "취향"이 없어 보인다. 새로운 문제를 설계하라고 요청하면, 인간이라면 지루하다고 느낄 세부 사항에 빠져든다.

연구진은 이러한 관찰은 정량화할 수 없으며 AI가 나아갈 방향에 대한 예측도 아니라고 강조한다. 그들은 AI 에이전트가 가까운 미래에 스스로 최상위 연구를 할 수 있을 것이라고 생각하지만, 그러려면 문제 해결 능력 이상의 것이 필요할 것이다.

AI는 이미 물리학자들의 훈련 방식과 경쟁할 수 있는 사람을 바꾸고 있다

저자들은 이미 훈련 측면의 결과를 보고 있다. 최근까지 일부 벤치마크 문제는 초년 연구자들의 첫 연구 과제로 적합했다. 이제는 자재를 익히는 것이 명시적인 목표가 아닌 한 더 이상 적절하지 않다.

그들은 또한 구조적 문제를 지적한다. 이론물리학은 역사적으로 실험 연구보다 훨씬 적은 돈이 필요했고, 이 덕분에 이 분야의 기회는 비교적 평등하게 유지되었다. 유능한 AI 에이전트는 이를 바꿀 수 있다. 벤치마크 문제는 아직 해결 비용이 저렴하며, Astra의 전체 실행 비용은 약 $116였다. 하지만 더 어려운 문제의 경우 저자들은 필요한 자원이 급격히 늘어날 것으로 예상한다. 그 시점이 되면 연구 그룹의 예산이 무엇을 이룰 수 있는지에 더 큰 발언권을 가질 수 있으며, 이론물리학에서조차 그렇다. 저자들은 이것이 이 분야의 접근성과 기회 평등에 관한 질문을 제기한다고 말한다.

수학에서는 이미 이러한 논쟁이 벌어지고 있으며, 그 예로 라이덴 선언이 있다. 저자들은 AI가 이 분야를 뒤집기 전에 이론물리학도 이러한 논쟁을 가져야 한다고 주장한다. 물리학에는 지금까지 연구자들에게 "입 다물고 계산하라"고 촉구하는 사조가 최소 하나 있었다. 취향과 비전이 더 중요해지기 시작한다면, 물리학자들은 대신 "멈춰서 생각하라"고 해야 할지도 모른다.

과장 없는 AI 뉴스 – 인간이 큐레이션합니다

광고 없는 읽기, 주간 AI 뉴스레터, 연 6회 제공되는 독점 "AI Radar" 프론티어 리포트, 전체 아카이브 접근, 그리고 댓글 섹션 이용을 위해 THE DECODER를 구독하세요.

전체 내용을 읽어보세요.
과장 없는 보도를 구독하세요.

• THE DECODER의 모든 기사 전체 이용
• 광고 없음
• 댓글과 커뮤니티 토론에 참여
• 매주 이메일로 받는 AI 뉴스 요약
• 연 6회: 가장 중요한 AI 주제를 다루는 "AI Radar" 심층 분석
• 매일의 AI 뉴스, 항상 최신 상태
• 10년 전체 아카이브
• AI 분야 10년 이상 경력의 팀이 다루는 콘텐츠