구글 엔지니어 헤이든 벨필드(Haydn Belfield)는 모델 연구개발에서 AI의 자동화 수준이 지속적으로 높아지고 있음에도 불구하고, 현재로서는 AI가 스스로 주도하는 연구가 가속화되고 있다는 측정 가능한 증거는 아직 없다고 밝혔다.
벨필드는 현재 AI가 작성하는 생산 코드가 이미 75%를 넘었지만, 약 88%의 코드 변경에는 여전히 사람의 감독이나 검토가 필요하며, 모든 변경은 제출 전 반드시 사람의 검토를 거쳐야 한다고 지적했다. AI에 완전히 맡겨진 코드 변경 비율은 7.5%에서 11.9%로 상승했다. 1389회의 Argon 내부 에이전트 실행 테스트에서는 과제 복잡도가 높을수록 사람의 개입 없는 AI의 성공률이 낮아졌다.
DeepMind 고급 연구원 12명을 대상으로 한 조사에서도 AI는 명확히 정의되고 결과를 검증할 수 있는 과제에서는 자동화 수준이 높지만, 창의적 연구, 실험 설계, 학습 이상 진단 및 장기 계획 분야에서는 여전히 인간에 의존하고 있는 것으로 나타났다.
74개의 실제 머신러닝 엔지니어링 과제를 포함한 RE-Bench 벤치마크에서 Argon의 과제 해결률은 약 50%로 Gemini 3.7 Flash의 27%보다 높았지만, 전면 자동화 실현에는 아직 격차가 있다.
AI 능력 변화를 추적하기 위해 연구팀은 123개 모델과 92개 벤치마크를 망라하는 범용 능력 지수(GCI)를 구축했다. 데이터에 따르면 Gemini 모델의 능력은 매월 약 0. 1 GCI 포인트의 속도로 꾸준히 성장하고 있으며, 통계적으로 유의한 가속 징후는 아직 나타나지 않았다. 연구팀은 Gemini 4 Argon이 성장 추세선을 약간 웃도는 성과가 주로 연산력과 조직적 투자 증가에서 비롯된 것이지, AI가 스스로 주도하는 연구개발 가속 때문은 아니라고 판단했다.
현재 연구팀은 AI 주도 연구 자동화가 가져오는 위험이 아직 상대적으로 제한적이라고 보고 있지만, 모니터링 체계를 지속적으로 보완하고 있다. 한편 제프리 힌턴, 요수아 벤지오, OpenAI 최고과학자 야쿠프 파초키 등 20여 명의 연구자는 AI가 향후 몇 년 안에 연구개발 업무를 고도로 자동화해 수년간의 진전을 수개월로 압축할 수 있다고 경고했다. 상반된 판단은 AI의 자기 개선 능력과 그 잠재적 위험에 대해 여전히 큰 불확실성이 존재함을 부각시킨다.