최근 OpenAI는 일상생활의 다양한 상황에서 AI가 수행하는 능력을 측정하기 위한 LifeVal 기준 테스트를 발표했습니다. 이는 지식 질문과 개별 능력에 초점을 맞춘 전통적인 평가와는 달리, AI가 작업을 실행 가능하고 결과물이 있는 상태로 진행할 수 있는지, 실제 문제를 해결하는 능력을 평가하는 데 중점을 둡니다.
미국 시간 기준의 미국 시간 사용 조사(American Time Use Survey)를 기준으로 하며, 3995명의 응답자에 대한 연구를 바탕으로 구성되었습니다. 지난 한 해 동안 OpenAI는 LifeVal 추적 모델의 능력 향상을 지속적으로 추진해 왔습니다. 공개된 테스트 사례에 따르면, AI가 아이들을 위한 유치원 선정 작업에서 점수는 93.1%에 달했으며, 홍수 예방 자원봉사자에서의 점수는 98.0%, 당뇨병 환자의 식단 계획 수립에서의 점수는 90.4%였습니다.
OpenAI는 또한 LifeVal이 현재 주로 내부 평가 도구로 사용되고 있으며, 작업 세트와 점수 코드를 외부에 완전히 공개하지 않았기 때문에 관련 테스트 결과는 신중하게 해석해야 한다고 강조했습니다.
이번에 출시된 LifeVal은 OpenAI가 모델 평가의 초점을 정보 이해와 콘텐츠 생성에서 더욱 복잡한 현실 작업의 계획 및 실행으로 확장하고 있다는 것을 보여줍니다. 이를 통해 AI는 대화 도구에서 실제 행동 능력을 갖춘 개인 비서로 발전하고 있습니다.